DeepEval是一个开源框架，专注于评估和测试大型语言模型系统。它整合了最新的研究成果，通过本地运行的模型来评估模型输出。DeepEval支持通过RAG、微调、LangChain、LlamaIndex等多种方式实现的应用。该框架可帮助开发者轻松确定最佳超参数，以提升RAG流水线的表现、改善提示漂移问题，或从依赖OpenAI转向自行托管Llama 3语言模型。DeepEval的出现，将极大地简化开发者在使用大型语言模型时的评估与测试工作，优化模型性能，推动相关技术的发展。