评估最佳实践 本指南将教您如何评估 RAG 系统的准确性和质量。您将学习如何通过测试搜索精度、召回率、上下文相关性和响应精度来维持 RAG 的性能。
构建 RAG 应用程序仅仅是个开始；测试其对最终用户的实用性并校准其组件以 确保长期稳定性至关重要。
RAG 系统在三个关键阶段中的任何一个阶段都可能遇到错误：检索相关信息、增强信息以及生成最终响应。通过系统地评估和微调每个组件，您将能够维护一个可靠且与上下文相关的 GenAI 应用程序，以满足用户需求。
为什么要评估您的 RAG 应用程序？
避免幻觉和错误答案
rag-eval-0
在生成阶段，幻觉是一个值得注意的问题，法学 c级执行名单 硕 士（LLM）会忽略背景并捏造信息。这会导致做出不切实际的回答。
此外，产生有偏见的答案也是一个问题，因为法学硕士产生的回应有时可能是有害的、不恰当的，或者带 有不适当的语气，从而在各种应用和互动中带来风险。
丰富你的法学硕士课程背景
增强过程面临着诸如信息过时等挑战，响应中可能包 改进它的很多方面 含不再最新的数据。另一个问题是上下文缺口，即检索到的文档之间缺乏关联上下文。
这些差距可能导致呈现的信息不完整或碎片化，从而降低增强响应的整体连贯性和相关性。
最大化搜索和检索过程
在检索方面，搜索的一个主要问题是缺乏精确度，即并非所有检索到的文档都与查询相关。召回率低使这个问题更加严重，这意味着并非所有相关文档都能被成功检索到。
此外，“迷失在中间”问题表明一些法学硕士可能难以 购买线索 处理长上下文，特别是当关键信息位于文档中间时，导致结果不完整或不太有用。
推荐的框架
rag-eval-6
为了简化评估流程，目前有多个强大的框架可供选择。下面我们将探讨三个热门框架：Ragas、Quotient AI 和 Arize Phoenix。
拉格：通过问答测试 RAG
Ragas（或 RAG 评估）使用包含问题、理想答案 和相关上下文的数据集，将 RAG 系统生成的答案与基本事实进行比较。它提供忠实度、相关性和语义相似度等指标来评估检索和答案的质量。
图 1： Ragas 框架的输出，展示了忠实度、答案相关性、上下文召回率、准确率、相关性、实体召回率和答 案相似度等指标。这些指标用于评估 RAG 系统响应的质量。
图片3.png
商数：使用自定义数据集评估 RAG 流程
Quotient AI 是另一个旨在简化 RAG 系统评估的平台。开发人员可以上传评估数据集作为基准，以测试不同的提示和 LLM。这些测试以异步作业的形式运行：Quotient AI 自动运行 RAG 管道，生成响应并提供关于忠实度、相关性和语义相似度的详细指标。该平台的全部功能可通过 Python SDK 访问，让您能够访问、分析和可视化 Quotient 评估结果，从而发现需要改进的地方。
图 2： 商数框架的输出，其中的统计数据定义了数据集是否在 RAG 管道的所有阶段得到正确操作：索引、分块、搜索和上下文相关性。
图片2.png
Arize Phoenix：视觉解构响应生成
Arize Phoenix是一款开源工具，它通过逐步追踪响应的构建过程来帮助提升 RAG 系统的性能。您可以在 Phoenix 中直观地看到这些步骤，从而识别速度减慢和错误。您可以定义“ 评估最佳实践 评估器”，使用 LLM 来评估输出质量、检测幻读并检查答案的准确性。Phoenix 还会计算延迟、令牌使用情况和错误等关键指标，让您了解 RAG 系统的运行效率。