RAG 評估框架：參考資料、檢索指標與裁判校準

先定義任務與參考範圍

選定問題類型、核准來源、使用者權限和預期輸出，記錄來源、模型、提示與資料處理版本。檢索和生成是有用的診斷層次，還要檢查原始來源錯誤、適用性、時效與流程失效。

忠實度衡量答案是否受到提供的上下文支持；若來源本身錯誤、過期或不適用，忠實引用仍可能得到錯誤答案。Microsoft RAG 評估指南區分 grounding 與 correctness，應將兩者分開看。

為每項問題記錄參考答案、可接受的等價答案、預期來源段落及適用條件。加入需要跨文件、資訊不足、來源衝突、無權存取及應待查的情況。參考判定要可覆核、能記錄分歧，不能當成永不變動的唯一真相。

使用經核准且必要的問題或紀錄，保留任務分群與來源版本。資料更新時由負責人確認參考是否仍適用，分開開發調整用案例與保留的發布評估資料。樣本大小依變異、風險及要回答的問題決定，不以固定題數證明完整性。

以下精確度與召回率採未加排序權重的段落計數，不能直接等同每個函式庫的同名指標。

維度	指標	此處的衡量方式	實作時要定義
檢索	Context Precision	相關取回段落數／取回段落總數	k、相關標籤、重複段落及空分母
檢索	Context Recall	找到的合格參考段落數／應找到的合格參考段落數	可存取來源母體、等價來源與缺漏
生成	Faithfulness	被上下文支持的陳述數／受評陳述數	陳述切分、空答案與待查答案處理
生成	相關性與正確性	回答任務及符合參考的程度，分項評估	評分尺度、參考版本與重要錯誤
待查	正確拒答與不當拒答	分別對不可回答和可回答問題評估	兩類問題各自的分母及轉交條件
體驗	P95 延遲	定義端點的回應時間第 95 百分位	是否含檢索、工具、重試及排隊

明訂逐題與彙總方式、權重及排除項目。空分母或不含陳述的答案，不能悄悄當成滿分。「資料不足時正確拒答比例」與所有請求的拒答比例是不同指標。

若使用 LLM-as-judge，保留裁判模型、提示、rubric、參考及來源版本。定義支持、不支持與待判定的準則，記錄結構化結果與可核對理由。

用代表性人工判定比較裁判的一致與錯誤情況，檢查重要錯誤、分群差異與標註分歧。二元、分級或其他評分形式都要依工作評估，不能用固定抽查比例或裁判語氣保證可靠。版本或準則改動後，重新確認比較基礎。

發布條件應依任務後果、基準、度量實作、分群與不確定性設定。內部規範也可能影響重要操作，不只按產業名稱放寬。高忠實度不等於專業授權或外部事實正確。

CI 可以比較候選版本的回歸結果，但單次微小下降可能受模型或裁判變異影響。定義需阻擋、調查、重測或人工批准的條件，避免將任意固定數值寫成通用標準。線上新案例加入前確認用途、標籤與版本，不把已用來調整的資料當成獨立發布證據。

PoC 是部分證據；正式運作還需要來源更新、失效處理與覆核責任。NIST AI RMF（2023-01-26）提供自願性的情境及監測框架。Anthropic 幻覺處理指南提供來源支持檢查，仍不能消除所有錯誤。

來源於 2026-10-04 查閱；Microsoft 指南更新於 2025-11-21，Anthropic 頁面未顯示更新日期。可搭配RAG 實作階段，或從RAG 知識系統服務確認評估範圍。