RAG 與知識檢索：先確認找得到正確資料

權限從完整文件一路帶到片段。建立片段時複製租戶、可閱讀對象、版本、生效日期、來源路徑、刪除狀態與穩定文件 ID；缺欄位就不進索引。查詢依已驗證工作階段建立篩選條件，再產候選資料。向量搜尋、BM25、重排器與快取共用同一套權限。等到答案輸出才遮段落太晚，因為資料可能已進第三方重排器、軌跡或共用快取。

標準答案集先標必要來源、可接受替代資料、預期空結果、禁止命中的洩漏探針與時效條件，答案內容可以晚些再補。四種檢索版本共用 30 題，報 top-5／top-20 的授權來源漏找、空結果是否如實回報、禁止命中、延遲與成本。未授權命中大於 0 就淘汰；通過存取檢查後，才比較附脈絡片段、關鍵字補充與重排帶來的收益。

引註驗證器確認來源 ID 存在、使用者有權閱讀、版本有效，且引用段落真的出現在已檢索脈絡中。每個事實句至少對應一個證據 ID；缺證據時回報缺口，不靠反覆生成掩蓋。刪除測試一路查文件清單、片段、索引、快取、候選資料與引註解析器，任何一層仍回過期內容，就不能通過上線準備。

檢索報告需要逐題檢視，不只列整體命中率。每個問題保存查詢、使用者身分、套用的權限條件、候選清單、分數、重排前後位置、預期來源、實際來源與缺口原因。漏掉正確段落時，先判斷是文件根本沒進索引、切段把關鍵上下文切斷、查詢詞不符、詞彙檢索缺席、語意排序失敗，還是重排器把它降下去。這些原因對應不同修法。直接調整生成提示，無法讓缺席的證據出現，反而可能提高模型用既有知識補洞的機率。

權限測試要放故意醒目的金絲雀內容，並從所有中間產物搜尋。美國身分查歐洲限定政策時，不只最終答案不得出現，候選、重排輸入、除錯畫面、追蹤紀錄與共用快取也必須為零。更新與刪除則用固定時間測傳播上限：來源版本改變後，舊分段何時退出索引、快取何時失效、引用解析器何時拒絕舊版，都要有可觀測時間。若使用託管式檔案搜尋，無法檢查的中間層要明列為供應商責任或殘餘風險，不能假設服務名稱已涵蓋權限治理。

切段策略不能只看固定字數。政策標題、適用對象、例外與生效日期若分散在不同段落，單一段落可能失去決定語意。建立段落時保留父文件摘要與章節路徑，再用金題檢查必要句是否能連同限制一起取回。若上下文補強提升命中，也要報增加的索引成本與查詢時間；公開研究的改善幅度只供設計實驗，不能先寫進 Cedar 驗收門檻。

混合檢索要讓每一層可替換。語意搜尋找概念相近內容，詞彙搜尋補專名、代號與精確用語，重排器只處理通過權限的有限候選。報告分別保存每層輸入與輸出，才能判斷某題是在哪一步掉下去。若所有查詢一律跑最昂貴流程，延遲與成本會在容易問題上浪費；可先由便宜路徑判斷信心，只有模糊或高風險問題才啟用重排，但路由規則同樣要用固定資料集驗證。

引用畫面要讓讀者能檢查，不只顯示一個編號。至少呈現文件標題、版本、生效日期、對應段落與存取範圍；內部路徑依權限顯示，不能把受限網址放進未授權畫面。當來源更新，舊簡報應標成使用過期版本，而非悄悄改連結指向新內容。這讓研究結果具可追溯性，也避免同一個引用識別碼在重新切段後指到不同文字。

正式發布門檻先看禁止命中，再看命中率。任一未授權候選都算重大失敗，即使答案沒有使用；任何已刪內容仍出現在快取或引用，也直接停止。通過後才檢查必要來源在前幾名的比例、證據缺口是否誠實、引用是否支持句子，以及延遲與費用是否符合服務目標。這個順序明確表達取捨：較高平均召回不能交換較寬的資料外洩風險。

請領域人員審查命中失敗，而不是只由工程師看相似分數。他要標出真正支援結論的最小段落、必要上下文、可接受替代來源與不能跨越的適用範圍。這些標註回到金題，往後切段或模型更新時都能重跑。

快取要以身分、權限版本、查詢、文件版本與檢索設定組成鍵。任一權限或來源更新就不能命中舊結果。測試刻意讓兩個區域問同一句話，再更新其中一份政策，確認回傳與快取事件都分離，沒有先命中再過濾。

把證據不足納入介面設計。畫面要說目前查了哪些核准來源、缺哪一類資料、應找哪位負責人，不用生成一段看似完整的猜測。分析師若補新文件，走正常擷取、權限與版本流程，再重跑原問題，不能臨時貼文字繞過索引治理。

金題每季由文件擁有者重看生效日期與正確來源，避免評測本身過期。更新答案時保留舊版本與變更理由，讓檢索退步和政策內容改變能分開判斷；不可直接覆寫期望值，造成歷史候選看似突然錯誤。

檢索設定變更要附差異報告。列出新增或移除的文件、切段規則、權限欄位、向量模型、詞彙索引、候選數、重排器與快取版本，再以相同金題比較。對每個新命中與新遺漏抽查來源，確認改善不是因權限放寬或舊版文件重新出現。若命中率上升但禁止金絲雀出現在任何中間層，候選直接淘汰。這份差異報告讓資料更新、模型更新與排序更新不會混成一個難以歸因的發布。