Deployment
評估漂移
規劃基準、校準審查與風險導向監測
作者
Tenten AI Research
ML Engineering
發布日期
更新日期
閱讀時間
4 min
evaluationLLM-as-judgeobservabilityproduction monitoringdrift

摘要
輸入、使用者、參考資料、模型、prompt 或工具改變時,AI 的任務品質也可能改變。可用率及延遲無法描述每一種品質變化。先定義通過驗收的任務基準,再比較工作流真正重視的指標。
Anthropic 在 2026 年 1 月 9 日的 agent 評估指南中,說明程式、模型及人工評分、校準與互補監測。本文把這些區分轉成評估計畫:代表性案例、依風險抽樣、明確警示決策及調查負責人。固定的一致率、樣本數或監測週期,不是所有系統的正式環境可靠度證明。
完整內容

從一條工作流程開始。
釐清值得做的下一步。
留下聯絡方式與問題類型,我們會再透過 Email 了解現況,討論流程、整合與開發範圍。