Deployment
评估漂移
规划基准、校准审查与风险导向监测
作者
Tenten AI Research
ML Engineering
发布日期
更新日期
阅读时间
4 min
evaluationLLM-as-judgeobservabilityproduction monitoringdrift
摘要
输入、用户、参考资料、模型、prompt 或工具变化时，AI 的任务质量也可能变化。可用率和延迟不能反映所有质量问题，应先定义任务验收基准，再比较相关维度。
Anthropic 的 2026 年 1 月 9 日智能体评估指南讨论代码、模型及人工评判、校准和互补监测。本文将这些区别用于代表性案例、风险抽样、告警及调查责任。固定一致率、样本数或周期不能证明所有系统的生产可靠性。
完整内容
从一条工作流程开始。
明确值得做的下一步。
留下联系方式与问题类型，我们会通过 Email 了解现状，讨论流程、集成与开发范围。