评估漂移

AI 系统会在生产环境中悄然衰退。这不是模型的缺陷，而是把机器学习系统部署到一个不断变化的环境里之后，必然要面对的结果。用户行为在变，上游数据在变，业务需求也在变。生产环境中真实查询的分布，会一点点偏离当初评估时所依据的那条分布。

真正的问题不是漂移本身。真正的问题，是没能在用户替你发现漂移之前，先一步发现它。

大多数企业 AI 团队在上线前的评估上重金投入，却对上线后的持续监控投入不足。本文主张反过来分配资源：一套轻量的上线前评估，加上一套严谨的持续监控实践，远比一套穷尽式的上线前评估、却完全没有持续监控更有价值。

本白皮书将介绍 Tenten AI 为生产级 AI 系统搭建的评估基础设施、能在性能劣化被用户察觉之前可靠捕捉到它的那些指标，以及随着生产环境演进、持续维护评估覆盖度所需的运维节奏。