評価のドリフト

AI システムは本番環境で劣化します。これはモデルの欠陥ではなく、変化し続ける環境に機械学習システムを置く以上、避けられない結果です。ユーザーの行動は変わります。上流のデータも変わります。ビジネス要件も変わります。本番環境に流れてくるクエリの分布は、評価時に想定していた分布から少しずつずれていきます。

問題はドリフトそのものではありません。問題は、ユーザーに気づかれる前にドリフトを検知できないことです。

多くのエンタープライズ AI チームは、デプロイ前の評価に多大な投資をする一方で、運用開始後の継続的なモニタリングには投資が足りていません。本稿が主張するのは、その逆の配分です。軽量なデプロイ前評価と、徹底した継続モニタリングの組み合わせは、継続モニタリングのない網羅的なデプロイ前評価よりも価値が高い、ということです。

本ホワイトペーパーでは、Tenten AI が本番 AI システムに実装している評価インフラ、ユーザーに見える前に劣化を確実に検知する指標、そして本番環境の変化に合わせて評価カバレッジを維持するための運用サイクルについて解説します。