평가 드리프트

AI 시스템은 프로덕션에서 서서히 무너집니다. 이는 모델의 결함이 아니라, 끊임없이 변하는 환경에 머신러닝 시스템을 배포한 데서 비롯되는 당연한 귀결입니다. 사용자 행동이 바뀌고, 상위 데이터가 바뀌며, 비즈니스 요구사항이 바뀝니다. 그 결과 프로덕션 쿼리의 분포는 시스템이 평가받았던 분포에서 점점 멀어집니다.

문제는 드리프트가 일어난다는 사실 자체가 아닙니다. 진짜 문제는, 사용자가 먼저 알아채기 전에 드리프트를 감지하지 못하는 것입니다.

대부분의 엔터프라이즈 AI 팀은 배포 전 평가에는 막대한 노력을 쏟으면서, 정작 배포 이후의 지속적인 프로덕션 모니터링에는 투자가 부족합니다. 이 백서는 그 정반대의 배분을 주장합니다. 즉, 가벼운 배포 전 평가에 더해 엄격한 상시 모니터링 체계를 갖추는 편이, 빈틈없는 배포 전 평가만 해 두고 이후 모니터링이 전무한 경우보다 훨씬 가치 있다는 것입니다.

이 백서는 Tenten AI가 프로덕션 AI 시스템에 적용하는 평가 인프라, 사용자가 체감하기 전에 성능 저하를 안정적으로 감지해 내는 지표, 그리고 프로덕션 환경이 진화함에 따라 평가 커버리지를 유지하기 위한 운영 케이던스를 설명합니다.