Agentic AI 거버넌스

Agentic AI 시스템 — 세상 속에서 자율적으로 행동을 취하고, 웹을 탐색하며, 코드를 작성·실행하고, API를 호출하고, 파일을 수정하는 시스템 — 은 기존 소프트웨어 시스템이나 (행동 없이 정보만 제공하는 챗봇 같은) 수동적 AI 시스템에는 존재하지 않는 거버넌스 과제를 안고 있습니다.

핵심 문제는 비가역성입니다. 잘못 설계된 agentic 시스템은 사람의 검토 없이 이메일을 보내고, 데이터베이스 레코드를 수정하고, 금융 거래를 실행할 수 있습니다. 이러한 행동은 되돌리기가 어렵거나 아예 불가능할 수 있습니다. 실패한 agentic 행동의 비용은 실패한 질의 응답의 비용보다 훨씬 더 클 수 있습니다.

이 런북은 Tenten AI가 규제 환경의 엔터프라이즈에서 프로덕션 agentic AI를 배포할 때 실제로 구현하는 거버넌스 아키텍처를 다룹니다. 이것은 프레임워크 문서가 아니라 실무 문서입니다. 여기서 설명하는 모든 구성요소는 실제 프로덕션 배포에서 구현되어 있습니다.