Agentic AI 거버넌스

Agentic AI 시스템 — 세상 속에서 자율적으로 행동을 취하고, 웹을 탐색하며, 코드를 작성·실행하고, API를 호출하고, 파일을 수정하는 시스템 — 은 기존 소프트웨어 시스템이나 (행동 없이 정보만 제공하는 챗봇 같은) 수동적 AI 시스템에는 존재하지 않는 거버넌스 과제를 안고 있습니다.

핵심 문제는 비가역성입니다. 잘못 설계된 agentic 시스템은 사람의 검토 없이 이메일을 보내고, 데이터베이스 레코드를 수정하고, 금융 거래를 실행할 수 있습니다. 이러한 행동은 되돌리기가 어렵거나 아예 불가능할 수 있습니다. 실패한 agentic 행동의 비용은 실패한 질의 응답의 비용보다 훨씬 더 클 수 있습니다.

이 런북은 행동 권한, 인간 승인, 감사 기록, 모니터링, 복구 등 agentic AI의 거버넌스 통제를 설명합니다. 자체 환경과 위험 평가에 맞는 통제를 선택하고 테스트하십시오.