엔터프라이즈 규모의 RAG

모든 RAG 튜토리얼은 같은 길을 걷습니다. 문서를 청크로 나누고, 임베딩하고, 벡터 데이터베이스에 저장하고, 상위 k개 결과를 검색해, 모델에 넘깁니다. 데모를 만들기에는 이것으로 충분합니다. 하지만 프로덕션에는 충분하지 않습니다.

시스템이 실제로 쓸모 있느냐를 가르는 프로덕션 RAG의 결정들 — 이종 문서 유형을 위한 청킹 전략, 밀집(dense) 신호와 희소(sparse) 신호를 결합하는 하이브리드 검색, 1차 검색 이후 가장 관련성 높은 청크를 끌어올리는 재순위화(re-ranking), 복합적인 다단계 질문을 위한 쿼리 분해, 인용 무결성, 대규모 환경에서의 지연 시간 — 이 중 어느 것도 튜토리얼에는 나오지 않습니다.

이 백서는 Tenten AI가 금융 서비스, 헬스케어, 법률, 제조 분야에서 20건 이상의 엔터프라이즈 RAG를 구축하며 내린 프로덕션 결정들을 다룹니다. 이 분야 전반을 망라하는 개론이 아닙니다. 가장 중요한 결정들과, 그 결정에 이르게 한 사고 과정을 담은 견해 있는 안내서입니다.