파인튜닝이냐, RAG냐

파인튜닝과 검색 증강 생성(RAG) 사이의 선택은 엔터프라이즈 AI 시스템 설계에서 가장 자주 논쟁이 벌어지는 아키텍처 결정입니다. 그리고 가장 자주 잘못 내려지는 결정이기도 합니다 — 팀들은 문제가 실제로 무엇을 요구하는지가 아니라, 무엇이 기술적으로 흥미로운지를 기준으로 선택하곤 합니다.

이 백서는 Tenten AI가 20여 건의 엔터프라이즈 프로젝트를 거치며 다듬어 온 의사결정 프레임워크를 제시합니다. 이 프레임워크는 정답을 강요하지 않습니다. 파인튜닝이 명백히 옳은 경우, RAG가 명백히 옳은 경우, 그리고 둘 다 필요한 경우가 각각 존재합니다. 목표는, 관성에 떠밀려서가 아니라 의도를 가지고 결정을 내릴 수 있도록 팀에게 그 어휘와 기준을 쥐어 주는 것입니다.

가장 먼저, 그리고 가장 중요하게 짚어야 할 점은 이것입니다. 파인튜닝과 RAG는 서로 다른 문제를 풉니다. 파인튜닝은 모델이 무엇을 할 줄 아는지를 바꿉니다. RAG는 추론 시점에 어떤 정보를 쓸 수 있는지를 바꿉니다. 이 두 문제를 뒤섞는 것이야말로 이 분야에서 일어나는 대부분의 아키텍처 실수의 뿌리입니다.