RAG와 컴퓨터 비전으로 AI 애플리케이션 개선하기

ChatGPT나 Gemini와 같은 AI 도구를 사용해 정보를 찾는 일이 빠르게 보편화되고 있습니다. 메시지 작성, 문서 요약, 질문에 대한 답변 등 어떤 작업이든 이러한 도구는 더 빠르고 간편한 해결책을 제공하는 경우가 많습니다.

하지만 대규모 언어 모델(LLMs)을 몇 차례 사용해 보셨다면 한계를 느끼셨을 것입니다. 매우 구체적이거나 시의성이 중요한 질문을 하면, 모델이 자신 있게 잘못된 답변을 내놓기도 합니다.

이는 독립형 LLM이 학습에 사용된 데이터에만 의존하기 때문입니다. 해당 데이터셋에 포함되지 않은 최신 업데이트나 전문 지식에는 접근할 수 없습니다. 따라서 답변이 오래되었거나 부정확할 수 있습니다.

이 문제를 해결하기 위해 연구자들은 검색 증강 생성(RAG)이라는 방법을 개발했습니다. RAG는 질문에 답할 때 신뢰할 수 있는 출처에서 최신의 관련 정보를 가져올 수 있도록 하여 언어 모델을 강화합니다.

이 글에서는 RAG의 작동 방식과 관련성 높은 최신 정보를 검색하여 AI 도구의 기능을 향상하는 방법을 살펴보겠습니다. 또한 텍스트뿐만 아니라 이미지, 레이아웃, 시각적으로 복잡한 문서까지 시스템이 이해할 수 있도록 시각 데이터를 해석하는 인공지능 분야인 컴퓨터 비전과 RAG가 어떻게 함께 작동하는지도 알아보겠습니다.

검색 증강 생성(RAG) 이해하기#

AI 챗봇에 질문할 때는 일반적으로 그럴듯하게 들리는 답변 이상의 것을 기대합니다. 이상적인 답변은 명확하고 정확하며 실질적으로 도움이 되어야 합니다. 이를 위해 AI 모델에는 언어 능력뿐 아니라 적절한 정보에 대한 액세스도 필요하며, 특히 구체적이거나 시의성이 중요한 주제에서는 더욱 그렇습니다.

RAG는 이러한 격차를 해소하는 데 도움이 되는 기술입니다. 언어 모델의 텍스트 이해 및 생성 능력과 외부 출처에서 관련 정보를 검색하는 기능을 결합합니다. 모델은 학습 데이터에만 의존하는 대신, 응답을 구성하는 동안 신뢰할 수 있는 지식 베이스에서 보조 콘텐츠를 능동적으로 가져옵니다.

그림 1. 주요 RAG 사용 사례. 이미지 제공: 저자.

질문을 받은 사람이 답변하기 전에 신뢰할 수 있는 참고 자료를 확인하는 상황을 떠올려 보세요. 답변은 여전히 그 사람의 표현으로 작성되지만, 가장 관련성이 높고 최신인 정보에 기반합니다.

이 접근 방식은 LLM이 사용자의 질문에 맞춰 더욱 완전하고 정확한 답변을 제공하도록 지원합니다. 따라서 정확성이 실제로 중요한 현실 세계의 애플리케이션에서 훨씬 더 신뢰할 수 있습니다.

RAG의 작동 방식 살펴보기#

RAG는 검색과 생성이라는 두 가지 주요 단계를 도입하여 대규모 언어 모델의 응답 방식을 향상합니다. 먼저 외부 지식 베이스에서 관련 정보를 검색한 다음, 해당 정보를 사용해 형식이 잘 갖춰지고 맥락을 반영하는 응답을 생성합니다.

이 과정이 어떻게 작동하는지 간단한 예를 살펴보겠습니다. AI 어시스턴트로 개인 재정을 관리하면서 이번 달 지출 목표를 지켰는지 확인하려는 상황을 떠올려 보세요.

"이번 달에 예산을 지켰나요?"와 같은 질문을 어시스턴트에게 하면 이 과정이 시작됩니다. 시스템은 학습 중에 얻은 정보에만 의존하지 않고 검색기를 사용하여 최근 금융 기록(은행 명세서나 거래 요약 등)을 검색합니다. 시스템은 질문의 의도를 파악하고 가장 관련성이 높은 정보를 수집하는 데 집중합니다.

정보를 검색한 후에는 언어 모델이 이어서 처리합니다. 모델은 질문과 기록에서 가져온 데이터를 모두 처리하여 명확하고 유용한 답변을 생성합니다. 원시 데이터를 나열하는 대신 지출 내역을 요약하고, 목표 달성 여부를 확인하거나 주요 지출 항목을 지적하는 등 직접적이고 의미 있는 정보를 제공합니다.

이 접근 방식은 LLM이 정확할 뿐만 아니라 실제 최신 정보를 바탕으로 응답하도록 하므로, 정적인 학습 데이터만 사용하는 모델보다 훨씬 유용한 경험을 제공합니다.

그림 2. RAG 작동 방식 이해하기.

멀티모달 RAG 시스템의 필요성#

정보가 항상 일반 텍스트로 공유되는 것은 아닙니다. 의료 영상과 다이어그램부터 프레젠테이션 슬라이드와 스캔한 문서까지, 시각 자료에는 중요한 세부 정보가 담기는 경우가 많습니다. 주로 텍스트를 읽고 이해하도록 만들어진 기존 LLM은 이러한 콘텐츠를 처리하는 데 어려움을 겪을 수 있습니다.

하지만 RAG를 컴퓨터 비전과 함께 사용하면 이러한 격차를 해소할 수 있습니다. 두 기술을 결합하면 텍스트와 시각 자료를 모두 처리해 AI 챗봇이 더 정확하고 완전한 답변을 제공하도록 돕는 멀티모달 RAG 시스템을 구축할 수 있습니다.

이 접근 방식의 핵심은 두 유형의 입력을 모두 처리하고 추론하도록 설계된 비전-언어 모델(VLMs)입니다. 이러한 구조에서 RAG는 대규모 데이터 소스에서 가장 관련성 높은 정보를 검색하고, 컴퓨터 비전으로 구현되는 VLM은 이미지, 레이아웃 및 다이어그램을 해석합니다.

이는 스캔 양식, 의료 보고서 또는 프레젠테이션 슬라이드처럼 중요한 세부 정보가 텍스트와 시각 자료 양쪽에 담겨 있을 수 있는 실제 문서에서 특히 유용합니다. 예를 들어 이미지와 표, 단락이 함께 포함된 문서를 분석할 때 멀티모달 시스템은 시각적 요소를 추출하고 해당 요소가 보여 주는 내용을 요약한 다음 주변 텍스트와 결합하여 더욱 완전하고 유용한 답변을 제공할 수 있습니다.

그림 3. 멀티모달 RAG는 이미지와 텍스트를 활용해 더 나은 답변을 제공합니다.

시각 데이터에 RAG를 적용하는 사례#

RAG의 개념과 컴퓨터 비전과 함께 작동하는 방식을 살펴보았으니, 이 접근 방식이 실제로 어떻게 사용되는지 보여 주는 현실 세계의 사례와 연구 프로젝트를 알아보겠습니다.

VisRAG로 시각 문서 이해하기#

재무 보고서나 스캔된 법률 문서에서 인사이트를 추출하려는 상황을 가정해 보겠습니다. 이러한 파일에는 텍스트뿐만 아니라 정보를 설명하는 데 도움이 되는 표, 차트 및 레이아웃도 포함되는 경우가 많습니다. 일반적인 언어 모델은 이러한 시각적 요소를 놓치거나 잘못 해석하여 불완전하거나 부정확한 응답을 내놓을 수 있습니다.

연구자들은 이 문제를 해결하기 위해 VisRAG를 개발했습니다. VisRAG는 텍스트만 처리하는 대신 각 페이지를 이미지로 취급하는 VLM 기반 RAG 파이프라인입니다. 이를 통해 시스템은 콘텐츠와 시각적 구조를 모두 이해할 수 있습니다. 그 결과 가장 관련성 높은 부분을 찾아 문서의 전체 맥락에 기반한 더욱 명확하고 정확한 답변을 제공할 수 있습니다.

그림 4. VisRAG는 텍스트 콘텐츠와 레이아웃을 파악하기 위해 문서를 이미지로 읽을 수 있습니다.

RAG를 활용한 시각적 질의응답#

시각 질의응답(VQA)은 AI 시스템이 이미지에 관한 질문에 답하는 작업입니다. 기존 VQA 시스템 중 상당수는 추가 정보를 검색할 필요 없이 단일 문서에 관한 질문에 답하는 데 중점을 두며, 이를 폐쇄형 설정이라고 합니다.

VDocRAG는 보다 현실적인 접근 방식을 취하는 RAG 프레임워크입니다. VQA와 관련 문서를 먼저 검색하는 기능을 통합합니다. 사용자의 질문이 여러 문서 중 하나에 해당할 수 있고 시스템이 답변하기 전에 적절한 문서를 찾아야 하는 현실 세계의 상황에서 유용합니다. 이를 위해 VDocRAG는 VLM을 사용해 문서를 이미지로 분석하여 텍스트와 시각적 구조를 모두 보존합니다.

따라서 VDocRAG는 엔터프라이즈 검색, 문서 자동화, 고객 지원과 같은 애플리케이션에서 특히 큰 효과를 발휘합니다. 레이아웃을 이해하는 것이 내용을 읽는 것만큼 중요한 매뉴얼이나 정책 문서와 같이 복잡한 시각 형식의 문서에서 팀이 답변을 신속하게 추출하도록 지원할 수 있습니다.

그림 5. VDocRAG와 LLM 기반 솔루션의 차이점.

RAG를 활용한 이미지 캡션 생성 개선#

이미지 캡션 생성은 이미지에서 무슨 일이 일어나고 있는지 글로 설명하는 작업입니다. 온라인 콘텐츠의 접근성 향상부터 이미지 검색 지원, 콘텐츠 조정 및 추천 시스템 지원까지 다양한 애플리케이션에서 사용됩니다.

하지만 AI 모델이 항상 정확한 캡션을 생성하기 쉬운 것은 아닙니다. 특히 이미지에 모델의 학습 데이터와 다른 내용이 담긴 경우에는 더욱 어렵습니다. 많은 캡션 생성 시스템은 학습 데이터에 크게 의존하므로 익숙하지 않은 장면을 만나면 모호하거나 부정확한 캡션을 생성할 수 있습니다.

이 문제를 해결하기 위해 연구자들은 이미지 캡션 생성에 검색 증강 생성(RAG)을 도입하는 방법인 Re-ViLM을 개발했습니다. Re-ViLM은 처음부터 캡션을 생성하는 대신 데이터베이스에서 유사한 이미지-텍스트 쌍을 검색하고 이를 활용해 캡션 출력을 유도합니다.

이 검색 기반 접근 방식은 모델이 관련 예시에 기반해 설명하도록 지원하여 정확도와 유창성을 모두 향상합니다. 초기 결과에 따르면 Re-ViLM은 실제 예시를 활용해 더욱 자연스럽고 맥락에 맞는 캡션을 생성하여 모호하거나 부정확한 설명을 줄이는 데 도움이 됩니다.

그림 6. Re-ViLM은 시각-텍스트 예시를 검색하여 이미지 캡션을 개선합니다.

시각 데이터를 이해하기 위해 RAG를 사용할 때의 장단점#

시각 정보를 검색하고 활용하기 위해 검색 증강 생성 기법을 적용할 때 얻을 수 있는 이점을 간략히 살펴보겠습니다.

• 향상된 요약 기능: 요약에는 텍스트뿐만 아니라 차트의 추세나 인포그래픽 요소와 같은 시각 자료의 인사이트도 포함될 수 있습니다.
• 더욱 강력한 검색 및 정보 검색: 검색 단계에서 이미지 기반 이해를 활용하면 텍스트에 키워드가 없더라도 관련 시각 페이지를 식별할 수 있습니다.
• 스캔, 손글씨 또는 이미지 기반 문서 지원: VLM으로 구현되는 RAG 파이프라인은 텍스트 전용 모델로는 읽을 수 없는 콘텐츠를 처리할 수 있습니다.

이러한 이점에도 불구하고 시각 데이터 작업에 RAG를 사용할 때 유의해야 할 한계가 몇 가지 있습니다. 주요 한계는 다음과 같습니다.

• 높은 컴퓨팅 요구 사항: 이미지와 텍스트를 모두 분석하려면 더 많은 메모리와 처리 능력이 필요하므로 성능이 저하되거나 비용이 증가할 수 있습니다.
• 데이터 프라이버시 및 보안 우려: 특히 헬스케어나 금융과 같은 분야의 시각 문서에는 민감한 정보가 포함될 수 있어 검색 및 처리 워크플로가 복잡해질 수 있습니다.
• 긴 추론 시간: 시각 자료 처리는 복잡성을 더하므로 텍스트만 처리하는 시스템보다 응답 생성에 더 많은 시간이 걸릴 수 있습니다.

핵심 요점#

검색 증강 생성은 대규모 언어 모델이 외부 출처에서 관련성 높고 최신인 정보를 가져올 수 있도록 하여 질문에 답하는 방식을 개선하고 있습니다. 컴퓨터 비전과 결합하면 이러한 시스템은 텍스트뿐만 아니라 차트, 표, 이미지 및 스캔 문서와 같은 시각 콘텐츠도 처리할 수 있어 더욱 정확하고 균형 잡힌 응답을 제공합니다.

이 접근 방식은 복잡한 문서를 다루는 현실 세계의 작업에 LLM이 더 적합하도록 합니다. 검색과 시각적 이해를 결합하면 다양한 형식의 콘텐츠를 더욱 효과적으로 해석하고 실용적인 일상 환경에서 더 유용한 인사이트를 제공할 수 있습니다.

성장 중인 커뮤니티에 참여해 보세요! GitHub 저장소를 살펴보며 AI에 대해 자세히 알아보세요. 직접 컴퓨터 비전 프로젝트를 시작할 준비가 되셨나요? 라이선스 옵션을 확인해 보세요. 솔루션 페이지에서 헬스케어 분야의 AI와 리테일 분야의 컴퓨터 비전에 대해 자세히 알아보세요!