검색 증강 생성(RAG)

검색 증강 생성(RAG)은 대규모 언어 모델(LLM)에서 생성된 응답의 품질, 정확도 및 관련성을 개선하기 위해 설계된 고급 AI 프레임워크입니다. 생성 모델을 외부의 최신 지식 기반에 연결하는 방식으로 작동합니다. 이를 통해 모델은 답변을 생성하기 전에 관련 정보를 '검색'하여 검증 가능한 사실에 근거한 결과물을 효과적으로 생성하고 환각이나 오래된 응답의 가능성을 줄일 수 있습니다. RAG는 학습되지 않은 전문 정보나 독점 정보에 대한 액세스 권한을 부여함으로써 LLM이 지식 집약적인 작업을 더욱 안정적으로 수행할 수 있도록 합니다.

검색 증강 세대의 작동 방식

RAG 프로세스는 검색과 생성의 두 가지 주요 단계로 나눌 수 있습니다. 이 2단계 접근 방식은 정보 검색 시스템과 생성 모델의 강점을 결합한 것입니다.

1. 검색: 사용자가 프롬프트를 제공하거나 질문을 하면 RAG 시스템은 먼저 프롬프트를 사용하여 지식 소스에서 관련 정보를 검색합니다. 이 소스는 일반적으로 문서, 문서 또는 기타 데이터의 임베딩이 포함된 벡터 데이터베이스입니다. 리트리버 구성 요소는 사용자의 쿼리를 기반으로 가장 관련성이 높은 텍스트 또는 데이터 스니펫을 식별하여 가져옵니다. 선택 사항이지만 강력한 단계는 재랭커를 사용하여 검색된 결과를 구체화하여 문맥상 가장 중요한 정보만 전달되도록 하는 것입니다.
2. 증강 생성: 검색된 정보는 원래의 사용자 프롬프트와 결합됩니다. 이 새롭고 강화된 프롬프트는 생성형 AI 모델(LLM)에 입력됩니다. 이 모델은 추가된 컨텍스트를 사용하여 포괄적이고 정확하며 관련성 있는 답변을 작성합니다. 이러한 복잡한 RAG 파이프라인을 구축하고 관리하는 데는 일반적으로 LangChain 및 LlamaIndex와 같은 프레임워크가 사용됩니다.

애플리케이션 및 예시

RAG는 사실의 정확성과 동적 또는 전문 데이터에 대한 액세스가 필요한 시나리오에서 특히 유용합니다.

• 고급 질의응답 시스템: 고객 지원 챗봇은 RAG를 사용하여 제품 설명서, 문제 해결 가이드 및 정책 문서로 구성된 회사의 전체 지식 기반에 액세스할 수 있습니다. 고객이 "내 제품에 대한 보증 정책이 무엇인가요?"라고 질문하면 시스템은 최신 보증 문서를 검색하고 이를 사용하여 일반적인 답변보다 훨씬 개선된 정확한 최신 답변을 제공합니다.
• 콘텐츠 제작 및 연구: 재무 분석가는 RAG 기반 도구를 사용해 시장 요약을 작성할 수 있습니다. 이 도구는 블룸버그나 로이터와 같은 신뢰할 수 있는 출처에서 최신 재무 보고서, 시장 뉴스, 주식 실적 데이터를 검색할 수 있습니다. 그런 다음 LLM은 이 정보를 인용이 포함된 일관된 보고서로 종합하여 연구 프로세스의 속도를 크게 높입니다.

RAG와 관련 개념

LLM 성능을 향상시키는 데 사용되는 다른 방법과 RAG를 구분하는 것이 도움이 됩니다:

• 미세 조정: 미세 조정: 미세 조정은 모델의 내부 가중치를 수정하는 더 작은 전문 데이터 세트에 대한 학습을 계속하여 사전 학습된 모델을 조정합니다. RAG와 달리 추론 중에 외부 데이터를 참조하지 않습니다. 미세 조정은 모델에 새로운 스타일이나 기술을 가르치는 데 이상적인 반면, RAG는 사실적인 지식을 통합하는 데 더 적합합니다. 이러한 접근 방식은 상호 보완적일 수도 있습니다.
• 프롬프트 엔지니어링: 프롬프트 엔지니어링은 LLM에서 원하는 출력을 얻기 위해 프롬프트를 신중하게 설계하는 수동 프로세스입니다. RAG는 사람이 모든 컨텍스트를 수동으로 제공하는 대신 검색된 데이터로 프롬프트를 프로그래밍 방식으로 추가("증강")하여 이 과정의 일부를 자동화합니다.
• 프롬프트 강화: 프롬프트 강화는 RAG와 유사하지만 더 넓은 의미의 용어입니다. 여기에는 사용자 기록이나 대화 흐름에서 컨텍스트를 추가하는 것이 포함될 수 있습니다. RAG는 외부 지식 기반에서 사실 정보를 검색하여 모델의 응답의 근거를 마련하는 데 중점을 둔 특정 유형의 심층 분석입니다.

컴퓨터 비전에서의 RAG

RAG는 주로 자연어 처리(NLP)에 사용되지만, 그 핵심 개념은 컴퓨터 비전(CV) 작업에도 활용되고 있습니다. 예를 들어, 시스템은 이미지 생성 또는 분석을 안내하기 위해 관련 시각 정보를 검색할 수 있습니다. 여기에는 대규모 데이터 세트에서 유사한 이미지를 찾아내어 Ultralytics YOLO와 같은 객체 감지 모델의 성능을 개선하는 것이 포함될 수 있습니다. 이러한 복잡한 모델과 데이터 세트 관리는 RAG를 사용하는 향후 멀티 모달 모델 애플리케이션의 기반이 될 수 있는 Ultralytics HUB와 같은 플랫폼을 통해 간소화할 수 있습니다. RAG 및 컴퓨터 비전으로 AI 향상에 관한 블로그에서 관련 구현 사례를 살펴볼 수 있습니다.