프롬프트 강화

프롬프트 강화의 작동 방식

보강 프로세스는 일반적으로 원래 사용자 프롬프트를 분석하는 것으로 시작됩니다. 이 분석을 바탕으로 시스템은 추가 정보 소스나 미리 정의된 규칙을 활용하여 프롬프트를 보강합니다. 여기에는 사용자 상호작용 기록에 액세스하거나, 지식창고에서 관련 문서를 검색하거나, 진행 중인 대화의 맥락을 통합하거나, 모델에 필요한 특정 서식 지정 지침을 적용하는 등의 작업이 포함될 수 있습니다. 예를 들어, "최신 Ultralytics 개발 사항 요약"과 같은 간단한 프롬프트는 " Ultralytics YOLOv11의 주요 기능 및 성능 개선 사항을 다음과 비교하여 요약해 주세요."로 보강하여 지정할 수 있습니다. YOLOv8객체 탐지 작업에 중점을 둔 주요 기능 및 성능 개선 사항을 요약합니다."로 추가할 수 있습니다. 검색 증강 생성(RAG) 과 같은 기술은 일반적으로 사용되며, 시스템이 관련 데이터 스니펫을 가져와(예: Ultralytics 문서에서) 이를 LLM으로 보내기 전에 프롬프트의 컨텍스트 창에 통합하는 방식입니다. 이렇게 하면 모델이 포괄적이고 정확한 응답을 생성하는 데 필요한 배경을 확보할 수 있습니다.

애플리케이션 및 예시

프롬프트 강화는 수많은 AI 기반 애플리케이션에서 상호 작용 품질과 작업 성능을 향상시키는 데 유용합니다:

• 고객 지원 챗봇: "주문 상태가 어떻게 되나요?"라고 묻는 고객에게 API 통합을 통해 고객 관계 관리(CRM) 시스템에서 검색한 사용자 ID 또는 최근 주문 번호로 강화된 프롬프트를 제공할 수 있습니다. 강화된 프롬프트는 챗봇이 후속 확인 질문을 하지 않고도 특정 업데이트를 즉시 제공할 수 있도록 합니다.
• 개인화를 위한가상 어시스턴트: 사용자가 Google 어시스턴트나 Alexa와 같은 가상 비서에게 "음악 틀어줘"라고 요청하면 사용자의 청취 기록, 선호 장르, 시간, 심지어 연결된 디바이스를 통해 감지된 현재 활동을 기반으로 더욱 개인화된 음악 선곡을 안내할 수 있습니다.
• 콘텐츠 작성 도구: 텍스트 생성을 사용하는 창작 글쓰기 도우미는 "스토리를 작성하세요."와 같은 모호한 프롬프트를 받을 수 있습니다. 프롬프트 강화 기능을 사용하면 "반항적인 주인공이 등장하는 디스토피아 미래를 배경으로 한 짧은 공상 과학 소설을 작성하세요."와 같이 이전 상호작용을 기반으로 세부 정보를 추가하여 사용자의 관심사에 더 부합하는 결과물을 만들 수 있습니다.
• 시맨틱 검색 시스템: 회사 내부 문서를 검색할 때 '4분기 실적 보고서 찾기'와 같은 쿼리를 사용자의 부서, 역할, 액세스 권한으로 보강하여 방대한 데이터 레이크에서 가장 관련성이 높고 허용 가능한 문서를 검색할 수 있습니다.

프롬프트 강화와 관련 개념 비교

프롬프트 강화와 유사한 용어 사이의 뉘앙스를 이해하는 것이 중요합니다:

• 프롬프트 엔지니어링: 프롬프트 엔지니어링은 일반적으로 사람이 AI로부터 원하는 응답을 이끌어내기 위해 프롬프트를 신중하게 제작하는 수동 프로세스입니다. 반대로 프롬프트 강화는 이 강화 프로세스를 자동화하거나 반자동화하는 것을 목표로 하며, 종종 덜 정제된 초기 사용자 프롬프트를 기반으로 합니다.
• 프롬프트 튜닝: 이 기술은 특정 작업에 대해 사전 학습된 고정된 모델을 조정하기 위해 경사 하강을 통해 부드러운 프롬프트 임베딩을 학습하는 것을 포함합니다. 텍스트 프롬프트 자체보다는 모델 입력 표현의 일부를 수정합니다. 이는 매개변수 효율적 미세 조정(PEFT)의 한 형태입니다.
• 미세 조정: 여기에는 더 작은 작업별 데이터 세트에서 사전 학습된 모델의 모델 가중치를 업데이트하는 작업이 포함됩니다. 프롬프트 강화는 모델의 매개 변수를 변경하지 않으며 기존 모델에 제공되는 입력 프롬프트만 수정합니다.
• 검색 증강 생성(RAG): RAG는 프롬프트 강화 시스템에서 자주 사용되는 특정 방법입니다. 관련 외부 데이터를 검색하여 프롬프트의 컨텍스트에 추가하여 사실적 근거를 개선하고 환각을 줄이는 데 중점을 둡니다.

컴퓨터 비전과의 관련성

프롬프트 강화는 일반적으로 LLM 및 자연어 이해(NLU)와 관련이 있지만, 그 원리가 컴퓨터 비전(CV)에도 적용되고 있습니다. 다음과 같은 모델을 사용하는 표준 객체 감지와 같은 전통적인 CV 작업은 Ultralytics YOLO 와 같은 모델을 사용하는 표준 객체 감지와 같은 전통적인 CV 작업은 일반적으로 복잡한 텍스트 프롬프트가 아닌 이미지 입력에 의존합니다. 그러나 CLIP, YOLO, YOLOE와 같은 최신 멀티 모달 모델과 프롬프트 가능한 비전 시스템은 제로 샷 감지와 같은 작업을 안내하기 위해 텍스트 또는 이미지 프롬프트를 허용합니다. 이러한 모델의 경우, 단순한 텍스트 프롬프트(예: "차량 감지")에 더 많은 컨텍스트(예: "이 교통 카메라 피드에서 구급차 및 소방차와 같은 긴급 차량만 감지")를 추가하면 성능과 구체성을 크게 향상시킬 수 있습니다. 이러한 기술을 통합하여 복잡한 비전 작업을 정의하거나 결과를 분석할 때 사용자 상호 작용을 단순화할 수 있는 Ultralytics HUB와 같은 플랫폼은 여러 영역에서 AI 안전과 사용성을 개선하기 위한 지속적인 AI 연구 및 개발의 한 영역을 대표할 수 있습니다.