Prompt Enrichment

프롬프트 인리치먼트(Prompt enrichment)는 사용자의 초기 입력에 관련 컨텍스트, 구체적인 지시사항 또는 보충 데이터를 추가하여 인공지능(AI) 모델에 전달하기 전에 자동으로 보강하는 과정입니다. 이 기술은 인간과 기계 간의 상호작용을 최적화하는 지능형 미들웨어 계층 역할을 하여 대형 언어 모델(LLM)과 컴퓨터 비전 시스템이 포괄적인 쿼리를 수신하도록 보장합니다. 사용자가 누락할 수 있는 세부 정보(예: 과거 선호도, 위치 데이터 또는 기술적 제약 사항)를 주입함으로써, 프롬프트 인리치먼트는 사용자가 상세한 지시사항 작성 전문가가 될 필요 없이 모델 출력의 정확도와 개인화를 크게 향상시킵니다.

인리치먼트의 메커니즘#

프롬프트 인리치먼트의 핵심 기능은 모호한 인간의 의도와 모델이 최적의 성능을 발휘하기 위해 요구하는 정밀하고 데이터가 풍부한 입력 사이의 간극을 메우는 것입니다. 쿼리가 수신되면 시스템은 이를 분석하고 지식 그래프나 구조화된 데이터베이스에서 필요한 백그라운드 정보를 검색합니다. 이렇게 검색된 데이터는 프로그래밍 방식으로 포맷되어 원래 프롬프트에 추가됩니다.

예를 들어, 자연어 처리(NLP) 워크플로에서 "상태가 어떻게 되나요?"와 같은 단순한 질문은 컨텍스트가 충분하지 않습니다. 인리치먼트 시스템은 활성 세션을 식별하고 트랜잭션 데이터베이스에서 최신 주문 번호를 검색한 후 프롬프트를 다음과 같이 재작성합니다: "사용자가 현재 배송 중인 주문 #998에 대해 문의하고 있습니다. 이 상태를 기반으로 배송 업데이트를 제공하세요." 이 프로세스는 종종 벡터 데이터베이스를 활용하여 주입할 의미론적으로 관련된 컨텍스트를 빠르게 찾습니다.

실제 애플리케이션 사례#

프롬프트 인리치먼트는 다양한 산업 분야에서 강력한 생성형 AI 애플리케이션을 배포하는 데 필수적이며, 텍스트 및 비전 기반 시스템을 모두 향상시킵니다:

1. 컨텍스트 인식 고객 지원: 자동화된 헬프데스크에서 챗봇은 인리치먼트를 사용하여 고객의 구매 내역과 기술 환경에 액세스합니다. 사용자에게 기기 버전을 묻는 대신, 시스템은 계정 메타데이터에서 이를 검색하여 프롬프트에 주입합니다. 이를 통해 AI 에이전트는 즉각적이고 기기 맞춤형 문제 해결 단계를 제공할 수 있으며, 고객 경험을 크게 향상시킵니다.

2. 동적 컴퓨터 비전 구성: 보안 작업에서 사용자는 단순히 "야간 모드" 설정을 토글할 수 있습니다. 백그라운드에서 프롬프트 인리치먼트는 이 고수준 의도를 YOLO-World와 같은 개방형 어휘 감지기를 위한 특정 객체 클래스로 변환합니다. 시스템은 프롬프트를 보강하여 "손전등", "수상한 움직임" 또는 "무단 침입자"를 구체적으로 검색하도록 함으로써 모델이 객체 감지 초점을 동적으로 조정할 수 있게 합니다.

예시: 동적 클래스 인리치먼트#

다음 Python 예제는 ultralytics 패키지를 사용하여 프롬프트 인리치먼트의 개념을 보여줍니다. 여기서는 사용자의 고수준 의도가 프로그래밍 방식으로 모델이 검색할 특정 설명 클래스의 목록으로 보강됩니다.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

프롬프트 인리치먼트와 관련 개념 비교#

효과적인 머신러닝 운영(MLOps)을 구현하려면 프롬프트 인리치먼트를 유사한 용어와 구분하는 것이 유용합니다:

• 검색 증강 생성(RAG): RAG는 인리치먼트의 구체적인 방법입니다. 이는 모델의 응답을 뒷받침하기 위해 외부 코퍼스에서 관련 문서를 가져오는 메커니즘을 엄격하게 지칭합니다. 인리치먼트는 RAG를 포함할 뿐만 아니라, 반드시 복잡한 의미론적 검색을 수행하지 않고도 정적 세션 데이터, 사용자 메타데이터 또는 시스템 시간을 주입하는 범위까지 아우르는 더 광범위한 개념입니다.
• 프롬프트 엔지니어링: 이는 효과적인 프롬프트를 설계하는 수작업입니다. 인리치먼트는 런타임에 프롬프트 엔지니어링 원칙을 동적으로 적용하는 자동화된 프로세스입니다.
• 프롬프트 튜닝: 이는 훈련 중에 "소프트 프롬프트"(학습 가능한 텐서)가 최적화되는 매개변수 효율적 미세 조정(PEFT) 기법입니다. 프롬프트 인리치먼트는 완전히 실시간 추론 중에 발생하며 모델 가중치를 변경하지 않습니다.
• 퓨샷 학습: 이는 모델에게 태스크를 가르치기 위해 프롬프트 내에서 예시를 제공하는 것을 포함합니다. 인리치먼트 시스템은 종종 태스크 유형에 따라 이러한 퓨샷 예시를 동적으로 주입하여 두 개념을 효과적으로 결합합니다.

현대 AI 시스템에서의 관련성#

Ultralytics YOLO26 및 GPT-4와 같은 모델이 더욱 강력해짐에 따라 병목 현상은 종종 입력의 품질로 이동합니다. 프롬프트 인리치먼트는 모델을 사실에 기반한 제공된 데이터에 고정함으로써 LLM의 환각 현상을 완화합니다. 컴퓨터 비전(CV)에서는 시스템에 입력되는 텍스트 프롬프트를 수정하기만 하면 재훈련 없이 새로운 환경에 즉시 적응할 수 있는 유연한 제로샷 학습 감지 시스템을 가능하게 합니다. 이러한 유연성은 텍스트와 이미지 모두를 추론할 수 있는 확장 가능한 멀티모달 AI 솔루션을 구축하는 데 매우 중요합니다. 이러한 시스템을 접지하는 데 사용되는 데이터셋을 관리하려는 사용자는 종종 Ultralytics Platform과 같은 도구를 사용하여 정보를 효과적으로 구성하고 주석을 달 수 있습니다.