Prompt Enrichment

프롬프트 보강은 인공지능 (AI) 모델에 제출하기 전에 사용자의 초기 입력에 관련 컨텍스트, 구체적인 지침 또는 보충 데이터를 자동으로 추가하는 프로세스입니다. 이 기법은 인간과 기계 간의 상호작용을 최적화하는 지능형 미들웨어 계층으로 작동하여, 대규모 언어 모델 (LLMs)과 컴퓨터 비전 시스템이 포괄적인 질의를 수신하도록 합니다. 사용자가 누락할 수 있는 세부 정보(예: 과거 선호도, 위치 데이터 또는 기술적 제약 조건)를 주입함으로써, 프롬프트 보강은 사용자가 상세한 지침을 작성하는 전문가가 아니더라도 모델 출력의 정확도와 개인화를 크게 향상합니다.

보강 메커니즘#

프롬프트 보강의 핵심 기능은 모호한 인간의 의도와 모델이 최적의 성능을 위해 요구하는 정밀하고 데이터가 풍부한 입력 간의 간극을 해소하는 것입니다. 질의가 수신되면 시스템은 이를 분석하고 지식 그래프 또는 구조화된 데이터베이스에서 필요한 배경 정보를 가져옵니다. 검색된 데이터는 프로그래밍 방식으로 형식을 지정한 후 원래 프롬프트에 추가됩니다.

예를 들어 자연어 처리 (NLP) 워크플로에서 "상태가 어떻습니까?"와 같은 간단한 질문은 컨텍스트가 부족합니다. 보강 시스템은 활성 세션을 식별하고 트랜잭션 데이터베이스에서 최신 주문 번호를 가져온 다음, 프롬프트를 다음과 같이 다시 작성합니다. "사용자가 현재 운송 중인 주문 #998에 대해 문의하고 있습니다. 이 상태를 바탕으로 배송 업데이트를 제공하세요." 이 프로세스에서는 주입할 의미적으로 관련된 컨텍스트를 신속하게 찾기 위해 벡터 데이터베이스를 사용하는 경우가 많습니다.

실제 적용 사례#

프롬프트 보강은 다양한 산업 분야에 강력한 생성형 AI 애플리케이션을 배포하고 텍스트 기반 시스템과 비전 기반 시스템을 모두 향상하는 데 필수적입니다.

1. 컨텍스트 인식 고객 지원: 자동화된 헬프데스크에서 챗봇은 보강을 사용하여 고객의 구매 이력과 기술 환경에 액세스합니다. 사용자의 디바이스 버전을 묻는 대신 시스템이 계정 메타데이터에서 해당 정보를 가져와 프롬프트에 주입합니다. 이를 통해 AI 에이전트는 즉시 디바이스에 맞는 문제 해결 단계를 제공할 수 있으며, 고객 경험을 크게 향상합니다.

2. 동적 컴퓨터 비전 구성: 보안 운영에서 사용자는 간단히 "야간 모드" 설정을 전환할 수 있습니다. 내부적으로 프롬프트 보강은 이러한 고수준 의도를 YOLO-World와 같은 개방형 어휘 검출기를 위한 구체적인 객체 클래스로 변환합니다. 시스템은 프롬프트를 보강하여 "손전등", "수상한 움직임" 또는 "인가되지 않은 사람"을 구체적으로 탐지하도록 하며, 이를 통해 모델이 객체 검출 초점을 동적으로 조정할 수 있습니다.

예제: 동적 클래스 보강#

다음 Python 예제는 ultralytics 패키지를 사용하여 프롬프트 보강의 개념을 보여줍니다. 여기서는 사용자의 고수준 의도가 모델이 탐지할 구체적인 설명형 클래스 목록으로 프로그래밍 방식으로 보강됩니다.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

프롬프트 보강과 관련 개념 비교#

효과적인 머신 러닝 운영 (MLOps)을 구현하려면 프롬프트 보강을 유사한 용어와 구분하는 것이 도움이 됩니다.

• 검색 증강 생성 (RAG): RAG는 보강의 구체적인 방법입니다. 이는 모델의 응답을 뒷받침하기 위해 외부 말뭉치에서 관련 문서를 가져오는 메커니즘만을 의미합니다. 보강은 RAG를 포함하는 더 포괄적인 개념이며, 복잡한 시맨틱 검색을 수행하지 않고도 정적 세션 데이터, 사용자 메타데이터 또는 시스템 시간을 주입하는 작업까지 포함합니다.
• 프롬프트 엔지니어링: 이는 효과적인 프롬프트를 설계하는 수동 작업입니다. 보강은 프롬프트 엔지니어링 원칙을 런타임에 동적으로 적용하는 자동화된 프로세스입니다.
• 프롬프트 튜닝: 이는 학습 중에 "소프트 프롬프트"(학습 가능한 텐서)를 최적화하는 파라미터 효율적 파인튜닝 (PEFT) 기법입니다. 프롬프트 보강은 전적으로 실시간 추론 중에 수행되며 모델 가중치를 변경하지 않습니다.
• 퓨샷 러닝: 이는 모델에 작업을 가르치기 위해 프롬프트 안에 예제를 제공하는 방식입니다. 보강 시스템은 작업 유형에 따라 이러한 퓨샷 예제를 동적으로 주입하는 경우가 많으며, 이를 통해 두 개념을 효과적으로 결합합니다.

최신 AI 시스템에서의 중요성#

Ultralytics YOLO26 및 GPT-4와 같은 모델의 성능이 향상될수록 병목 지점은 입력 품질로 이동하는 경우가 많습니다. 프롬프트 보강은 모델을 제공된 사실 데이터에 기반하게 하여 LLMs의 환각을 완화합니다. 컴퓨터 비전 (CV)에서는 시스템에 입력되는 텍스트 프롬프트를 수정하는 것만으로도 재학습 없이 새로운 환경에 즉시 적응할 수 있는 유연한 제로샷 러닝 검출 시스템을 구현할 수 있습니다. 이러한 유연성은 텍스트와 이미지 모두를 추론할 수 있는 확장 가능한 멀티모달 AI 솔루션을 구축하는 데 필수적입니다. 이러한 시스템의 기반을 마련하는 데 사용되는 데이터셋을 관리하려는 사용자는 정보를 효과적으로 구성하고 어노테이션하기 위해 Ultralytics Platform과 같은 도구를 사용하는 경우가 많습니다.