Prompt Compression

프롬프트 압축은 거대 언어 모델(LLMs) 및 멀티모달 모델에 제공되는 입력 텍스트의 길이와 복잡성을 줄이기 위해 설계된 고급 최적화 기술입니다. 중복되는 단어, 관련 없는 컨텍스트, 불용어를 알고리즘 방식으로 제거하면서 핵심적인 의미를 보존함으로써, 프롬프트 압축을 통해 AI 시스템은 정보를 더 효율적으로 처리할 수 있습니다. 이 방법은 컴퓨팅 비용을 최소화하고 추론 지연 시간을 줄이며 모델이 최대 컨텍스트 윈도우를 초과하지 않도록 방지하는 데 점점 더 중요해지고 있습니다.

Link to this section프롬프트 압축의 작동 원리#

아키텍처 수준에서 프롬프트 압축은 종종 더 작고 전문화된 모델이나 정보 이론적 알고리즘을 활용하여 주어진 프롬프트 내 각 토큰의 중요도를 평가합니다. 토큰 병합 및 엔트로피 기반 프루닝과 같은 기술은 전체적인 의미에 기여도가 낮은 토큰을 식별하여 제거합니다. 이를 통해 최종 입력에는 가장 밀도 높게 압축된 정보만 포함되도록 합니다.

권위 있는 기관의 최근 연구에 따르면, 고도로 압축된 프롬프트는 복잡한 추론 작업에서 성능을 유지하면서 토큰 소비량을 크게 줄일 수 있습니다. 확장 가능한 애플리케이션에 AI를 통합하는 개발자에게 OpenAI의 프롬프트 최적화 가이드라인을 준수하고 압축 프레임워크를 활용하는 것은 효율적인 배포를 위한 표준적인 모범 사례입니다.

Link to this section실제 응용 분야#

프롬프트 압축은 방대한 텍스트나 시각 데이터를 신속하게 처리해야 하는 시나리오에서 즉각적인 가치를 제공합니다:

• 검색 증강 생성(RAG): 엔터프라이즈 검색 애플리케이션에서 RAG 파이프라인은 단일 사용자 질의에 답하기 위해 수십 개의 긴 문서를 검색하는 경우가 많습니다. 프롬프트 압축 알고리즘은 이렇게 검색된 문서를 축소하여 생성 모델에 전달하기 전에 간결한 사실 요약본으로 추출합니다. 이는 토큰 오버플로우를 방지하고 실시간 추론 속도를 높입니다.
• 자율 AI 에이전트: 에이전트와 챗봇은 사용자 상호작용에 대한 장기 기억을 유지해야 합니다. 전체 대화 기록을 매번 새로운 질의에 전달하는 대신, 압축 기술을 사용하여 이전 대화 내용을 요약함으로써 에이전트가 기하급수적인 컴퓨팅 비용을 발생시키지 않으면서도 컨텍스트를 파악하도록 합니다.

Link to this section프롬프트 압축과 관련 기술 비교#

강력한 머신 러닝 운영(MLOps) 파이프라인을 구축하려면 프롬프트 압축을 관련 개념과 구별하는 것이 중요합니다:

• 프롬프트 캐싱과 비교: 캐싱은 이전에 처리된 텍스트의 내부 계산 상태를 저장하여 재계산을 피합니다. 반면 압축은 처리가 발생하기 전에 입력 텍스트 자체를 능동적으로 변경하고 단축합니다.
• 프롬프트 엔지니어링과 비교: 프롬프트 엔지니어링은 인간이 주도하여 효과적인 지시문을 설계하는 기술입니다. 압축은 이러한 지시문을 자동화된 알고리즘을 통해 축소하는 것입니다.
• 프롬프트 강화(Prompt Enrichment)와 비교: 강화는 외부 컨텍스트를 추가하여 프롬프트를 확장하는 반면, 압축은 이를 줄입니다. 이들은 종종 함께 사용됩니다. 시스템은 데이터베이스 결과로 프롬프트를 강화한 다음, 추론 전에 최종 페이로드를 압축할 수 있습니다.

Link to this section컴퓨터 비전에서의 구현#

컴퓨터 비전(CV)에서는 객체를 식별하기 위해 텍스트 질의를 허용하는 오픈 어휘 모델을 사용할 때 프롬프트 압축 원리가 적용됩니다. 클래스 설명을 간결하게 유지하면 더 빠른 텍스트 인코딩이 보장되고 메모리 오버헤드가 줄어듭니다.

속도가 가장 중요한 고정 클래스 프로덕션 환경에서 개발자들은 일반적으로 텍스트 기반 모델에서 Ultralytics YOLO26과 같이 고도로 최적화된 고정 아키텍처 모델로 전환합니다. Ultralytics 플랫폼을 사용하여 데이터셋을 효율적으로 관리하고 이러한 최첨단 모델을 학습시킬 수 있습니다.

from ultralytics import YOLO

# Load an open-vocabulary YOLO-World model
model = YOLO("yolov8s-world.pt")

# Principle of prompt compression: Use concise, distilled class names
# instead of lengthy, complex descriptions for faster text encoding
compressed_prompts = ["helmet", "vest", "forklift"]
model.set_classes(compressed_prompts)

# Run inference with the optimized class list
results = model.predict("https://ultralytics.com/images/bus.jpg")
results[0].show()