Prompt Compression

프롬프트 압축은 Large Language Models (LLMs) 및 multi-modal models에 제공되는 입력 텍스트의 길이와 복잡성을 줄이기 위해 설계된 고급 최적화 기법입니다. 핵심 의미를 유지하면서 중복 단어, 관련 없는 컨텍스트, 불용어를 알고리즘 방식으로 제거함으로써, 프롬프트 압축은 AI 시스템이 정보를 더욱 효율적으로 처리할 수 있도록 합니다. 이 방법은 연산 비용을 최소화하고, inference latency를 줄이며, 모델이 최대 context window를 초과하는 것을 방지하는 데 점점 더 중요해지고 있습니다.

프롬프트 압축의 작동 원리#

아키텍처 수준에서 프롬프트 압축은 종종 더 작고 특화된 모델이나 정보 이론 기반 알고리즘을 활용하여 주어진 프롬프트에서 각 token의 중요도를 평가합니다. token merging and entropy-based pruning과 같은 기법은 전체 의미에 기여하는 바가 적은 토큰을 식별하고 제거합니다. 이를 통해 최종 입력에는 가장 조밀하게 압축된 정보만 포함되도록 보장합니다.

권위 있는 기관들의 최근 연구에 따르면, 고도로 압축된 프롬프트는 토큰 소비를 대폭 줄이면서도 복잡한 추론 작업에서 성능을 유지할 수 있습니다. 확장 가능한 애플리케이션에 AI를 통합하는 개발자에게는 prompt optimization guidelines by OpenAI를 준수하고 압축 프레임워크를 활용하는 것이 효율적인 배포를 위한 표준 모범 사례입니다.

실제 애플리케이션 사례#

프롬프트 압축은 광범위한 텍스트 또는 시각적 데이터를 신속하게 처리해야 하는 시나리오에서 즉각적인 가치를 제공합니다.

• Retrieval-Augmented Generation (RAG): 엔터프라이즈 검색 애플리케이션에서 RAG 파이프라인은 단일 사용자 질의에 답하기 위해 종종 수십 개의 긴 문서를 검색합니다. 프롬프트 압축 알고리즘은 이러한 검색된 문서를 축소하여, 생성 모델에 공급하기 전에 간결한 사실 요약으로 증류합니다. 이는 토큰 오버플로를 방지하고 real-time inference를 가속화합니다.
• Autonomous AI Agents: 에이전트와 chatbots은 사용자 상호작용의 장기 메모리를 유지해야 합니다. 전체 대화 기록을 모든 새 질의에 전달하는 대신, 압축 기법은 오래된 대화 턴을 요약하여 에이전트가 기하급수적인 연산 비용을 발생시키지 않고도 컨텍스트를 인식할 수 있도록 보장합니다.

프롬프트 압축과 관련 기술 비교#

견고한 machine learning operations (MLOps) 파이프라인을 구축하려면 프롬프트 압축을 관련 개념과 구분하는 것이 중요합니다:

• Vs. Prompt Caching: 캐싱은 이전에 처리된 텍스트의 내부 연산 상태를 저장하여 재연산을 방지합니다. 반면 압축은 처리 과정이 일어나기 전에 입력 텍스트 자체를 능동적으로 변경하고 단축합니다.
• Vs. Prompt Engineering: 프롬프트 엔지니어링은 효과적인 지시사항을 설계하는 인간 주도의 기술입니다. 압축은 그러한 지시사항을 자동화된 알고리즘 방식으로 축소하는 것입니다.
• Vs. Prompt Enrichment: 보강은 외부 컨텍스트를 추가하여 프롬프트를 확장하는 반면, 압축은 이를 축소합니다. 이들은 종종 함께 사용됩니다. 시스템은 데이터베이스 결과로 프롬프트를 보강한 다음 추론 전에 최종 페이로드를 압축할 수 있습니다.

컴퓨터 비전에서의 구현#

인식할 객체를 식별하기 위해 텍스트 질의를 허용하는 개방형 어휘 모델을 사용할 때 Computer Vision (CV)에서 프롬프트 압축 원리가 적용됩니다. 클래스 설명을 간결하게 유지하면 더 빠른 텍스트 인코딩이 보장되고 메모리 오버헤드가 감소합니다.

속도가 가장 중요한 고정 클래스 프로덕션 환경에서 개발자는 일반적으로 텍스트 프롬프트 모델에서 Ultralytics YOLO26과 같은 고도로 최적화된 고정 아키텍처 모델로 전환합니다. Ultralytics Platform을 사용하여 효율적으로 데이터셋을 관리하고 이러한 최첨단 모델을 학습할 수 있습니다.

from ultralytics import YOLO

# Load an open-vocabulary YOLO-World model
model = YOLO("yolov8s-world.pt")

# Principle of prompt compression: Use concise, distilled class names
# instead of lengthy, complex descriptions for faster text encoding
compressed_prompts = ["helmet", "vest", "forklift"]
model.set_classes(compressed_prompts)

# Run inference with the optimized class list
results = model.predict("https://ultralytics.com/images/bus.jpg")
results[0].show()