Prompt Chaining

프롬프트 체이닝은 작업을 대규모 언어 모델(LLM) 또는 다른 모델을 호출하는 일련의 단계로 나누며, 각 프롬프트는 이전 호출의 출력을 바탕으로 구성됩니다. 지원 이메일을 읽고 주문 번호를 찾고 주문 상태를 확인한 다음 답변을 작성하는 긴 프롬프트 하나를 사용하는 대신, 체이닝은 각 단계마다 별도의 간결한 프롬프트를 실행하고 일반 코드가 중간에 결과를 전달하고 확인합니다. 각 중간 출력은 독립적으로 검사하고 테스트하고 수정할 수 있습니다. Tongshuang Wu, Michael Terry, Carrie Cai는 CHI 2022에서 발표한 AI Chains에서 이 패턴을 연구했습니다. 20명의 사용자를 대상으로 한 연구에서 체이닝은 결과 품질과 참가자들이 느끼는 투명성 및 통제감을 높였습니다.

프롬프트 체인의 작동 방식#

체인은 고정된 프로그램입니다. 개발자가 각 단계와 순서, 단계별 프롬프트 템플릿을 정하고, 코드는 단계 사이에서 데이터를 전달합니다. 이때 데이터는 흔히 JSON 형식이며 구조화된 출력 스키마가 파싱 가능성을 보장합니다. Anthropic의 효과적인 에이전트 구축 가이드는 프롬프트 체이닝을 경로가 코드로 정해지는 시스템인 워크플로로 분류하고, 프로세스가 올바르게 진행 중인지 확인하기 위해 단계 사이에서 게이트라고 부르는 프로그래밍 방식의 검사를 수행하도록 설명합니다. 예를 들어 마케팅 문구를 작성한 뒤 번역하거나, 개요를 작성하고 기준에 따라 확인한 다음 문서를 작성하는 방식이 있습니다. 정확도를 높이는 대신 지연 시간이 늘어납니다. 각 호출은 더 쉽게 올바르게 처리할 수 있지만, 단계마다 왕복 시간이 추가됩니다.

오류가 누적되기 때문에 게이트가 중요합니다. 첫 번째 단계에서 잘못 추출한 값은 세 번째 단계에서 확신에 찬 사실로 취급될 수 있으므로, 체인은 일반적으로 형식, 범위 또는 필수 필드를 검증한 다음 결과를 전달합니다. 체인이 길어지면 위 예시와 같은 루프가 추가될 수 있습니다. 이 경우 실패 메시지를 프롬프트에 포함해 단계를 다시 시도하거나, 첫 호출에서 요청에 라벨을 붙인 다음 코드가 처리에 적합한 프롬프트를 선택하는 라우팅 단계를 추가합니다. LangChain과 같은 프레임워크는 체인을 구성하는 빌딩 블록을 제공하지만, 실제 운영 환경의 체인 중 다수는 일반 Python 함수 호출 몇 개로 구성됩니다.

실제 적용 사례#

• 코드 생성: AlphaCodium은 문제 분석, 테스트 생성, 솔루션 초안 작성, 테스트 주도 수정 단계를 체인으로 연결합니다. 그 결과 CodeContests 검증 문제에서 GPT-4의 pass@5를 단일 직접 프롬프트의 19%에서 44%로 높였습니다.
• 문서 처리: 인보이스 및 계약서 파이프라인은 한 번의 호출로 필드를 추출하고, 코드로 필드를 검증한 다음, 다른 호출에서 검증된 필드를 바탕으로 요약이나 이메일을 생성합니다.
• 검색 증강 생성(RAG): 첫 번째 호출은 사용자의 질문을 검색 쿼리로 다시 작성하고, 코드에서 벡터 데이터베이스를 대상으로 검색을 실행한 다음, 두 번째 호출은 검색된 구절을 바탕으로 답변합니다.
• 번호판 인식: YOLO 모델이 비디오 프레임에서 번호판을 탐지하고, 각 번호판을 잘라 GPT-4o mini에 전달하면 GPT-4o mini가 문자를 텍스트로 판독합니다. 따라서 언어 모델에는 번호판만 입력됩니다.

Ultralytics Platform Agents는 시각적 캔버스에서 이러한 유형의 체인을 구성합니다. YOLO → VLM Monitor 템플릿은 이미지에 YOLO26을 실행하고, 탐지된 객체를 사람을 한 명 이상 찾은 경우에만 다음 단계로 진행하는 Gate 블록에 전달한 다음, 이미지와 이전 단계의 결과를 LLM 블록의 비전-언어 모델에 전송합니다. 두 번째 링크의 프롬프트까지 동일한 체인을 Python으로 구현하면 다음과 같습니다.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Link 1: detect objects and list their class names
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
names = [result.names[int(c)] for c in result.boxes.cls]

# Gate: call the language model only when a person is present
if "person" in names:
    # Link 2: build the next prompt from link 1's output
    prompt = f"Objects detected: {', '.join(names)}. In one sentence, describe what the people are doing."
    print(prompt)

출력된 프롬프트는 객체 탐지 결과를 다음 호출로 전달하며, 사람이 없는 이미지는 다음 호출에 도달하지 않습니다.

프롬프트 체이닝과 관련 개념 비교#

• 연쇄 사고 프롬프팅: 한 번의 모델 호출로 추론 단계를 작성하도록 요청합니다. 프롬프트 체인은 코드가 중간에 개입하는 여러 호출로 단계를 나눕니다.
• AI 에이전트와 ReAct 프롬프팅: 모델이 다음 동작을 선택하고 완료 시점을 결정합니다. 체인에서는 개발자가 단계를 미리 고정하므로 테스트하기 쉽고 비용을 예측할 수 있습니다.
• 에이전틱 워크플로: 여러 단계와 도구로 구성된 LLM 시스템의 포괄적인 유형으로, 체이닝뿐 아니라 라우팅, 병렬 호출, 오케스트레이터-워커 구성도 포함합니다.
• 프롬프트 엔지니어링: 개별 프롬프트를 작성하는 기술입니다. 체이닝은 사용할 프롬프트의 수와 프롬프트 간 데이터 흐름에 관한 설계 결정입니다.