Compound AI Systems

복합 AI 시스템은 단일 모델이 아닌 상호 작용하는 여러 구성 요소로 구축된 AI 애플리케이션입니다. 시스템은 모델, 검색 서비스, 데이터베이스, 결정론적 규칙, 외부 도구, 그리고 사람의 검토를 하나의 조율된 워크플로로 결합할 수 있습니다. 예를 들어 컴퓨터 비전에서 하나의 모델이 객체를 감지하는 동안 트래킹 소프트웨어가 신원을 유지하고, 비즈니스 규칙이 이벤트를 해석하며, 모니터링 서비스가 프로덕션 성능을 관찰할 수 있습니다. 핵심적인 특징은 구성으로, 시스템 수준의 동작은 각 부품이 정보를 교환하고 결정을 내리는 방식에서 비롯됩니다.

복합 AI 시스템의 작동 방식#

복합 시스템은 더 큰 작업을 전문화된 단계로 나눕니다. 일반적인 구성 요소로는 데이터 전처리, 하나 이상의 AI 모델, 스토리지, 검증 로직, 애플리케이션 프로그래밍 인터페이스, 그리고 오케스트레이션 레이어가 있습니다. OpenAPI Specification에 설명된 것과 같은 명확한 계약은 각 서비스가 수락하고 반환하는 데이터를 정의합니다.

제어는 기존 코드가 고정된 순서로 구성 요소를 호출하는 결정론적 방식일 수도 있고, AI agent orchestration 레이어가 런타임에 도구와 경로를 선택하는 동적 방식일 수도 있습니다. AI orchestration은 애플리케이션 전반의 종속성, 재시도, 리소스, 데이터 흐름을 조율합니다.

일반적인 패턴으로는 검색이 언어 모델에 컨텍스트를 제공하는 retrieval-augmented generation과 카메라, 레이더 또는 기타 입력을 결합하는 센서 융합 파이프라인이 있습니다. 격리된 모델에서 통합 시스템으로의 광범위한 전환은 Berkeley AI Research overview of compound AI systems에 설명되어 있습니다. (bair.berkeley.edu)

복합 시스템이 중요한 이유#

구성을 통해 개발자는 거대한 모델 하나를 다시 재학습하지 않고도 애플리케이션을 개선할 수 있습니다. 나머지 워크플로는 안정적으로 유지하면서 전문화된 구성 요소를 교체하거나 확장하거나 최적화할 수 있습니다. 규칙 및 검증 단계는 확률론적 모델 출력에만 완전히 의존하는 것보다 더 나은 제어를 제공할 수 있습니다.

이러한 이점은 시스템 수준의 트레이드오프를 야기합니다:

• 실패 전파: 잘못된 감지, 실패한 검색 또는 사용할 수 없는 API는 모든 다운스트림 결정에 영향을 미칠 수 있습니다.
• 지연 시간 및 비용: 각 모델 호출, 네트워크 요청, 검증 단계는 전체 응답 예산의 일부를 소모합니다.
• 인터페이스 드리프트: 하나의 서비스를 업데이트하면 출력 형식이나 가정이 변경되어 다른 구성 요소가 조용히 중단될 수 있습니다.
• 어려운 평가: 강력한 구성 요소가 강력한 엔드투엔드 결과를 보장하지는 않습니다.

결과적으로 machine learning operations은 전체 워크플로를 다루어야 합니다. OpenTelemetry observability guidance는 트레이스, 메트릭, 로그가 분산된 서비스 전반에서 무슨 일이 일어났는지 어떻게 보여주는지 설명하며, MLflow experiment tracking은 모델 구성과 평가 결과를 기록할 수 있습니다. (opentelemetry.io)

관련 개념 및 주요 차이점#

복합 AI 시스템은 단순히 복잡한 모델의 다른 이름이 아닙니다.

model ensemble은 투표, 평균화 또는 스태킹을 통해 여러 모델의 예측을 결합합니다. 앙상블은 복합 시스템 내의 하나의 구성 요소가 될 수 있지만, 일반적으로 데이터베이스, 도구, 워크플로 로직 및 운영 서비스가 부족합니다.

에이전트 워크플로는 모델이 자율적으로 작업이나 도구를 선택할 수 있게 합니다. 복합 시스템은 더 광범위합니다. 많은 시스템이 자율 에이전트 없이 고정된 파이프라인, 이벤트 중심 서비스 또는 사람의 승인을 사용합니다.

마찬가지로 RAG는 검색과 생성을 포함하는 특정 복합 패턴입니다. 복합 AI는 또한 언어 모델을 사용하지 않고 컴퓨터 비전, 예측, 최적화, 로보틱스, 기존 소프트웨어를 조율할 수 있습니다.

실제 애플리케이션 사례#

• Manufacturing visual inspection: 카อล라가 제품을 캡처하고, Ultralytics YOLO26 model이 결함을 감지하며, 규칙 기반 로직이 심각도와 위치를 확인하고, 프로덕션 시스템이 각 항목을 거부하거나 승인합니다. 불확실한 경우는 인간 검사관에게 라우팅될 수 있으며, 저장된 이미지는 추후 재학습을 지원합니다.

• Traffic and parking analytics: 감지를 통해 차량을 식별하고, multi-object tracking이 프레임 전반에 걸쳐 신원을 유지하며, 기하학적 로직이 차선 또는 주차 구역 점유율을 결정하고, 대시보드가 집계된 수치와 알림을 제공합니다. 오류는 중복 집계, 놓친 혼잡 이벤트, 또는 잘못된 가용성 예측을 초래할 수 있으므로 모든 단계를 함께 테스트해야 합니다.

다음의 단순화된 예시는 인식이 결정론적 결정 로직에 입력되는 방식을 보여줍니다:

from ultralytics import YOLO

# Perception component
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Policy component
person_class = next(i for i, name in result.names.items() if name == "person")
person_count = int((result.boxes.cls == person_class).sum())
decision = "review" if person_count >= 4 else "continue"

print({"people_detected": person_count, "next_step": decision})
result.save(filename="compound_system_input.jpg")

여기서 YOLO는 구조화된 관측값을 생성하고, 별도의 정책 로직이 다음 작업을 결정합니다. 프로덕션 시스템은 스토리지, 알림, 액세스 제어 또는 사람의 검토를 추가할 수 있습니다.

실용적인 설계 지침#

측정 가능한 엔드투엔드 목표로 시작한 다음, 각 구성 요소에 하나의 명확한 책임을 할당하십시오. 모든 경계에서 스키마와 타임아웃을 정의하고, 구성 요소를 독립적으로 테스트하며, 모델 정확도뿐만 아니라 현실적인 워크플로를 평가하십시오.

트레이스를 사용하여 개별 요청을 추적하고, 지연 시간 및 비용 예산을 설정하며, 사용할 수 없는 서비스에 대해 재시도 또는 안전한 폴백을 제공하십시오. Kubernetes health probes는 배포된 서비스가 준비 상태 및 라이브니스 신호를 어떻게 노출할 수 있는지 보여줍니다.

위험 제어는 데이터 액세스, 외부 도구, 사람의 재정의, 다운스트림 결과를 포함하여 전체 시스템을 다루어야 합니다. NIST AI Risk Management Framework는 이러한 위험을 거버넌스하고, 측정하며, 관리하기 위한 라이프사이클 중심의 지침을 제공합니다. 팀은 Ultralytics Platform을 사용하여 더 넓은 복합 애플리케이션 내에서 비전 구성 요소에 대한 데이터셋 주석, 학습, 배포 및 프로덕션 모니터링을 연결할 수 있습니다. (nist.gov)