Compound AI Systems

I sistemi AI composti sono applicazioni di intelligenza artificiale costruite da più componenti interagenti anziché da un singolo modello. Un sistema può combinare modelli, servizi di recupero, database, regole deterministiche, strumenti esterni e revisione umana in un unico flusso di lavoro coordinato. Nella visione artificiale, ad esempio, un modello può rilevare oggetti mentre il software di tracciamento mantiene le identità, le regole aziendali interpretano gli eventi e i servizi di monitoraggio osservano le prestazioni di produzione. La caratteristica distintiva è la composizione: il comportamento a livello di sistema emerge da come le parti scambiano informazioni e prendono decisioni.

Come funzionano i sistemi AI composti#

Un sistema composto suddivide un'attività più ampia in fasi specializzate. I componenti tipici includono preelaborazione dei dati, uno o più modelli AI, archiviazione, logica di convalida, interfacce di programmazione delle applicazioni e un livello di orchestrazione. Contratti chiari, come quelli descritti dalla OpenAPI Specification, definiscono i dati che ciascun servizio accetta e restituisce.

Il controllo può essere deterministico, con codice convenzionale che chiama componenti in una sequenza fissa, o dinamico, con un livello di AI agent orchestration che seleziona strumenti e percorsi in fase di esecuzione. L'AI orchestration coordina dipendenze, tentativi, risorse e flusso di dati in tutta l'applicazione.

I modelli comuni includono la retrieval-augmented generation, in cui il recupero fornisce il contesto a un modello linguistico, e le pipeline di fusione di sensori che combinano telecamere, radar o altri input. Il più ampio spostamento da modelli isolati verso sistemi integrati è descritto nella Berkeley AI Research overview of compound AI systems. (bair.berkeley.edu)

Perché i sistemi composti sono importanti#

La composizione consente agli sviluppatori di migliorare un'applicazione senza riaddestrare un modello enorme. Un componente specializzato può essere sostituito, ridimensionato o ottimizzato mentre il resto del flusso di lavoro rimane stabile. Regole e fasi di convalida possono anche fornire un maggiore controllo rispetto all'affidarsi interamente all'output probabilistico del modello.

Questi vantaggi introducono compromessi a livello di sistema:

• Propagazione degli errori: Un rilevamento errato, un recupero fallito o un'API non disponibile possono influenzare ogni decisione successiva.
• Latenza e costo: Ogni chiamata al modello, richiesta di rete e fase di verifica consuma parte del budget di risposta totale.
• Deriva dell'interfaccia: L'aggiornamento di un servizio può modificarne il formato di output o le ipotesi e interrompere silenziosamente un altro componente.
• Valutazione difficile: Un componente forte non garantisce un risultato end-to-end forte.

Di conseguenza, il machine learning operations deve coprire l'intero flusso di lavoro. La OpenTelemetry observability guidance spiega come tracce, metriche e log rivelano ciò che è accaduto tra i servizi distribuiti, mentre il MLflow experiment tracking può registrare le configurazioni del modello e i risultati della valutazione. (opentelemetry.io)

Concetti correlati e differenze chiave#

Un sistema AI composto non è semplicemente un altro nome per un modello complesso.

Un model ensemble combina previsioni da più modelli, spesso tramite voto, media o stacking. Un ensemble può essere un componente all'interno di un sistema composto, ma di solito manca di database, strumenti, logica di flusso di lavoro e servizi operativi.

Un flusso di lavoro agentico consente ai modelli di scegliere autonomamente azioni o strumenti. I sistemi composti sono più ampi: molti utilizzano pipeline fisse, servizi guidati da eventi o approvazione umana senza agenti autonomi.

Allo stesso modo, RAG è un particolare modello composto che prevede il recupero e la generazione. L'IA composta può anche coordinare visione artificiale, previsione, ottimizzazione, robotica e software convenzionale senza utilizzare un modello linguistico.

Applicazioni nel mondo reale#

• Manufacturing visual inspection: Una telecamera cattura i prodotti, un Ultralytics YOLO26 model rileva i difetti, la logica basata su regole controlla la gravità e la posizione, e un sistema di produzione rifiuta o approva ciascun elemento. I casi incerti possono essere indirizzati a un ispettore umano, mentre le immagini archiviate supportano il riaddestramento successivo.

• Traffic and parking analytics: Il rilevamento identifica i veicoli, il multi-object tracking mantiene le identità tra i fotogrammi, la logica geometrica determina l'occupazione della corsia o dell'area di parcheggio e le dashboard aggregano conteggi e avvisi. Gli errori possono causare conteggi duplicati, eventi di congestione mancati o stime di disponibilità errate, quindi ogni fase deve essere testata insieme.

Il seguente esempio semplificato mostra la percezione che alimenta la logica decisionale deterministica:

from ultralytics import YOLO

# Perception component
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Policy component
person_class = next(i for i, name in result.names.items() if name == "person")
person_count = int((result.boxes.cls == person_class).sum())
decision = "review" if person_count >= 4 else "continue"

print({"people_detected": person_count, "next_step": decision})
result.save(filename="compound_system_input.jpg")

Qui, YOLO produce osservazioni strutturate, mentre una logica di policy separata determina l'azione successiva. Un sistema di produzione potrebbe aggiungere archiviazione, notifiche, controlli di accesso o revisione umana.

Guida alla progettazione pratica#

Inizia con un obiettivo end-to-end misurabile, quindi assegna a ciascun componente una chiara responsabilità. Definisci schemi e timeout a ogni confine, testa i componenti in modo indipendente e valuta flussi di lavoro realistici anziché solo l'accuratezza del modello.

Usa le tracce per seguire le singole richieste, imposta budget di latenza e costo e fornisci tentativi o fallback sicuri per i servizi non disponibili. I Kubernetes health probes illustrano come i servizi distribuiti possono esporre segnali di prontezza e vitalità.

I controlli dei rischi dovrebbero riguardare il sistema completo, inclusi accesso ai dati, strumenti esterni, override umani e conseguenze successive. Il NIST AI Risk Management Framework fornisce una guida orientata al ciclo di vita per governare, misurare e gestire questi rischi. I team possono utilizzare Ultralytics Platform per connettere annotazione di dataset, addestramento, distribuzione e monitoraggio della produzione per i componenti di visione all'interno di un'applicazione composta più ampia. (nist.gov)