Compound AI Systems

I sistemi di IA composti sono applicazioni di IA costruite a partire da più componenti interagenti anziché da un singolo modello. Un sistema può combinare modelli, servizi di recupero, database, regole deterministiche, strumenti esterni e revisione umana in un unico workflow coordinato. Nella computer vision, ad esempio, un modello può rilevare gli oggetti mentre il software di tracking mantiene le identità, le regole aziendali interpretano gli eventi e i servizi di monitoraggio osservano le prestazioni in produzione. La caratteristica distintiva è la composizione: il comportamento a livello di sistema emerge dal modo in cui le parti scambiano informazioni e prendono decisioni.

Come funzionano i sistemi di IA composti#

Un sistema composto suddivide un'attività più ampia in fasi specializzate. I componenti tipici includono la preelaborazione dei dati, uno o più modelli di IA, l'archiviazione, la logica di convalida, le interfacce di programmazione delle applicazioni e un livello di orchestrazione. Contratti chiari, come quelli descritti dalla Specifica OpenAPI, definiscono i dati accettati e restituiti da ciascun servizio.

Il controllo può essere deterministico, con codice convenzionale che chiama i componenti secondo una sequenza fissa, oppure dinamico, con un livello di orchestrazione degli agenti di IA che seleziona strumenti e percorsi durante l'esecuzione. L'orchestrazione dell'IA coordina dipendenze, nuovi tentativi, risorse e flusso di dati all'interno dell'applicazione.

Tra i pattern più comuni rientra la generazione aumentata dal recupero, in cui il recupero fornisce contesto a un modello linguistico, oltre alle pipeline di fusione dei sensori che combinano telecamere, radar o altri input. Il più ampio passaggio dai modelli isolati ai sistemi integrati è descritto nella panoramica di Berkeley AI Research sui sistemi di IA composti. (bair.berkeley.edu)

Perché i sistemi composti sono importanti#

La composizione consente agli sviluppatori di migliorare un'applicazione senza riaddestrare un unico modello enorme. Un componente specializzato può essere sostituito, scalato o ottimizzato mentre il resto del workflow rimane stabile. Le regole e le fasi di convalida possono inoltre offrire un controllo maggiore rispetto all'affidarsi interamente all'output probabilistico del modello.

Questi vantaggi introducono compromessi a livello di sistema:

• Propagazione degli errori: Un rilevamento errato, un recupero non riuscito o un'API non disponibile possono influire su ogni decisione a valle.
• Latenza e costi: Ogni chiamata al modello, richiesta di rete e fase di verifica consuma una parte del budget complessivo per la risposta.
• Deriva delle interfacce: L'aggiornamento di un servizio può modificare il formato del suo output o le sue ipotesi, causando la rottura silenziosa di un altro componente.
• Valutazione complessa: Un componente valido non garantisce un risultato valido end-to-end.

Di conseguenza, le operazioni di machine learning devono coprire l'intero workflow. Le indicazioni sull'osservabilità di OpenTelemetry spiegano come tracce, metriche e log rivelino ciò che è accaduto tra i servizi distribuiti, mentre il tracciamento degli esperimenti di MLflow può registrare le configurazioni dei modelli e i risultati della valutazione. (opentelemetry.io)

Concetti correlati e differenze chiave#

Un sistema di IA composto non è semplicemente un altro nome per un modello complesso.

Un ensemble di modelli combina le predizioni di più modelli, spesso tramite votazione, media o stacking. Un ensemble può essere un componente all'interno di un sistema composto, ma in genere non include database, strumenti, logica di workflow e servizi operativi.

Un workflow agentico consente ai modelli di scegliere autonomamente azioni o strumenti. I sistemi composti sono più ampi: molti utilizzano pipeline fisse, servizi basati su eventi o approvazione umana senza agenti autonomi.

Analogamente, RAG è un particolare pattern composto che coinvolge recupero e generazione. L'IA composta può anche coordinare computer vision, previsione, ottimizzazione, robotica e software convenzionale senza utilizzare un modello linguistico.

Applicazioni nel mondo reale#

• Ispezione visiva nella produzione: Una telecamera acquisisce i prodotti, un modello Ultralytics YOLO26 rileva i difetti, la logica basata su regole verifica gravità e posizione e un sistema di produzione rifiuta o approva ogni articolo. I casi incerti possono essere indirizzati a un ispettore umano, mentre le immagini archiviate supportano il riaddestramento successivo.

• Analisi del traffico e dei parcheggi: Il rilevamento identifica i veicoli, il tracking multi-oggetto mantiene le identità tra i fotogrammi, la logica geometrica determina l'occupazione delle corsie o delle aree di parcheggio e i dashboard aggregano conteggi e avvisi. Gli errori possono causare conteggi duplicati, eventi di congestione non rilevati o stime errate della disponibilità, quindi ogni fase deve essere testata insieme alle altre.

Il seguente esempio semplificato mostra le informazioni percettive alimentare una logica decisionale deterministica:

from ultralytics import YOLO

# Perception component
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Policy component
person_class = next(i for i, name in result.names.items() if name == "person")
person_count = int((result.boxes.cls == person_class).sum())
decision = "review" if person_count >= 4 else "continue"

print({"people_detected": person_count, "next_step": decision})
result.save(filename="compound_system_input.jpg")

Qui YOLO produce osservazioni strutturate, mentre una logica di policy separata determina l'azione successiva. Un sistema di produzione potrebbe aggiungere archiviazione, notifiche, controlli degli accessi o revisione umana.

Linee guida pratiche per la progettazione#

Inizia con un obiettivo end-to-end misurabile, quindi assegna a ogni componente una responsabilità chiara. Definisci schemi e timeout a ogni confine, testa i componenti in modo indipendente e valuta workflow realistici anziché limitarti all'accuratezza del modello.

Usa le tracce per seguire le singole richieste, imposta budget per latenza e costi e fornisci nuovi tentativi o fallback sicuri per i servizi non disponibili. Le probe di integrità di Kubernetes illustrano come i servizi distribuiti possano esporre segnali di disponibilità e operatività.

I controlli dei rischi devono riguardare l'intero sistema, compresi l'accesso ai dati, gli strumenti esterni, le sostituzioni manuali e le conseguenze a valle. Il Framework di gestione dei rischi dell'IA del NIST fornisce indicazioni orientate al ciclo di vita per governare, misurare e gestire questi rischi. I team possono usare Ultralytics Platform per collegare annotazione dei dataset, addestramento, deployment e monitoraggio in produzione dei componenti di computer vision all'interno di un'applicazione composta più ampia. (nist.gov)