Presentazione di Ultralytics Agents: crea più rapidamente workflow di IA visiva

Addestrare un modello di visione artificiale efficace è solo una parte del percorso. La sfida successiva è decidere che cosa fare quando il modello genera una predizione: salvare un'immagine, chiedere ulteriore contesto, avvisare un team o raccogliere un esempio incerto da esaminare.

In passato, i team realizzavano questa orchestrazione usando script e integrazioni separati. Ultralytics Agents la porta su un canvas visivo, aiutando i team a trasformare le predizioni in azioni concrete con meno sviluppo personalizzato.

Disponibile in Ultralytics Platform, Agents collega immagini, modelli Ultralytics YOLO, distribuzioni, condizioni, modelli linguistici, dataset e azioni in flussi di lavoro visivi riutilizzabili.

Cosa sono gli Agents di Ultralytics?#

Gli Agents offrono un modo visivo per progettare ed eseguire workflow di computer vision. Aggiungi blocchi alla canvas, collega ogni passaggio e definisci cosa deve accadere quando un'immagine soddisfa una condizione specifica.

Un workflow può usare un modello YOLO26 ufficiale, un modello addestrato nel tuo workspace o un deployment Platform esistente. Può quindi filtrare le predizioni in base al numero di classi o alla confidenza, inviare immagini selezionate a un modello visione-linguaggio, raccoglierle in un dataset, inviare una notifica a un canale Slack o mostrare il risultato.

Con Agents puoi:

• Crea workflow in modo visivo: collega modelli, condizioni e azioni senza dover creare manualmente l'intero workflow da zero.
• Concentra l'attenzione: elabora solo le immagini che soddisfano i criteri che definisci.
• Combina intelligenza visiva e linguistica: usa YOLO per identificare ciò che conta prima di chiedere ulteriore contesto a un modello visione-linguaggio.
• Trasforma le predizioni in azioni: salva le immagini pertinenti, invia avvisi Slack condizionali o passa i risultati al passaggio successivo del workflow.
• Collega gli insight di produzione ai dati: raccogli le immagini incerte o importanti per la revisione e lo sviluppo futuro dei modelli.
• Esamina l'implementazione: visualizza il codice Python generato dal tuo workflow visivo.

Invece di fermarsi a «Che cosa ha rilevato il modello?», i team possono rispondere alla domanda più utile: «Che cosa dovrebbe succedere dopo?»

Passa dal rilevamento alla decisione#

Molti sistemi di vision AI richiedono strumenti multipli e collegamenti personalizzati. Un modello genera predizioni, la logica dell'applicazione le valuta, un altro sistema archivia gli input pertinenti e un'integrazione separata invia le notifiche.

Agents riunisce questi passaggi in un unico workflow visivo.

Per esempio, un team di produzione potrebbe eseguire un modello di ispezione addestrato, verificare se un difetto supera una soglia scelta, salvare l'immagine per la revisione e avvisare un canale operativo. Un team logistico potrebbe raccogliere i rilevamenti a bassa confidenza per individuare lacune nei dati di addestramento. Un team dedicato alla sicurezza potrebbe usare YOLO per rilevare una persona in un'area riservata prima di chiedere a un modello visione-linguaggio di descrivere la scena nel suo complesso.

Il workflow segue le condizioni impostate dall'utente, rendendo chiaro perché ogni passaggio successivo viene eseguito o meno.

Usa insieme Ultralytics YOLO e i modelli visione-linguaggio#

I modelli YOLO sono efficaci nell'individuare, classificare e contare gli oggetti nelle immagini. I modelli visione-linguaggio possono aggiungere un'interpretazione in linguaggio naturale del contesto visivo più ampio.

Agents consente di combinare queste capacità in modo efficiente. YOLO può fungere da primo filtro, permettendo al workflow di chiamare un modello visione-linguaggio solo quando un'immagine soddisfa la condizione richiesta.

Per esempio, un workflow potrebbe:

1. Eseguire YOLO26 su un'immagine.
2. Verificare se è stata rilevata almeno una persona.
3. Inviare le immagini corrispondenti a un modello visione-linguaggio selezionato.
4. Chiedergli di descrivere la scena.
5. Mostrare la descrizione risultante.

Se la condizione non è soddisfatta, il passaggio della descrizione non viene eseguito. Questo offre ai team un maggiore controllo sulle immagini che proseguono nel workflow e su quando vengono effettuate chiamate a modelli esterni.

Inizia con un template di workflow modificabile#

Agents include template che aiutano i team a passare rapidamente da un'idea a un workflow di vision AI funzionante e visivo.

• Monitoraggio YOLO → VLM: usa YOLO per identificare le immagini pertinenti prima di chiedere a un modello visione-linguaggio di descriverle.
• Raccolta dei rilevamenti incerti: filtra le predizioni in base alla confidenza e raccogli le immagini incerte in un dataset per la revisione.
• Acquisizione e avviso: salva un'immagine e invia una notifica Slack quando viene soddisfatta una condizione di rilevamento.

I template offrono un punto di partenza pratico, non una soluzione fissa. I team possono scegliere le proprie immagini, i propri modelli, deployment, condizioni, prompt, dataset di destinazione e integrazioni.

Gli utenti possono anche esaminare il codice Python generato da un workflow, combinando la rapidità dello sviluppo visivo con la trasparenza necessaria ai team tecnici per comprenderne l'implementazione.

Chiudi il ciclo tra deployment e miglioramento dei modelli#

Le immagini del mondo reale possono rivelare condizioni assenti o sottorappresentate durante l'addestramento. Nuovi ambienti, cambiamenti nell'aspetto degli oggetti e rilevamenti incerti possono tutti indicare opportunità per migliorare un modello.

Agents aiuta i team a trasformare queste osservazioni in un ciclo di dati attuabile:

1. Esegui le immagini con un modello Ultralytics YOLO o un deployment Platform.
2. Filtra i risultati usando condizioni basate sulla classe o sulla confidenza.
3. Raccogli le immagini originali selezionate in un dataset di destinazione.
4. Esamina e annota le immagini in Ultralytics Platform.
5. Riaddestra e ridistribuisci usando dati basati su input del mondo reale.

Le immagini raccolte tramite Agents arrivano senza etichette nella sezione train del dataset di destinazione, pronte per essere esaminate nell'editor di annotazione. I team possono etichettare questi esempi mirati e usarli per orientare la successiva iterazione del modello.

Questo crea un percorso più diretto dall'individuazione di un esempio difficile alla preparazione di dati di addestramento migliori.

Crea workflow orientati ai risultati del mondo reale#

Agents può supportare workflow in diversi settori e casi d'uso:

• Produzione: acquisisci possibili difetti per la revisione e avvisa i team qualità quando vengono soddisfatte le condizioni definite.
• Logistica: raccogli i rilevamenti incerti relativi a container, veicoli o attrezzature per migliorare la copertura del dataset.
• Vendita al dettaglio: filtra le immagini in base alle classi o al numero di oggetti rilevati e invia i risultati pertinenti alle azioni successive.
• Sicurezza e protezione: rileva persone o oggetti in scenari specifici prima di richiedere ulteriore contesto sulla scena.
• Sviluppo dei dataset: individua gli esempi a bassa confidenza e raccoglili in un insieme mirato per la revisione.

Ogni workflow può diramarsi da una condizione verso più azioni. Per esempio, la stessa immagine corrispondente può essere salvata in un dataset e attivare un messaggio Slack, consentendo ai team di conservare le prove e avvisare le persone incaricate della revisione.

Dal prototipo visivo a Python trasparente#

I builder di workflow visivi possono accelerare la sperimentazione, ma anche i team tecnici hanno bisogno di sapere cosa è in esecuzione.

Agents consente agli utenti di esaminare il codice Python generato da un workflow. In questo modo, l'accessibilità di una canvas visiva si unisce alla trasparenza necessaria agli sviluppatori per comprendere l'implementazione sottostante.

I team possono testare un piccolo workflow con la versione di prova condivisa oppure selezionare risorse di deployment Platform dedicate per dataset più grandi, esecuzioni più lunghe e modelli addestrati nel workspace.

Inizia a creare con Agents#

Agents di Ultralytics aiuta i team a superare le predizioni isolate e a creare workflow di vision AI interconnessi. Riunendo YOLO, modelli visione-linguaggio, condizioni configurabili, dataset e azioni su un'unica canvas, Agents crea un percorso più rapido dalla predizione al risultato concreto.

Agents è attualmente disponibile tramite Accesso anticipato. Passa al tuo workspace personale e attiva l'Accesso anticipato in Impostazioni > Profilo. Si tratta di una preferenza personale, anche quando lavori in un workspace di team.

Poi apri Agents dalla barra laterale, inizia con un template o crea il tuo workflow sulla canvas di Agents. Scopri i blocchi supportati, le condizioni, le opzioni di esecuzione e le istruzioni di configurazione nella documentazione di Ultralytics Agents.