Presentazione di Ultralytics Agents: crea flussi di lavoro di IA visiva più velocemente

L'addestramento di un solido modello di visione artificiale è solo una parte del percorso. La sfida successiva consiste nel decidere cosa debba accadere quando quel modello effettua una previsione: salvare un'immagine, richiedere ulteriore contesto, avvisare un team o raccogliere un esempio incerto per la revisione.

In passato, i team realizzavano questa orchestrazione utilizzando script e integrazioni separati. Ultralytics Agents la porta su una tela visiva, aiutando i team a trasformare le previsioni in azioni pratiche con un minore sviluppo personalizzato.

Disponibile in Ultralytics Platform, Agents collega immagini, modelli Ultralytics YOLO, distribuzioni, condizioni, modelli di linguaggio, dataset e azioni in flussi di lavoro visivi riutilizzabili.

Cosa sono gli Ultralytics Agents?#

Gli Agent offrono un modo visivo per progettare ed eseguire flussi di lavoro di visione artificiale. Aggiungi blocchi alla tela, collega ogni passaggio e definisci cosa debba accadere quando un'immagine soddisfa una condizione specifica.

Un flusso di lavoro può utilizzare un modello YOLO26 ufficiale, un modello addestrato nel tuo spazio di lavoro o una distribuzione esistente della Platform. Può quindi filtrare le previsioni per conteggio delle classi o confidenza, inviare le immagini selezionate a un modello di visione-linguaggio, raccoglierle in un dataset, notificare un canale Slack o visualizzare il risultato.

Con Agents puoi:

• Creare visivamente: collega modelli, condizioni e azioni senza creare manualmente l'intero flusso di lavoro da zero.
• Focalizzare l'attenzione: elabora solo le immagini che soddisfano i criteri definiti.
• Combinare intelligenza visiva e linguistica: usa YOLO per identificare ciò che conta prima di chiedere a un modello di visione-linguaggio ulteriore contesto.
• Trasformare le previsioni in azioni: salva immagini rilevanti, invia avvisi Slack condizionali o passa i risultati al passaggio successivo del flusso di lavoro.
• Collegare gli insight di produzione ai dati: raccogli immagini incerte o importanti per la revisione e il futuro sviluppo del modello.
• Ispezionare l'implementazione: visualizza il codice Python generato dal tuo flusso di lavoro visivo.

Invece di fermarsi a "Cosa ha rilevato il modello?", i team possono rispondere alla domanda più preziosa: "Cosa dovrebbe accadere dopo?"

Passa dal rilevamento alla decisione#

Molti sistemi di intelligenza artificiale visiva richiedono più strumenti e connessioni personalizzate. Un modello genera previsioni, la logica applicativa le valuta, un altro sistema memorizza gli input rilevanti e un'integrazione separata invia notifiche.

Agents riunisce questi passaggi in un unico flusso di lavoro visivo.

Ad esempio, un team di produzione potrebbe eseguire un modello di ispezione addestrato, verificare se un difetto soddisfa una soglia scelta, salvare l'immagine per la revisione e avvisare un canale operativo. Un team logistico potrebbe raccogliere rilevamenti a bassa confidenza per identificare lacune nei dati di addestramento. Un team di sicurezza potrebbe usare YOLO per rilevare una persona in un'area riservata prima di chiedere a un modello di visione-linguaggio di descrivere la scena più ampia.

Il flusso di lavoro segue le condizioni impostate dall'utente, rendendo chiaro il motivo per cui ogni passaggio successivo viene eseguito o meno.

Utilizza Ultralytics YOLO e i modelli di visione-linguaggio insieme#

I modelli YOLO sono efficaci nell'individuare, classificare e contare oggetti all'interno delle immagini. I modelli di visione-linguaggio possono aggiungere un'interpretazione in linguaggio naturale del contesto visivo più ampio.

Agents rende possibile combinare queste capacità in modo efficiente. YOLO può fungere da primo filtro, consentendo al flusso di lavoro di chiamare un modello di visione-linguaggio solo quando un'immagine soddisfa la condizione richiesta.

Ad esempio, un flusso di lavoro potrebbe:

1. Eseguire YOLO26 su un'immagine.
2. Verificare se è stata rilevata almeno una persona.
3. Inviare le immagini corrispondenti a un modello di visione-linguaggio selezionato.
4. Chiedergli di descrivere la scena.
5. Visualizzare la descrizione risultante.

Se la condizione non viene soddisfatta, il passaggio di descrizione non viene eseguito. Ciò offre ai team un maggiore controllo su quali immagini procedono attraverso il flusso di lavoro e su quando vengono effettuate chiamate a modelli esterni.

Inizia con un modello di flusso di lavoro modificabile#

Agents include modelli che aiutano i team a passare rapidamente da un'idea a un flusso di lavoro di intelligenza artificiale visiva funzionante.

• Monitor YOLO → VLM: usa YOLO per identificare immagini rilevanti prima di chiedere a un modello di visione-linguaggio di descriverle.
• Raccogli rilevamenti incerti: filtra le previsioni per confidenza e raccogli immagini incerte in un dataset per la revisione.
• Acquisisci e avvisa: salva un'immagine e invia una notifica Slack quando viene soddisfatta una condizione di rilevamento.

I modelli forniscono un punto di partenza pratico piuttosto che una soluzione fissa. I team possono selezionare le proprie immagini, modelli, distribuzioni, condizioni, prompt, dataset di destinazione e integrazioni.

Gli utenti possono anche ispezionare il codice Python generato da un flusso di lavoro, combinando la velocità dello sviluppo visivo con la trasparenza di cui i team tecnici hanno bisogno per comprendere l'implementazione.

Chiudi il cerchio tra distribuzione e miglioramento del modello#

Le immagini del mondo reale possono rivelare condizioni che mancavano o erano sottorappresentate durante l'addestramento. Nuovi ambienti, aspetti mutevoli degli oggetti e rilevamenti incerti possono indicare opportunità per migliorare un modello.

Agents aiuta i team a trasformare tali osservazioni in un ciclo di dati azionabile:

1. Esegui le immagini attraverso un modello Ultralytics YOLO o una distribuzione della Platform.
2. Filtra i risultati utilizzando condizioni di classe o confidenza.
3. Raccogli le immagini originali selezionate in un dataset di destinazione.
4. Rivedi e annota le immagini in Ultralytics Platform.
5. Riaddestra e ridistribuisci utilizzando dati informati da input del mondo reale.

Le immagini raccolte tramite Agents arrivano senza etichetta nella suddivisione di addestramento del dataset di destinazione, pronte per la revisione nell'editor di annotazione. I team possono etichettare questi esempi mirati e usarli per guidare la successiva iterazione del modello.

Ciò crea un percorso più diretto dall'identificazione di un esempio difficile alla preparazione di dati di addestramento migliori.

Crea flussi di lavoro basati su risultati del mondo reale#

Agents può supportare flussi di lavoro in vari settori e casi d'uso:

• Manufacturing: cattura possibili difetti per la revisione e avvisa i team di qualità quando vengono soddisfatte le condizioni definite.
• Logistics: raccogli rilevamenti incerti relativi a container, veicoli o attrezzature per migliorare la copertura del dataset.
• Retail: filtra le immagini in base alle classi o ai conteggi rilevati e invia i risultati rilevanti alle azioni successive.
• Safety and security: rileva persone o oggetti in scenari specifici prima di richiedere ulteriore contesto sulla scena.
• Sviluppo di dataset: trova esempi a bassa confidenza e raccoglili in un set di revisione mirato.

Ogni flusso di lavoro può diramarsi da una condizione in più azioni. Ad esempio, la stessa immagine corrispondente può essere salvata in un dataset e attivare un messaggio Slack, aiutando i team a preservare le prove pur avvisando le persone responsabili della loro revisione.

Dal prototipo visivo al Python trasparente#

I costruttori di flussi di lavoro visivi possono accelerare la sperimentazione, ma i team tecnici necessitano anche di visibilità su ciò che è in esecuzione.

Agents consente agli utenti di ispezionare il codice Python generato da un flusso di lavoro. Questo collega l'accessibilità di una tela visiva con la trasparenza di cui gli sviluppatori hanno bisogno per comprendere l'implementazione sottostante.

I team possono testare un piccolo flusso di lavoro con la prova condivisa o selezionare risorse di distribuzione dedicate della Platform per dataset più grandi, esecuzioni più lunghe e modelli di spazio di lavoro addestrati.

Inizia a costruire con Agents#

Ultralytics Agents aiuta i team a superare le previsioni isolate e a creare flussi di lavoro di intelligenza artificiale visiva connessi. Riunendo YOLO, modelli di visione-linguaggio, condizioni configurabili, dataset e azioni su un'unica tela, Agents crea un percorso più rapido dalla previsione al risultato pratico.

Agents è attualmente disponibile tramite l'Early access. Passa al tuo spazio di lavoro personale e abilita l'Early access in Settings > Profile. Questa è una preferenza personale, anche quando lavori in uno spazio di lavoro del team.

Quindi apri Agents dalla barra laterale, inizia con un modello o crea il tuo flusso di lavoro sulla Agents canvas. Esplora i blocchi supportati, le condizioni, le opzioni di esecuzione e la guida alla configurazione nella Ultralytics Agents documentation.