Come trasformare le rilevazioni YOLO in avvisi senza codice con Ultralytics Agents

Puoi trasformare le rilevazioni di Ultralytics YOLO in avvisi senza scrivere codice, creando un workflow visivo in Ultralytics Agents, parte di Ultralytics Platform. Collega un’immagine a un modello YOLO, aggiungi un Gate che controlli cosa ha rilevato il modello e dirama il risultato verso un messaggio Slack, un webhook o un dataset. Questa guida crea il workflow passo dopo passo a partire dal template Capture and Alert, poi lo estende per concatenare un secondo modello, salvarlo, eseguirlo di nuovo su nuove immagini ed esportarlo come Python.

Cosa realizzerai#

Il workflow completato controlla un’immagine con un modello YOLO26 e, solo quando viene rilevata una persona, esegue tre operazioni a partire dalla stessa condizione:

• Invia un messaggio Slack al canale collegato, includendo il risultato del rilevamento.
• Invia un webhook JSON a un endpoint HTTPS pubblico configurato per accettare il corpo JSON scelto, ad esempio uno strumento di gestione dei ticket o un servizio interno.
• Salva l’immagine in un dataset così potrai etichettarla in seguito e riaddestrare il modello.

Agents collega immagini, modelli, condizioni e azioni come blocchi su una canvas ed è disponibile per ogni utente che ha effettuato l’accesso a Ultralytics Platform, negli spazi di lavoro personali e di team (documentazione di Agents). I workflow vengono eseguiti quando fai clic su Run su un’immagine, un video o un dataset selezionato; non sono un servizio di monitoraggio continuo della videocamera. Per una panoramica di Agents e dei motivi per cui l’abbiamo creato, leggi Presentazione di Ultralytics Agents.

Questa guida usa Image → YOLO → Gate, con il Gate che dirama verso Slack, Webhook e un Dataset di destinazione. Per il riferimento completo dei blocchi e altri schemi di workflow, consulta la documentazione di Agents.

Passaggio 1: carica il template Capture and Alert#

Apri Agents nella barra laterale di Platform, fai clic su Add block, passa a Templates e scegli Capture and Alert. Il caricamento di un template sostituisce i blocchi presenti nella canvas corrente e Platform ti chiede prima di confermare.

Capture and Alert collega già la condizione di rilevamento della persona all’acquisizione nel dataset e a Slack; configura queste destinazioni e aggiungi qui sotto una diramazione per il webhook. Gli altri template, YOLO → VLM Monitor e Collect Uncertain Detections, sono punti di partenza modificabili per descrivere le scene e creare dataset di revisione.

Passaggio 2: scegli l’immagine di input#

Seleziona il blocco Input image e scegli un’immagine che contenga una persona, caricandola oppure selezionandola da un dataset caricato. Per questa prima esecuzione di prova condivisa, usa un’immagine fino a 4 megapixel. I file caricati restano nel browser finché non esegui il workflow e vengono eliminati se aggiorni la pagina. Per elaborare più immagini, sostituisci il blocco Image con un blocco Dataset, seleziona il dataset sorgente e la suddivisione, imposta il limite di input e collegalo al blocco YOLO.

Passaggio 3: scegli il modello YOLO e la confidenza#

Seleziona il blocco Detect people. Il template usa YOLO26 nano (yolo26n), il modello eseguito nella prova condivisa. Per usare un altro modello YOLO ufficiale o un modello addestrato nel tuo spazio di lavoro, ad esempio un rilevatore personalizzato di difetti o DPI, selezionalo in Model in questo blocco e scegli una distribuzione dedicata per l’esecuzione del workflow al Passaggio 7. L’impostazione Minimum detection confidence scarta i rilevamenti meno affidabili prima dell’esecuzione di qualsiasi condizione: abbassala se vuoi che il workflow reagisca a rilevamenti meno certi.

Passaggio 4: imposta la condizione nel blocco Gate#

Il blocco Gate decide se eseguire i blocchi successivi. In Capture and Alert, seleziona il blocco Person detected e verifica le impostazioni:

• Mode: Condition
• Detection model: Detect people
• Measure: Detection count
• Class name: person
• Condition: Greater than or equal
• Compare with: 1

Modifica il nome della classe in modo che corrisponda alle classi del tuo modello oppure usa * per qualsiasi classe. Puoi anche misurare la confidenza del rilevamento invece del conteggio; imposta la confidenza minima del blocco YOLO su un valore sufficientemente basso da mantenere i rilevamenti che vuoi valutare. Le condizioni di confidenza vengono soddisfatte quando corrisponde almeno un rilevamento: quindi, un’immagine con punteggi di 0.3 e 0.9 rientra nell’intervallo da 0.25 a 0.5, mentre le immagini senza rilevamenti non soddisfano mai una condizione di confidenza. Quando una condizione non corrisponde, le azioni collegate non vengono eseguite per quell’immagine.

Passaggio 5: configura Slack e il webhook#

Slack. Collega Slack una sola volta in Settings > Integrations (negli spazi di lavoro di team, deve farlo un amministratore o il proprietario dello spazio), poi modifica il messaggio del blocco Notify Slack. Usa {output} per includere il risultato del blocco precedente, come nel Person detected: {output} del template. Questi messaggi del workflow sono distinti dalle notifiche di addestramento e distribuzione di Platform (documentazione sull’integrazione Slack).

Webhook. Fai clic su Add block, scegli Webhook nella scheda Blocks e collega a questo blocco l’output di Person detected, mantenendo i collegamenti esistenti a Slack e al dataset. Inserisci un URL di destinazione HTTPS pubblico configurato per accettare il corpo JSON, ad esempio {"text": "{output}"}. Platform invia una richiesta POST per ogni risultato con Content-Type: application/json. Il corpo può contenere fino a 10.000 caratteri, i reindirizzamenti non vengono seguiti, la connessione scade dopo 5 secondi e una risposta diversa da 2xx fa fallire il blocco. Il blocco Webhook è terminale, quindi non inoltra i risultati ai blocchi successivi del workflow.

Un singolo output Gate può essere collegato a più blocchi contemporaneamente, così Slack, il webhook e il dataset usano tutti la stessa condizione valutata. Un blocco non riuscito viene evidenziato con un contorno rosso.

Passaggio 6: conserva le immagini corrispondenti per il riaddestramento#

Seleziona il blocco Captured images e scegli un dataset esistente che puoi modificare; se necessario, creane prima uno seguendo la guida alla creazione di dataset. I dataset collegati a servizi di archiviazione cloud e quelli on-premise non possono essere usati come destinazioni; si applicano le normali quote di archiviazione dei dataset. Le immagini corrispondenti vengono aggiunte alla suddivisione di addestramento del dataset senza etichette, mentre le immagini già presenti nel dataset vengono ignorate. Apri il dataset nell’editor di annotazione per esaminare ed etichettare le immagini raccolte, poi usale nella prossima esecuzione di addestramento di Platform.

Passaggio 7: esegui, salva e ripeti su nuove immagini#

Scegli dove eseguire il workflow accanto al pulsante Run:

Un workflow può contenere fino a 20 blocchi. Le azioni Slack e webhook contano come chiamate a modelli o provider, mentre le diramazioni possono aumentare il numero di chiamate per immagine. Durante un’esecuzione attiva, i blocchi mostrano l’avanzamento e puoi fare clic su Stop per annullarla.

Dopo aver configurato l’input e le destinazioni, fai clic su Run. Esamina i risultati dei blocchi, poi controlla il canale Slack collegato, il tuo ricevitore webhook e il dataset di destinazione. Se non viene eseguita alcuna azione, verifica se YOLO ha rilevato una persona e se la condizione Gate è stata soddisfatta; se la condizione non corrisponde, le azioni collegate non vengono eseguite.

Fai clic su Save workflow per assegnare un nome al workflow e riaprirlo in seguito da Open workflow. Per eseguirlo di nuovo su nuovi dati, apri il workflow salvato, seleziona nuove immagini o un dataset diverso e fai di nuovo clic su Run. Il salvataggio non pianifica le esecuzioni.

Passaggio 8: concatena un secondo modello#

Per rispondere a «cosa sta succedendo?» oltre che a «c’è una persona?», aggiungi un blocco LLM, collegagli il Gate e collega l’LLM a un nuovo blocco Output, seguendo lo schema del template YOLO → VLM Monitor. Il Gate valuta i rilevamenti di YOLO e il modello visione-linguaggio descrive solo le immagini che soddisfano la condizione. Nel blocco LLM, scegli un modello visione-linguaggio e inserisci un prompt, poi aggiungi la chiave del provider corrispondente in Settings > API Keys (in uno spazio di lavoro di team, la chiave viene aggiunta dal proprietario dello spazio). L’uso del modello linguistico viene fatturato dal provider. Per instradare una fase di predizione attraverso un modello già distribuito, usa un blocco Deployment, che richiama una distribuzione Platform esistente e pronta.

Passaggio 9: esporta il workflow come Python o gestiscilo tramite API#

Fai clic su Python per visualizzare il codice del workflow generato. Per eseguirlo localmente, installa i pacchetti ultralytics e ultralytics-platform, imposta le chiavi dei provider nell’ambiente e scegli l’input sorgente. I team che gestiscono i workflow tramite codice possono usare l’API di Agents, esposta nell’SDK Python come client.agents (ultralytics-platform>=0.1.74), per elencare, salvare ed eliminare gli agenti. Per avviare un’esecuzione su Platform, apri il workflow salvato nella canvas e fai clic su Run.

Quando usare un’alternativa#

Agents è adatto ai controlli basati su eventi di immagini, clip video e dataset, eseguiti su richiesta. Altri approcci sono più adatti ad altri casi d’uso:

• Scrivi il codice in Python. Per elaborare continuamente il flusso di una videocamera in diretta, crea la pipeline nel codice usando il pacchetto Python di Ultralytics; la nostra guida al sistema di allarme di sicurezza mostra un progetto di avvisi basato sul codice e realizzato con Ultralytics YOLO26.
• Pipeline video multi-stream. NVIDIA descrive DeepStream come un toolkit di analisi dei flussi con un framework basato su GStreamer per creare pipeline di inferenza multi-stream e multi-modello su GPU NVIDIA.
• Strumenti di automazione generici. Node-RED si descrive come uno strumento di programmazione basato su flussi con un editor di flussi utilizzabile tramite browser, pensato per i team che sviluppano automazioni più ampie oltre la visione artificiale.