Come la computer vision guida AMR, AGV e carrelli elevatori autonomi
Cosa apporta la computer vision alla navigazione di AMR, AGV e carrelli elevatori autonomi, come telecamere, lidar e profondità si completano a vicenda, e dove si colloca la sicurezza.
La visione artificiale aiuta robot mobili autonomi, veicoli a guida automatica e carrelli elevatori autonomi a percepire persone, pallet, scaffalature, carichi, segnali, aree di transito e altri veicoli. Ultralytics YOLO può fornire osservazioni di rilevamento, segmentazione, stima della posa e tracciamento all'interno di quello stack di percezione. Non sostituisce la localizzazione, la pianificazione del percorso, il controllo del veicolo o un sistema di sicurezza convalidato.
L'architettura migliore è solitamente la fusione di sensori. Le telecamere contribuiscono alla comprensione semantica e a ricche informazioni sull'aspetto. I lidar e i sensori di profondità contribuiscono alla geometria e alla distanza. Gli encoder e i sensori inerziali contribuiscono al movimento. Il sistema di navigazione combina questi input in base al veicolo, all'ambiente e alla valutazione dei rischi.
I requisiti di AMR, AGV e carrelli elevatori autonomi differiscono#
Un AGV segue spesso percorsi fissi o semi-fissi e dipende da infrastrutture come marcatori, riflettori o percorsi mappati. Un AMR generalmente pianifica il tragitto aggirando ostacoli mutevoli in un ambiente mappato. Un carrello elevatore autonomo aggiunge la gestione del carico, la geometria di montante e forche, carichi sollevati e interazioni attorno a pallet e scaffalature.
Non usare le etichette come sostituto dei requisiti. Definisci:
- Zone operative e percorsi consentiti.
- Velocità del veicolo, comportamento di arresto e intervallo del carico utile.
- Persone, veicoli e classi di oggetti che devono essere percepiti.
- Illuminazione interna ed esterna, condizioni meteorologiche, polvere e condizioni del pavimento.
- Localizzazione richiesta e comportamento della mappa.
- Punti ciechi creati dal veicolo e dal carico.
- Disponibilità della rete e limiti di calcolo a bordo.
- Requisiti applicabili relativi a macchinari, veicoli e sicurezza sul lavoro.
Cosa apporta la visione artificiale#
| Funzione di percezione | Possibile attività di visione | Uso per la navigazione | Limitazione chiave |
|---|---|---|---|
| Rilevamento di persone e veicoli | Rilevamento e tracciamento di oggetti | Consapevolezza semantica e logica di comportamento | Il rilevamento non è per impostazione predefinita una funzione protettiva classificata per la sicurezza |
| Riconoscimento di pallet e scaffalature | Rilevamento, segmentazione o punti chiave | Contesto di docking, prelievo e posizionamento | L'occlusione e i pallet danneggiati modificano l'aspetto |
| Stima dello spazio libero | Segmentazione semantica o profondità | Input di percorribilità | Riflessi sul pavimento e geometria non vista possono trarre in inganno un sistema basato solo su telecamere |
| Monitoraggio dello stato del carico | Rilevamento o classificazione | Conferma della presenza del carico e dell'allineamento visibile | Il peso nascosto e la stabilità richiedono altri sensori |
| Riconoscimento di segnali e marcatori | Rilevamento più decodifica | Contesto di percorso o flusso di lavoro | Sporcizia, usura e punto di vista influiscono sulla leggibilità |
| Localizzazione visiva | Tracciamento delle feature o visual SLAM | Pose estimation | Corridoi ripetitivi e scene mutevoli possono ridurre l'affidabilità |
| Movimento degli oggetti | Tracciamento multi-oggetto | Previsione delle traiettorie vicine | Il movimento della telecamera e l'occlusione richiedono un'attenta fusione |
L'applicazione di navigazione dovrebbe consumare osservazioni esplicite e dotate di timestamp. Ha bisogno di conoscere il frame della telecamera, la versione del modello, la confidenza e l'età di ciascun risultato per poter rifiutare dati obsoleti o incoerenti.
Telecamera, lidar e profondità sono complementari#
Le telecamere monoculari offrono colore e texture a una complessità hardware relativamente bassa, ma non misurano direttamente la profondità metrica. Le telecamere stereo e a profondità attiva stimano la distanza all'interno del loro envelope operativo. Il lidar fornisce misurazioni geometriche dirette e può rimanere utile dove l'aspetto varia, sebbene materiale, condizioni meteorologiche e geometria continuino a contare.
La selezione dei sensori dovrebbe seguire l'analisi dei guasti. Chiediti quali pericoli o funzionalità di navigazione verrebbero persi se un sensore fosse bloccato, saturo, contaminato o non disponibile. La ridondanza aiuta solo quando le modalità di guasto sono sufficientemente indipendenti e la logica di fusione gestisce i disaccordi.
Il posizionamento della telecamera deve tenere conto di svolte, retromarcia, posizione delle forche e carichi mutevoli. Convalida il campo visivo con il carico massimo consentito e ogni stato del montante. Aggiungi controlli di pulizia, ispezione e allineamento alle procedure di manutenzione.
Costruisci il dataset di percezione a partire dai percorsi, non da immagini isolate#
Raccogli condizioni di percorso complete attraverso siti, turni, tipi di corridoi, intersezioni, aree di banchina, traffico di persone e veicoli, stati di carico e condizioni di manutenzione. Includi falsi negativi difficili come poster, riflessi, manichini, materiali accatastati e viste parziali che assomigliano alle classi di riferimento.
Suddividi i dati di valutazione per percorso, ora o sito per evitare frame video quasi duplicati in fase di addestramento e test. Riporta le prestazioni per distanza, occlusione, illuminazione, movimento e tipo di oggetto. Una singola media può nascondere i casi che contano di più vicino alle intersezioni o alle aree di docking.
Ultralytics Platform può supportare l'annotazione, l'addestramento e la gestione delle versioni per modelli di percezione Ultralytics YOLO personalizzati. I modelli esportati possono essere eseguiti su runtime a bordo veicolo o edge supportati, selezionati per i vincoli di calcolo e latenza del veicolo.
Integra la percezione con ROS 2 o un altro stack robotico#
Un'integrazione robotica pubblica tipicamente rilevamenti o maschere con timestamp e informazioni sul sistema di coordinate. Un layer di trasformazione mette in relazione le coordinate della telecamera con il veicolo. Il layer di navigazione o di comportamento utilizza le osservazioni insieme a mappe, sensori di distanza, odometria e stato dell'attività.
Progetta tenendo conto di:
- Sincronizzazione temporale tra i sensori.
- Latenza limitata e rifiuto dei messaggi obsoleti.
- Stati di integrità della telecamera e del modello.
- Comportamento esplicito quando i sensori sono in disaccordo.
- Dati registrati sufficienti a riprodurre un evento.
- Schema dei messaggi e output dei modelli versionati.
- Contesa di risorse tra percezione, localizzazione e pianificazione.
Evita di accoppiare la navigazione direttamente a output di modelli non documentati. Un'interfaccia stabile consente alla percezione di evolversi senza modificare silenziosamente il comportamento del veicolo.
Confine di sicurezza#
La visione artificiale general-purpose può supportare la consapevolezza e le decisioni operative, ma non dovrebbe essere descritta come un dispositivo di protezione certificato. L'arresto del veicolo, i campi di protezione, le funzioni di emergenza e la validazione della sicurezza appartengono all'architettura di sicurezza applicabile e a un processo ingegneristico competente.
Documenta cosa succede quando il modello, la telecamera, il sistema di calcolo o la rete si guastano. Uno stato di sicurezza può richiedere velocità ridotta, arresto controllato, restrizione del percorso o trasferimento a un'altra modalità operativa, a seconda della progettazione del sistema. Convalida questi comportamenti sul veicolo completo.
Piano di valutazione#
Testa percezione, navigazione e operazioni separatamente e insieme.
Test di percezione#
- Rilevamento e localizzazione per distanza, direzione, illuminazione e occlusione.
- Continuità del tracciamento attraverso incroci e ostruzioni temporanee.
- Falsi positivi derivanti da oggetti di sfondo e riflessi.
- Prestazioni con telecamere sporche, spostate, sfocate o parzialmente bloccate.
- Latenza end-to-end e utilizzo delle risorse sul sistema di calcolo di destinazione.
Test di navigazione#
- Intersezioni, corridoi stretti, immissioni, sorpassi, retromarcia e docking.
- Ostacoli statici e in movimento a velocità rappresentative.
- Modifiche alla mappa, barriere temporanee e chiusure di percorsi.
- Disaccordo tra sensori, ritardo dei messaggi e input mancante.
- Ripristino in seguito alla perdita della localizzazione o all'indisponibilità di un componente di percezione.
Test operativi#
- Prelievo, trasporto e posizionamento del carico su varianti di pallet.
- Comportamento con carichi sollevati o che bloccano la visuale.
- Cambi turno, ricarica, avvio, spegnimento e manutenzione.
- Ricostruzione degli incidenti e rollback del modello.
Misura il completamento delle missioni, gli interventi, i ritardi sui percorsi, il tempo di indisponibilità, gli errori di percezione e il comportamento di ripristino. Non dedurre la sicurezza della navigazione dalla sola accuratezza del modello.
Scelte di deployment#
L'inferenza a bordo riduce al minimo la dipendenza dalla connettività di rete e può mantenere i dati dei sensori ad alta frequenza sul veicolo. Richiede aggiornamenti software controllati, monitoraggio delle risorse, gestione dello storage e supporto hardware in tutta la flotta.
I servizi centralizzati possono semplificare la gestione dei modelli e aggregare i dati di revisione, ma il comportamento del veicolo in tempo reale dovrebbe tenere conto della latenza e della perdita di rete. Un design ibrido può eseguire la percezione immediata a bordo gestendo centralmente gli artefatti dei modelli approvati, i metadati e gli esempi di revisione selezionati.
Utilizza rilasci per fasi. Inizia con la riproduzione registrata, poi un'area di test, osservazioni in shadow mode, operazioni ristrette e un sottoinsieme controllato della flotta prima di un rollout esteso. Conserva un modello e una configurazione sicuramente funzionanti per il rollback.
Domande frequenti
Il simultaneous localization and mapping visivo stima il movimento della telecamera mentre costruisce o utilizza una mappa a partire da feature visive. È un approccio di localizzazione e può essere combinato con misurazioni inerziali, di ruote, lidar o di altro tipo.
L'inferenza a bordo è appropriata quando contano la bassa latenza, la località dei dati o il funzionamento in caso di interruzione della rete. Conferma che il calcolo di destinazione sia in grado di sostenere il carico di lavoro completo e che gli aggiornamenti e il monitoraggio della flotta siano supportabili.
Rileva input mancanti, obsoleti, sfocati, bloccati, spostati o implausibili e indirizza tale stato nel comportamento definito del veicolo. La risposta deve essere progettata e validata come parte del sistema completo.
