Come la visione artificiale guida AMR, AGV e carrelli elevatori autonomi
Scopri il contributo della visione artificiale alla navigazione di AMR, AGV e carrelli elevatori autonomi, come telecamere, lidar e profondità si completano a vicenda e quale ruolo ha la sicurezza.
La computer vision aiuta i robot mobili autonomi, i veicoli a guida automatica e i carrelli elevatori autonomi a percepire persone, pallet, scaffalature, carichi, cartelli, aree del pavimento e altri veicoli. Ultralytics YOLO può fornire rilevamenti, osservazioni di segmentazione, posa e tracciamento all'interno di questo stack di percezione. Non sostituisce la localizzazione, la pianificazione dei percorsi, il controllo del veicolo o un sistema di sicurezza convalidato.
In genere, la migliore architettura è la fusione dei sensori. Le telecamere forniscono comprensione semantica e informazioni dettagliate sull'aspetto. Il lidar e i sensori di profondità forniscono geometria e distanza. Gli encoder e i sensori inerziali forniscono informazioni sul movimento. Il sistema di navigazione combina questi input in base al veicolo, all'ambiente e alla valutazione del rischio.
I requisiti di AMR, AGV e carrelli elevatori autonomi sono diversi#
Un AGV segue spesso percorsi fissi o semi-fissi e dipende da infrastrutture come marcatori, riflettori o percorsi mappati. In genere, un AMR pianifica il percorso evitando ostacoli mutevoli in un ambiente mappato. Un carrello elevatore autonomo deve inoltre gestire il carico, la geometria del montante e delle forche, i carichi sollevati e le interazioni in prossimità di pallet e scaffalature.
Non usare queste etichette al posto dei requisiti. Definisci:
- Zone operative e percorsi consentiti.
- Velocità del veicolo, comportamento in frenata e intervallo di carico utile.
- Persone, veicoli e classi di oggetti che devono essere percepiti.
- Illuminazione, condizioni meteorologiche, polvere e condizioni del pavimento, in ambienti interni ed esterni.
- Requisiti di localizzazione e comportamento della mappa.
- Punti ciechi creati dal veicolo e dal carico.
- Disponibilità della rete e limiti del calcolo a bordo.
- Requisiti applicabili in materia di macchinari, veicoli e sicurezza sul lavoro.
Cosa offre la computer vision#
| Funzione di percezione | Possibile attività di visione | Utilizzo nella navigazione | Limite principale |
|---|---|---|---|
| Rilevamento di persone e veicoli | Rilevamento e tracciamento di oggetti | Consapevolezza semantica e logica comportamentale | Il rilevamento non è automaticamente una funzione protettiva con livello di sicurezza certificato |
| Riconoscimento di pallet e scaffalature | Rilevamento, segmentazione o punti chiave | Contesto per l'aggancio, il prelievo e il posizionamento | Le occlusioni e i pallet danneggiati ne modificano l'aspetto |
| Stima dello spazio libero | Segmentazione semantica o profondità | Informazioni sulla transitabilità | I riflessi sul pavimento e la geometria non visibile possono trarre in inganno un sistema basato solo su telecamere |
| Monitoraggio dello stato del carico | Rilevamento o classificazione | Conferma della presenza del carico e dell'allineamento visibile | Per conoscere il peso e la stabilità non visibili servono altri sensori |
| Riconoscimento di cartelli e marcatori | Rilevamento e decodifica | Contesto del percorso o del flusso di lavoro | Sporco, usura e angolo di ripresa influiscono sulla leggibilità |
| Localizzazione visiva | Tracciamento delle feature o SLAM visivo | Stima della posa | Corsie ripetitive e scene mutevoli possono ridurre l'affidabilità |
| Movimento degli oggetti | Tracciamento multi-oggetto | Prevedere le traiettorie vicine | Il movimento della telecamera e l'occlusione richiedono una fusione accurata |
L'applicazione di navigazione dovrebbe ricevere osservazioni esplicite con indicazione temporale. Deve conoscere il frame della telecamera, la versione del modello, il livello di confidenza e l'età di ogni risultato, così da poter rifiutare i dati obsoleti o incoerenti.
Telecamere, lidar e profondità sono complementari#
Le telecamere monoculari offrono colore e texture con una complessità hardware relativamente ridotta, ma non misurano direttamente la profondità metrica. Le telecamere stereo e quelle a profondità attiva stimano la distanza entro il proprio intervallo operativo. Il lidar fornisce misurazioni geometriche dirette e può rimanere utile quando l'aspetto varia, anche se contano comunque il materiale, le condizioni meteorologiche e la geometria.
La scelta dei sensori dovrebbe basarsi sull'analisi dei guasti. Chiediti quali pericoli o caratteristiche di navigazione non verrebbero rilevati se un sensore fosse ostruito, saturato, contaminato o non disponibile. La ridondanza è utile solo quando le modalità di guasto sono sufficientemente indipendenti e la logica di fusione gestisce i disaccordi.
Il posizionamento delle telecamere deve tenere conto di svolte, retromarcia, posizione delle forche e carichi variabili. Convalida il campo visivo con il carico massimo consentito e in ogni configurazione del montante. Aggiungi le verifiche di pulizia, ispezione e allineamento alle procedure di manutenzione.
Crea il dataset di percezione partendo dai percorsi, non da immagini isolate#
Raccogli le condizioni complete dei percorsi in tutte le sedi, i turni, i tipi di corsia, gli incroci, le aree di carico, il traffico di persone e veicoli, gli stati di carico e le condizioni di manutenzione. Includi esempi negativi difficili, come poster, riflessi, manichini, materiali impilati e viste parziali che somigliano alle classi target.
Suddividi i dati di valutazione per percorso, orario o sede, per evitare che fotogrammi quasi duplicati dello stesso video compaiano sia nell'addestramento sia nel test. Riporta le prestazioni in base a distanza, occlusione, illuminazione, movimento e tipo di oggetto. Una singola media può nascondere i casi più importanti in prossimità degli incroci o delle aree di carico.
Ultralytics Platform può supportare l'annotazione, l'addestramento e la gestione delle versioni dei modelli di percezione personalizzati Ultralytics YOLO. I modelli esportati possono essere eseguiti sui runtime supportati a bordo o edge, scelti in base ai vincoli di calcolo e latenza del veicolo.
Integra la percezione con ROS 2 o un altro stack robotico#
Un'integrazione robotica pubblica in genere rilevamenti o maschere con indicazioni temporali e informazioni sui sistemi di coordinate. Un livello di trasformazione collega le coordinate della telecamera al veicolo. Il livello di navigazione o di comportamento usa le osservazioni insieme a mappe, sensori di distanza, odometria e stato dell'attività.
Progetta tenendo conto di:
- Sincronizzazione temporale tra i sensori.
- Latenza limitata e rifiuto dei messaggi obsoleti.
- Stati di integrità della telecamera e del modello.
- Comportamento esplicito in caso di disaccordo tra i sensori.
- Dati registrati sufficienti a ricostruire un evento.
- Schemi dei messaggi e output del modello con versione.
- Contesa per le risorse tra percezione, localizzazione e pianificazione.
Evita di collegare direttamente la navigazione a output del modello non documentati. Un'interfaccia stabile consente alla percezione di evolversi senza modificare silenziosamente il comportamento del veicolo.
Limiti di sicurezza#
La visione artificiale per uso generico può supportare la consapevolezza situazionale e le decisioni operative, ma non dovrebbe essere descritta come un dispositivo di protezione certificato. L'arresto del veicolo, i campi protettivi, le funzioni di emergenza e la convalida della sicurezza rientrano nell'architettura di sicurezza applicabile e in un processo ingegneristico condotto da personale competente.
Documenta cosa accade in caso di guasto del modello, della telecamera, del sistema di calcolo o della rete. A seconda della progettazione del sistema, uno stato sicuro può richiedere una riduzione della velocità, un arresto controllato, una limitazione del percorso o il passaggio a un'altra modalità operativa. Convalida questi comportamenti sull'intero veicolo.
Piano di valutazione#
Testa percezione, navigazione e operazioni separatamente e nel loro insieme.
Test di percezione#
- Rilevamento e localizzazione in base a distanza, direzione, illuminazione e occlusione.
- Continuità del tracciamento durante gli attraversamenti e le ostruzioni temporanee.
- Falsi positivi causati da oggetti sullo sfondo e riflessi.
- Prestazioni con telecamere sporche, spostate, sfocate o parzialmente ostruite.
- Latenza end-to-end e utilizzo delle risorse sul sistema di calcolo target.
Test di navigazione#
- Incroci, corsie strette, immissioni, sorpassi, retromarcia e carico.
- Ostacoli statici e in movimento a velocità rappresentative.
- Modifiche alle mappe, barriere temporanee e chiusure dei percorsi.
- Disaccordo tra sensori, ritardo dei messaggi e input mancanti.
- Ripristino dopo la perdita della localizzazione o l'indisponibilità di un componente di percezione.
Test operativi#
- Prelievo, trasporto e posizionamento dei carichi con diverse varianti di pallet.
- Comportamento con carichi sollevati o che ostruiscono la visuale.
- Cambi turno, ricarica, avvio, arresto e manutenzione.
- Ricostruzione degli incidenti e ripristino di una versione precedente del modello.
Misura il completamento delle missioni, gli interventi, i ritardi dei percorsi, il tempo di indisponibilità, gli errori di percezione e il comportamento di ripristino. Non dedurre la sicurezza della navigazione dalla sola accuratezza del modello.
Opzioni di distribuzione#
L'inferenza a bordo riduce la dipendenza dalla connettività di rete e consente di mantenere sul veicolo i dati dei sensori ad alta frequenza. Richiede aggiornamenti software controllati, monitoraggio delle risorse, gestione dello spazio di archiviazione e supporto hardware per l'intera flotta.
I servizi centralizzati possono semplificare la gestione dei modelli e aggregare i dati per la revisione, ma il comportamento del veicolo in tempo reale dovrebbe tenere conto della latenza e delle interruzioni della rete. Un'architettura ibrida può eseguire la percezione immediata a bordo, gestendo centralmente gli artefatti dei modelli approvati, i metadati e gli esempi selezionati per la revisione.
Usa rilasci graduali. Inizia con la riproduzione di dati registrati, poi passa a un'area di test, alle osservazioni in modalità ombra, alle operazioni con restrizioni e a un sottoinsieme controllato della flotta prima di estendere la distribuzione. Conserva un modello e una configurazione noti come validi per poter tornare indietro.
Domande frequenti
La localizzazione e mappatura simultanee visive stima il movimento della telecamera mentre crea o utilizza una mappa basata su caratteristiche visive. È un approccio alla localizzazione e può essere combinato con misurazioni inerziali, delle ruote, lidar o di altro tipo.
L'inferenza a bordo è indicata quando sono importanti la bassa latenza, la località dei dati o il funzionamento durante le interruzioni di rete. Verifica che il sistema di calcolo target possa sostenere l'intero carico di lavoro e che gli aggiornamenti e il monitoraggio della flotta siano gestibili.
Rileva input mancanti, obsoleti, sfocati, ostruiti, spostati o implausibili e integra tale stato nel comportamento definito per il veicolo. La risposta deve essere progettata e convalidata come parte del sistema completo.
