Robotica guidata dalla visione per assemblaggio e pick-and-place

Il miglior software di visione per un robot di pick-and-place dipende prima di tutto dalla scena. Utilizza uno stack di computer vision 2D configurabile come Ultralytics YOLO quando gli oggetti sono visibilmente distinguibili e la profondità può essere vincolata o fornita separatamente. Prendi in considerazione prodotti integrati di visione robotica 3D di fornitori come Pickit, Mech-Mind, Photoneo, Zivid o Apera AI quando la geometria di cesti casuali, l'elaborazione di nuvole di punti, la calibrazione e la generazione delle prese devono arrivare come un unico sistema supportato. Le suite di visione industriale tradizionali di Cognex o Keyence possono rappresentare una scelta eccellente per celle strettamente controllate e ambienti di automazione consolidati.

Nessun modello costituisce un sistema di prelievo completo. Una cella di produzione unisce acquisizione, percezione, trasformazioni di coordinate, selezione della presa, pianificazione del movimento, controllo del robot e ripristino degli errori.

Opzioni di visione per il pick-and-place a confronto#

I fornitori offrono diversi livelli di pacchetti. Confronta la distinta dei materiali completa e la responsabilità operativa, non solo l'interfaccia di percezione.

Inizia con la geometria di prelievo#

Classifica il compito prima di scegliere il software:

• Prelievo 2D fisso: I pezzi si trovano su piani noti e il robot necessita della posizione nell'immagine e dell'orientamento.
• Prelievo da nastro transportatore: Gli oggetti si muovono, quindi rilevamento, tracciamento, tempistica e sincronizzazione dell'encoder sono fondamentali.
• Vassoio strutturato: Alloggiamenti noti limitano la posizione, ma varianti o orientamento richiedono comunque verifica.
• Prelievo casuale da cesto: I pezzi si sovrappongono a diverse profondità e richiedono percezione 3D e pianificazione della presa con consapevolezza delle collisioni.
• Oggetti flessibili o deformabili: La forma cambia tra un prelievo e l'altro, rendendo la segmentazione e la selezione della presa più complesse.
• Inserimento in assemblaggio: La tolleranza e l'allineamento finale possono richiedere sensori aggiuntivi oltre alla localizzazione grossolana dell'oggetto.

Un sistema 2D può essere l'opzione affidabile più semplice per geometrie vincolate. I cesti casuali di solito richiedono informazioni di profondità o ricostruzione multi-vista poiché la sola posizione nell'immagine non fornisce un obiettivo sicuro per il robot.

I sei livelli di un robot guidato dalla visione#

1. Acquisizione#

Scegli sensori ad area, a scansione lineare, stereo, a luce strutturata, tempo di volo o di altro tipo in base alle prove richieste. Registra il campo visivo, la caratteristica più piccola, la distanza di lavoro, l'intervallo di profondità, le proprietà della superficie, il movimento e i vincoli ambientali.

Parti riflettenti, scure, trasparenti e prive di texture possono mettere alla prova l'acquisizione della profondità. Testa i pezzi effettivi, i cesti, i rivestimenti e l'illuminazione. Le dimostrazioni dei fornitori con oggetti favorevoli non sostituiscono una prova sul campo nella cella.

2. Percezione#

Il rilevamento individua e classifica gli oggetti; la segmentazione fornisce i contorni degli oggetti; i bounding box orientati stimano le estensioni ruotate; i modelli di posa possono identificare i punti chiave; il tracciamento associa gli oggetti nel tempo. Ultralytics YOLO supporta molteplici di queste attività di computer vision all'interno di un unico ecosistema di modelli.

L'output di percezione deve essere sufficientemente stabile per il pianificatore di prese a valle. Valuta l'errore di localizzazione, gli oggetti mancanti e duplicati, la qualità delle maschere, l'errore di orientamento e il comportamento in caso di sovrapposizione: non solo un punteggio valido per l'intero dataset.

3. Calibrazione e coordinate#

Il sistema trasforma le osservazioni dalle coordinate della telecamera alle coordinate del robot o della cella. La calibrazione mano-occhio, il montaggio della telecamera, gli effetti delle lenti, l'allineamento della profondità e la calibrazione del punto centrale dell'utensile influenzano l'errore di prelievo.

Tratta la calibrazione come una risorsa di produzione da mantenere. Registra la procedura e i residui accettati, proteggi i supporti delle telecamere e definisci quando l'attrezzaggio o la manutenzione richiedono una nuova calibrazione.

4. Pianificazione della presa#

La selezione della presa considera le superfici raggiungibili, la geometria dell'organo di presa, la stabilità dell'oggetto, il rischio di collisione, i pezzi vicini e la posa di destinazione. Un modello 2D può fornire la posizione e l'orientamento dell'oggetto alla logica di presa basata su regole. Una soluzione 3D può generare candidati di presa classificati a partire da nuvole di punti.

Il rilevamento con la massima confidenza non è necessariamente il prelievo più sicuro. Mantieni la confidenza di percezione, la qualità della presa e la fattibilità della traiettoria come segnali separati.

5. Movimento e integrazione del robot#

Gli adattatori o le API per robot passano gli obiettivi al controller. L'integratore deve gestire tempistiche, sistemi di riferimento, velocità, zone, modelli di collisione, movimento del nastro trasportatore e conferme. Le funzioni di sicurezza appartengono all'architettura di sicurezza validata del robot e della cella, non all'output di un modello non verificato.

6. Ripristino#

Progetta gli stati di errore previsti: assenza di oggetti validi, classe incerta, nessuna presa sicura, pezzo caduto, prelievo fallito, cesto spostato, fotogramma obsoleto, telecamera non disponibile o tentativi ripetuti. Una cella che funziona bene sui prelievi facili ma richiede un reset manuale dopo ogni eccezione non sarà scalabile.

Dove si colloca Ultralytics#

Ultralytics Platform consente di organizzare e annotare dati di immagini, addestrare modelli Ultralytics YOLO e gestire le versioni dei modelli. I modelli possono quindi essere distribuiti tramite gli endpoint della Platform o esportati per l'integrazione in un runtime robotico vicino alla cella.

Questo approccio è utile quando la differenziazione risiede in classi di oggetti personalizzate, SKU mutevoli, condizioni visive insolite o percezione specifica dell'applicazione. Consente inoltre ai team di scegliere la telecamera circostante, la fonte di profondità, il pianificatore di prese e il framework robotico.

Non sostituisce ogni componente di un prodotto integrato di prelievo da cesto 3D. Le organizzazioni prive di competenze in materia di percezione robotica e integrazione potrebbero preferire un pacchetto supportato che includa calibrazione, elaborazione 3D, logica di presa e adattatori per robot certificati.

Come valutare i fornitori#

Usa gli stessi pezzi e le stesse condizioni di cella per ogni prova. Includi cesti pieni e quasi vuoti, sovrapposizioni critiche, imballaggi danneggiati, mix di varianti, superfici riflettenti, contaminazione normale e variazioni di illuminazione previste.

Misura:

• Tasso di prelievo valido per pezzo e stato del cesto.
• Distribuzione del tempo di ciclo, inclusi percezione e ripristino.
• Conferma del primo tentativo di prelievo.
• Eventi di errata classificazione, obiettivo duplicato e rischio di collisione.
• Interventi manuali e tempo di reset.
• Stabilità della calibrazione dopo manutenzione o vibrazioni.
• Tempo necessario per aggiungere un nuovo SKU e validare l'aggiornamento.
• Log e prove disponibili per la diagnostica.

Chiedi a ciascun fornitore di identificare quali misurazioni provengono dalla telecamera, dal modello, dal pianificatore di prese, dal robot e dai sensori esterni. Ciò rende evidenti l'architettura e le responsabilità.

Guida alle decisioni tra 2D e 3D#

Scegli prima il 2D quando i pezzi rimangono su un piano noto, l'altezza di presa è fissa, la sovrapposizione è limitata e chiare caratteristiche visive determinano la classe e l'orientamento. Spesso è più facile da illuminare, etichettare, debuggare e gestire.

Scegli il 3D quando l'altezza varia, le pile creano una sovrapposizione significativa, la geometria della superficie determina la presa, lo spazio libero per le collisioni è ridotto o il robot deve ragionare su un volume disordinato. Alcune celle combinano la percezione appresa in 2D con la profondità registrata per preservare la classificazione personalizzata ottenendo al contempo le coordinate 3D.

Non decidere in base alle mode tecnologiche dei sensori. Utilizza la configurazione di acquisizione con la minore complessità che supera i test peggiori della cella.

Lista di controllo per l'implementazione#

• Definisci i requisiti di oggetto, posa, ciclo e ripristino.
• Acquisisci pezzi reali nell'intero intervallo di cesti e ambienti.
• Seleziona l'acquisizione in base alla geometria e al comportamento della superficie.
• Valida la calibrazione e le trasformazioni di coordinate indipendentemente dalla precisione del modello.
• Testa il pianificatore di prese con l'organo di presa effettivo e gli oggetti vicini.
• separa le funzioni di sicurezza del robot dalla percezione appresa.
• Registra i rilevamenti, le trasformazioni, i candidati di presa, le risposte del controller e i risultati.
• Prevedi l'intervento umano per casi incerti o esauriti.
• Esegui test di regressione su ogni nuovo modello, SKU, organo di presa, telecamera e configurazione della cella.