Bildgesteuerte Robotik für Montage sowie Greifen und Platzieren

Welche Bildverarbeitungssoftware sich am besten für einen Pick-and-Place-Roboter eignet, hängt zunächst von der Szene ab. Verwende eine konfigurierbare 2D-Bildverarbeitungslösung wie Ultralytics YOLO, wenn sich Objekte visuell unterscheiden lassen und die Tiefe eingeschränkt oder separat bereitgestellt werden kann. Ziehe integrierte 3D-Produkte für die Roboterbildverarbeitung von Anbietern wie Pickit, Mech-Mind, Photoneo, Zivid oder Apera AI in Betracht, wenn zufällige Anordnungen in Behältern, Punktwolkenverarbeitung, Kalibrierung und Greiferplanung als ein unterstütztes System bereitgestellt werden sollen. Klassische industrielle Bildverarbeitungssuiten von Cognex oder Keyence können gut zu streng kontrollierten Zellen und etablierten Automatisierungsumgebungen passen.

Kein Modell ist ein vollständiges Greifsystem. In einer Produktionszelle kommen Sensorik, Wahrnehmung, Koordinatentransformationen, Greiferauswahl, Bewegungsplanung, Robotersteuerung und Fehlerbehandlung zusammen.

Vergleich von Bildverarbeitungslösungen für Pick-and-Place#

Die Anbieter bündeln unterschiedliche Ebenen. Vergleiche die vollständige Materialliste und die Betriebsverantwortung, nicht nur die Schnittstelle zur Bildverarbeitung.

Mit der Greifgeometrie beginnen#

Ordne die Aufgabe ein, bevor du die Software auswählst:

• Fester 2D-Greifvorgang: Teile liegen auf bekannten Ebenen; der Roboter benötigt eine Bildposition und eine Ausrichtung.
• Greifen vom Förderband: Objekte bewegen sich. Daher sind Erkennung, Tracking, Zeitsteuerung und Synchronisierung mit dem Encoder wichtig.
• Strukturierte Ablage: Bekannte Fächer begrenzen die Position, aber Varianten oder Ausrichtung müssen weiterhin geprüft werden.
• Greifen aus einem ungeordneten Behälter: Teile überlappen sich in unterschiedlichen Tiefen und erfordern eine 3D-Erfassung sowie eine kollisionsbewusste Greifplanung.
• Flexible oder verformbare Objekte: Die Form ändert sich zwischen den Greifvorgängen, wodurch Segmentierung und Greiferauswahl schwieriger werden.
• Einsetzen bei der Montage: Toleranzen und die endgültige Ausrichtung können zusätzliche Sensorik über die grobe Objektlokalisierung hinaus erfordern.

Bei eingeschränkter Geometrie kann ein 2D-System die einfachste zuverlässige Lösung sein. Für ungeordnete Behälter wird normalerweise Tiefeninformation oder eine Rekonstruktion aus mehreren Ansichten benötigt, da die Bildposition allein kein sicheres Roboterziel liefert.

Die sechs Ebenen eines bildverarbeitungsgesteuerten Roboters#

1. Sensorik#

Wähle je nach benötigten Informationen Flächenkamera, Zeilenkamera, Stereo-, strukturiertes Licht-, Laufzeit- oder andere Sensoren. Halte Sichtfeld, kleinste relevante Struktur, Arbeitsabstand, Tiefenbereich, Oberflächeneigenschaften, Bewegung und Umgebungsbedingungen fest.

Reflektierende, dunkle, transparente und strukturlose Teile können die Tiefenerfassung erschweren. Teste die tatsächlichen Teile, Behälter, Einlagen und Beleuchtung. Vorführungen von Anbietern mit günstigen Objekten ersetzen keine Prüfung in der Zelle.

2. Wahrnehmung#

Erkennung lokalisiert und klassifiziert Objekte; Segmentierung liefert Objektkonturen; orientierte Begrenzungsrahmen schätzen gedrehte Umrisse; Posenschätzungsmodelle können Schlüsselpunkte bestimmen; Tracking ordnet Objekte über die Zeit einander zu. Ultralytics YOLO unterstützt mehrere dieser Bildverarbeitungsaufgaben innerhalb eines Modellökosystems.

Die Ergebnisse der Wahrnehmung müssen für die nachgelagerte Greifplanung stabil genug sein. Bewerte Lokalisierungsfehler, übersehene und doppelt erkannte Objekte, Maskenqualität, Ausrichtungsfehler und Verhalten bei Überlappungen – nicht nur einen Gesamtwert für den Datensatz.

3. Kalibrierung und Koordinaten#

Das System transformiert Beobachtungen aus Kamerakoordinaten in Roboter- oder Zellkoordinaten. Hand-Auge-Kalibrierung, Kameramontage, Linseneffekte, Tiefenausrichtung und Kalibrierung des Werkzeugmittelpunkts beeinflussen allesamt den Greiffehler.

Behandle die Kalibrierung als laufend zu pflegenden Produktionsbestandteil. Dokumentiere das Verfahren und die zulässigen Restfehler, sichere die Kamerahalterungen und lege fest, wann Werkzeugwechsel oder Wartung eine Neukalibrierung auslösen.

4. Greifplanung#

Bei der Greiferauswahl werden erreichbare Oberflächen, Greifergeometrie, Objektstabilität, Kollisionsrisiko, benachbarte Teile und die Zielpose berücksichtigt. Ein 2D-Modell kann Objektposition und Ausrichtung für eine regelbasierte Greiflogik liefern. Eine 3D-Lösung kann anhand von Punktwolken nach Rang geordnete Greifkandidaten erzeugen.

Die Erkennung mit der höchsten Konfidenz ist nicht unbedingt die sicherste Greifoption. Behandle Erkennungskonfidenz, Greifqualität und Pfadumsetzbarkeit als separate Größen.

5. Bewegungssteuerung und Roboterintegration#

Roboteradapter oder APIs übermitteln Zielpositionen an die Steuerung. Der Integrator muss Zeitsteuerung, Koordinatensysteme, Geschwindigkeit, Zonen, Kollisionsmodelle, Förderbandbewegung und Bestätigungen verwalten. Sicherheitsfunktionen gehören in die validierte Sicherheitsarchitektur des Roboters und der Zelle, nicht in die ungeprüfte Modellausgabe.

6. Fehlerbehandlung#

Lege erwartete Fehlerzustände fest: kein gültiges Objekt, unsichere Klasse, kein sicherer Griff, fallengelassenes Teil, fehlgeschlagener Greifvorgang, verrutschter Behälter, veraltetes Einzelbild, nicht verfügbare Kamera oder wiederholter Versuch. Eine Zelle, die einfache Greifvorgänge bewältigt, aber nach jeder Ausnahme manuell zurückgesetzt werden muss, lässt sich nicht skalieren.

Wo Ultralytics ins Spiel kommt#

Die Ultralytics Platform kann Bilddaten organisieren und annotieren, Ultralytics-YOLO-Modelle trainieren und Modellversionen verwalten. Anschließend lassen sich die Modelle über Platform-Endpunkte bereitstellen oder exportieren, um sie in eine Robotik-Laufzeitumgebung nahe der Zelle zu integrieren.

Dieser Ansatz ist nützlich, wenn der besondere Mehrwert in benutzerdefinierten Objektklassen, wechselnden SKUs, ungewöhnlichen visuellen Bedingungen oder anwendungsspezifischer Wahrnehmung liegt. Außerdem können Teams die umgebende Kamera, die Tiefenquelle, die Greifplanung und das Roboterframework selbst wählen.

Dieser Ansatz ersetzt nicht alle Komponenten eines integrierten 3D-Produkts zum Greifen aus Behältern. Unternehmen ohne Fachkenntnisse in der Roboterwahrnehmung und -integration bevorzugen möglicherweise ein unterstütztes Komplettpaket mit Kalibrierung, 3D-Verarbeitung, Greiflogik und zertifizierten Roboteradaptern.

So bewertest du Anbieter#

Verwende bei jedem Versuch dieselben Teile und Zellbedingungen. Berücksichtige volle und fast leere Behälter, ungünstigste Überlappungen, beschädigte Verpackungen, gemischte Varianten, reflektierende Oberflächen, übliche Verschmutzungen und zu erwartende Beleuchtungsänderungen.

Messe:

• Erfolgsquote gültiger Entnahmen nach Teil und Behälterzustand.
• Verteilung der Zykluszeiten, einschließlich Wahrnehmung und Wiederherstellung.
• Bestätigung der Aufnahme beim ersten Versuch.
• Ereignisse mit Fehlklassifizierung, doppelten Zielobjekten und Kollisionsrisiko.
• Manuelle Eingriffe und Rücksetzzeit.
• Kalibrierungsstabilität nach Wartungsarbeiten oder Vibrationen.
• Zeitaufwand, um eine neue SKU hinzuzufügen und die Aktualisierung zu validieren.
• Für die Diagnose verfügbare Protokolle und Nachweise.

Bitte jeden Anbieter anzugeben, welche Messwerte von der Kamera, dem Modell, der Greifplanung, dem Roboter und externen Sensoren stammen. So werden Architektur und Zuständigkeiten sichtbar.

Entscheidungshilfe: 2D oder 3D#

Wähle zuerst 2D, wenn Teile auf einer bekannten Ebene liegen bleiben, die Greifhöhe fest ist, es nur wenige Überlagerungen gibt und klare visuelle Merkmale Klasse und Ausrichtung bestimmen. Die Beleuchtung, Beschriftung, Fehlerbehebung und Bedienung sind damit oft einfacher.

Wähle 3D, wenn die Höhe variiert, Haufen deutliche Überlagerungen erzeugen, die Oberflächengeometrie den Griff bestimmt, der Kollisionsabstand gering ist oder der Roboter ein unübersichtliches Volumen erfassen muss. Manche Zellen kombinieren gelernte 2D-Wahrnehmung mit registrierten Tiefendaten, um die benutzerdefinierte Klassifizierung beizubehalten und zugleich 3D-Koordinaten zu erhalten.

Entscheide nicht nach dem neuesten Sensort rend. Verwende die Sensorkonfiguration mit der geringsten Komplexität, die die Tests unter den ungünstigsten Bedingungen der Zelle besteht.

Checkliste zur Implementierung#

• Lege Anforderungen an Objekt, Pose, Zyklus und Wiederherstellung fest.
• Erfasse reale Teile unter dem gesamten Spektrum an Behälter- und Umgebungsbedingungen.
• Wähle die Sensorik anhand der Geometrie und des Oberflächenverhaltens aus.
• Validiere Kalibrierung und Koordinatentransformationen unabhängig von der Modellgenauigkeit.
• Teste die Greifplanung mit dem tatsächlichen Greifer und benachbarten Objekten.
• Trenne Sicherheitsfunktionen des Roboters von der gelernten Wahrnehmung.
• Protokolliere Erkennungen, Transformationen, Greifkandidaten, Reaktionen der Steuerung und Ergebnisse.
• Sorge für eine manuelle Wiederherstellung bei unsicheren oder ausgeschöpften Fällen.
• Führe Regressionstests für jedes neue Modell, jede SKU, jeden Greifer, jede Kamera und jede Zellkonfiguration durch.