Wie Computer Vision AMR, AGV und autonome Gabelstapler steuert
Was Computer Vision zur Navigation von AMR, AGV und autonomen Gabelstaplern beiträgt, wie sich Kamera, LiDAR und Tiefeninformationen ergänzen und welche Rolle die Sicherheit spielt.
Computer Vision hilft autonomen mobilen Robotern, fahrerlosen Transportfahrzeugen und autonomen Gabelstaplern dabei, Menschen, Paletten, Regale, Ladungen, Schilder, Bodenbereiche und andere Fahrzeuge wahrzunehmen. Ultralytics YOLO kann in diesem Wahrnehmungssystem Erkennungs-, Segmentierungs-, Posenschätzungs- und Tracking-Ergebnisse liefern. Es ersetzt weder Lokalisierung noch Routenplanung, Fahrzeugsteuerung oder ein validiertes Sicherheitssystem.
Die beste Architektur basiert in der Regel auf Sensorfusion. Kameras liefern semantisches Verständnis und umfangreiche Informationen zum Erscheinungsbild. Lidar und Tiefensensoren liefern Geometrie und Entfernungsdaten. Drehgeber und Trägheitssensoren erfassen Bewegungen. Das Navigationssystem kombiniert diese Eingaben je nach Fahrzeug, Umgebung und Risikobewertung.
Die Anforderungen an AMR, AGV und autonome Gabelstapler unterscheiden sich#
Ein AGV fährt oft auf festen oder teilweise festen Routen und ist auf Infrastruktur wie Markierungen, Reflektoren oder kartierte Wege angewiesen. Ein AMR plant im Allgemeinen seine Route um wechselnde Hindernisse in einer kartierten Umgebung herum. Bei einem autonomen Gabelstapler kommen der Umgang mit Ladungen, Mast- und Gabelgeometrie, angehobene Lasten sowie Interaktionen in der Nähe von Paletten und Regalen hinzu.
Verwende diese Bezeichnungen nicht als Ersatz für Anforderungen. Lege Folgendes fest:
- Betriebsbereiche und zulässige Routen.
- Fahrzeuggeschwindigkeit, Bremsverhalten und Nutzlastbereich.
- Personen, Fahrzeuge und Objektklassen, die erkannt werden müssen.
- Beleuchtung im Innen- und Außenbereich, Wetter, Staub und Bodenbeschaffenheit.
- Erforderliche Lokalisierung und Kartenverarbeitung.
- Durch Fahrzeug und Ladung verursachte tote Winkel.
- Netzverfügbarkeit und Grenzen der bordeigenen Rechenleistung.
- Geltende Anforderungen an Maschinen, Fahrzeuge und Arbeitssicherheit.
Was Computer Vision beiträgt#
| Wahrnehmungsfunktion | Mögliche Vision-Aufgabe | Einsatz in der Navigation | Wichtige Einschränkung |
|---|---|---|---|
| Erkennung von Personen und Fahrzeugen | Objekterkennung und Tracking | Semantisches Verständnis und Verhaltenslogik | Erkennung ist standardmäßig keine sicherheitsgerichtete Schutzfunktion |
| Erkennung von Paletten und Regalen | Erkennung, Segmentierung oder Schlüsselpunkte | Kontext für Andocken, Aufnahme und Ablage | Verdeckungen und beschädigte Paletten verändern das Erscheinungsbild |
| Schätzung des freien Bewegungsraums | Semantische Segmentierung oder Tiefenschätzung | Eingabe zur Befahrbarkeit | Bodenreflexionen und nicht sichtbare Geometrie können ein reines Kamerasystem in die Irre führen |
| Überwachung des Ladungszustands | Erkennung oder Klassifizierung | Vorhandensein der Ladung und sichtbare Ausrichtung bestätigen | Verdecktes Gewicht und Stabilität erfordern andere Sensoren |
| Erkennung von Schildern und Markierungen | Erkennung und anschließendes Dekodieren | Routen- oder Arbeitsablaufkontext | Schmutz, Abnutzung und Blickwinkel beeinflussen die Lesbarkeit |
| Visuelle Lokalisierung | Merkmalsverfolgung oder visuelles SLAM | Posenschätzung | Wiederkehrende Gänge und wechselnde Szenen können die Zuverlässigkeit beeinträchtigen |
| Objektbewegung | Mehrzielverfolgung | Nahegelegene Trajektorien vorhersagen | Kamerabewegung und Verdeckungen erfordern eine sorgfältige Sensorfusion |
Die Navigationsanwendung sollte explizite, mit Zeitstempeln versehene Beobachtungen verarbeiten. Sie muss das Kamerabild, die Modellversion, die Konfidenz und das Alter jedes Ergebnisses kennen, damit sie veraltete oder widersprüchliche Daten verwerfen kann.
Kamera, Lidar und Tiefensensoren ergänzen sich#
Monokulare Kameras liefern Farbe und Textur bei vergleichsweise geringem Hardwareaufwand, messen die metrische Tiefe jedoch nicht direkt. Stereo- und aktive Tiefenkameras schätzen die Entfernung innerhalb ihres Betriebsbereichs. Lidar liefert direkte geometrische Messungen und kann auch bei wechselndem Erscheinungsbild nützlich bleiben, wobei Material, Wetter und Geometrie weiterhin eine Rolle spielen.
Die Sensorauswahl sollte sich an der Fehleranalyse orientieren. Überlege, welche Gefahren oder Navigationsmerkmale übersehen würden, wenn ein Sensor verdeckt, übersteuert, verschmutzt oder nicht verfügbar wäre. Redundanz hilft nur, wenn die Fehlermodi ausreichend unabhängig sind und die Sensorfusion mit Abweichungen umgehen kann.
Bei der Kamerapositionierung müssen Wenden, Rückwärtsfahren, die Gabelposition und wechselnde Lasten berücksichtigt werden. Überprüfe das Sichtfeld mit der größten zulässigen Last und bei jeder Maststellung. Ergänze Reinigungs-, Inspektions- und Ausrichtungsprüfungen in den Wartungsabläufen.
Erstelle den Wahrnehmungsdatensatz anhand von Routen, nicht einzelnen Bildern#
Erfasse vollständige Routenbedingungen an verschiedenen Standorten und in unterschiedlichen Schichten, Gangtypen, Kreuzungen, Ladebereichen, Situationen mit Personen- und Fahrzeugverkehr, Lastzuständen und Wartungszuständen. Berücksichtige schwierige Negativbeispiele wie Poster, Spiegelungen, Schaufensterpuppen, gestapelte Materialien und Teilansichten, die Zielklassen ähneln.
Teile die Evaluierungsdaten nach Route, Zeit oder Standort auf, um nahezu identische Videobilder in Trainings- und Testdaten zu vermeiden. Berichte die Leistung nach Entfernung, Verdeckung, Beleuchtung, Bewegung und Objekttyp. Ein einzelner Durchschnittswert kann die Fälle verschleiern, die an Kreuzungen oder Ladebereichen besonders wichtig sind.
Die Ultralytics Platform unterstützt die Annotation, das Training und die Versionsverwaltung benutzerdefinierter Ultralytics-YOLO-Wahrnehmungsmodelle. Exportierte Modelle können auf unterstützten Bord- oder Edge-Laufzeitumgebungen ausgeführt werden, die auf Rechenleistung und Latenzanforderungen des Fahrzeugs abgestimmt sind.
Integriere die Wahrnehmung in ROS 2 oder einen anderen Robotik-Stack#
Eine Robotikintegration veröffentlicht üblicherweise Erkennungen oder Masken mit Zeitstempeln und Informationen zum Koordinatenrahmen. Eine Transformationsebene setzt Kamerakoordinaten zum Fahrzeug in Beziehung. Die Navigations- oder Verhaltensebene nutzt die Beobachtungen zusammen mit Karten, Entfernungssensoren, Odometrie und Aufgabenstatus.
Berücksichtige:
- Zeitsynchronisierung zwischen Sensoren.
- Begrenzte Latenz und das Verwerfen veralteter Nachrichten.
- Zustände für Kamera- und Modellfunktion.
- Explizites Verhalten bei widersprüchlichen Sensoren.
- Aufgezeichnete Daten, die zur Reproduktion eines Ereignisses ausreichen.
- Versionierte Nachrichtenschemata und Modellausgaben.
- Ressourcenkonflikte zwischen Wahrnehmung, Lokalisierung und Planung.
Kopple die Navigation nicht direkt an undokumentierte Modellausgaben. Eine stabile Schnittstelle ermöglicht die Weiterentwicklung der Wahrnehmung, ohne das Fahrzeugverhalten unbemerkt zu verändern.
Sicherheitsgrenze#
Bildverarbeitung für allgemeine Zwecke kann die Situationswahrnehmung und betriebliche Entscheidungen unterstützen, sollte jedoch nicht als zertifizierte Schutzeinrichtung bezeichnet werden. Das Anhalten des Fahrzeugs, Schutzfelder, Notfallfunktionen und die Sicherheitsvalidierung gehören zur geltenden Sicherheitsarchitektur und zu einem fachkundigen Entwicklungsprozess.
Dokumentiere, was passiert, wenn das Modell, die Kamera, die Recheneinheit oder das Netzwerk ausfällt. Je nach Systemauslegung kann ein sicherer Zustand eine verringerte Geschwindigkeit, einen kontrollierten Stopp, eine Routenbeschränkung oder den Wechsel in einen anderen Betriebsmodus erfordern. Validiere dieses Verhalten am vollständigen Fahrzeug.
Evaluierungsplan#
Teste Wahrnehmung, Navigation und Betrieb getrennt sowie im Zusammenspiel.
Wahrnehmungstests#
- Erkennung und Lokalisierung nach Entfernung, Richtung, Beleuchtung und Verdeckung.
- Kontinuität der Verfolgung bei Kreuzungen und vorübergehenden Verdeckungen.
- Fehlalarme durch Hintergrundobjekte und Spiegelungen.
- Leistung bei verschmutzten, verschobenen, unscharfen oder teilweise verdeckten Kameras.
- Latenz und Ressourcenverbrauch von Ende zu Ende auf der Zielhardware.
Navigationstests#
- Kreuzungen, schmale Gänge, Einfädelungen, Überholvorgänge, Rückwärtsfahren und Andocken.
- Statische und bewegliche Hindernisse bei repräsentativen Geschwindigkeiten.
- Kartenänderungen, vorübergehende Absperrungen und Routensperrungen.
- Widersprüchliche Sensoren, Nachrichtenverzögerungen und fehlende Eingaben.
- Wiederherstellung nach Lokalisierungsverlust oder Ausfall einer Wahrnehmungskomponente.
Betriebstests#
- Aufnehmen, Transportieren und Absetzen von Lasten mit verschiedenen Palettenvarianten.
- Verhalten bei erhöhten oder die Sicht versperrenden Lasten.
- Schichtwechsel, Laden, Hochfahren, Herunterfahren und Wartung.
- Rekonstruktion von Vorfällen und Zurücksetzen auf eine frühere Modellversion.
Miss die Aufgabenerfüllung, Eingriffe, Routenverzögerungen, Ausfallzeiten, Wahrnehmungsfehler und das Wiederherstellungsverhalten. Leite die Sicherheit der Navigation nicht allein aus der Modellgenauigkeit ab.
Bereitstellungsoptionen#
Die Inferenz an Bord verringert die Abhängigkeit von der Netzwerkverbindung und ermöglicht, hochfrequente Sensordaten auf dem Fahrzeug zu halten. Dafür sind kontrollierte Softwareaktualisierungen, Ressourcenüberwachung, Speicherverwaltung und Hardwareunterstützung in der gesamten Fahrzeugflotte erforderlich.
Zentralisierte Dienste können die Modellverwaltung vereinfachen und die Zusammenführung von Prüfdaten ermöglichen. Das Echtzeitverhalten des Fahrzeugs muss jedoch Netzwerkverzögerungen und -ausfälle berücksichtigen. Bei einem hybriden Aufbau läuft die unmittelbare Wahrnehmung an Bord, während genehmigte Modellartefakte, Metadaten und ausgewählte Prüfbeispiele zentral verwaltet werden.
Führe die Versionen schrittweise ein. Beginne mit der Wiedergabe aufgezeichneter Daten, fahre dann mit einem Testbereich, Beobachtungen im Hintergrundmodus, eingeschränktem Betrieb und einem kontrollierten Teil der Fahrzeugflotte fort, bevor du die Lösung breit ausrollst. Bewahre ein bewährtes Modell samt Konfiguration für ein Zurücksetzen auf.
Häufig gestellte Fragen
Visuelle simultane Lokalisierung und Kartierung schätzt die Kamerabewegung, während anhand visueller Merkmale eine Karte erstellt oder verwendet wird. Dies ist ein Lokalisierungsverfahren, das mit Trägheits-, Rad-, Lidar- oder anderen Messungen kombiniert werden kann.
Die Inferenz an Bord eignet sich, wenn geringe Latenz, lokale Datenverarbeitung oder der Betrieb bei Netzwerkausfall wichtig sind. Stelle sicher, dass die Zielhardware die gesamte Arbeitslast bewältigen kann und Aktualisierungen sowie Überwachung der Fahrzeugflotte unterstützt werden können.
Erkenne fehlende, veraltete, unscharfe, verdeckte, verschobene oder unplausible Eingaben und leite diesen Zustand in ein festgelegtes Fahrzeugverhalten über. Die Reaktion muss als Teil des Gesamtsystems entworfen und validiert werden.
