KI-gestützte Drohnenanwendungen mit Ultralytics YOLO11 entwickeln

Einkaufen im Geschäft und Online-Shopping mögen ähnlich erscheinen, beruhen aber auf unterschiedlichen Logistikabläufen. In Geschäften müssen Regale aufgefüllt werden, während Online-Bestellungen bis an die Haustür geliefert werden. Dank technologischer Fortschritte verändern sich beide Einkaufserlebnisse parallel.

Ein großer Wandel zeigt sich zum Beispiel bei der Zustellung. KI-gestützte Drohnen verändern, wie Produkte zu uns nach Hause gelangen. In den nächsten zehn Jahren sollen diese intelligenten Drohnen rund 808 Millionen Lieferungen übernehmen und den Luftraum zur neuesten Zustellroute für den täglichen Handel machen.

Lieferdrohnen nutzen künstliche Intelligenz (AI) und Computer Vision, ein Teilgebiet der KI zur Analyse visueller Daten, um zu navigieren und Hindernissen auszuweichen. Computer-Vision-Modelle wie Ultralytics YOLO11 können Drohnen dabei helfen, Objekte in Echtzeit zu erkennen und zu verfolgen, sodass sie ihre Umgebung besser verstehen und mit ihr interagieren können.

Abb. 1. Eine Lieferdrohne bringt ein Paket an seinen Bestimmungsort.

Unternehmen wie Meituan und DJI integrieren Computer Vision bereits in ihre Drohnen. Tatsächlich hat die rasche Verbreitung von Drohnen in verschiedenen Branchen den KI-Drohnenmarkt auf Kurs gebracht, bis 2031 auf 206,9 Milliarden US-Dollar anzuwachsen.

In diesem Artikel sehen wir uns genauer an, wie Computer-Vision-Modelle wie Ultralytics YOLO11 in drohnengestützten Anwendungen, etwa für Lieferungen, eingesetzt werden können. Anhand eines Beispiels zeigen wir, wie sich diese Technologien entwickeln und testen lassen, bevor sie in der Praxis zum Einsatz kommen.

Ultralytics YOLO11 auf Drohnen zum Erkennen von Häusern einsetzen#

Eine wichtige Fähigkeit von Lieferdrohnen ist, Häuser während der Navigation zu erkennen. Um diese Fähigkeit nachzubilden und ihre Funktionsweise zu verstehen, trainieren wir ein Computer-Vision-Modell, das Häuser in Aufnahmen einer Flugdrohne erkennen kann. Dafür trainieren wir Ultralytics YOLO11 mit eigenen Daten. Dabei wird ein vortrainiertes YOLO11-Modell so feinabgestimmt, dass es anhand beschrifteter Beispiele Häuser erkennt.

Dazu benötigen wir hochwertige Videodaten von einer Drohne. Interessanterweise können wir auch ohne Zugang zu einer echten Drohne realistische Luftaufnahmen erstellen. Sehen wir uns an, wie das geht.

Eine künstliche Drohnenaufnahme mit Google Earth Studio erstellen#

Google Earth Studio ist ein webbasiertes Animationstool, mit dem Nutzer statische und animierte Inhalte auf Grundlage der Satelliten- und 3D-Bilder von Google Earth erstellen können. Damit lassen sich realistische Luftaufnahmen erstellen.

Öffne zunächst Google Earth Studio und erstelle ein Projekt, wie unten gezeigt.

Zum Anmelden benötigst du ein Google-Konto.

Abb. 2. Ein Projekt in Google Earth Studio erstellen.

Nach der Anmeldung kannst du einen Ort für dein künstliches Drohnenvideo auswählen. Über die Suchleiste oben links auf der Seite kannst du nach Orten suchen. Für dieses Tutorial wählen wir Kanada. Da wir ein Modell zum Erkennen von Häusern trainieren werden, sollte unser Drohnenvideo außerdem eine Luftaufnahme von Häusern zeigen.

Abb. 3. Einen Ort in Google Earth Studio auswählen.

Als Nächstes können wir den ersten und den letzten Zeitpunkt festlegen, um die Bewegung der künstlichen Drohnenaufnahme festzuhalten. Nachdem du den Startpunkt der Aufnahme ausgewählt hast, legst du mithilfe der blauen Rauten den ersten Frame fest, wie unten gezeigt.

Abb. 4. Den ersten Frame mithilfe der blauen Rauten festlegen.

Als Nächstes können wir den letzten Frame auswählen, um das Ziel der Drohne festzulegen. Dadurch entsteht der Bewegungseffekt in der Drohnenaufnahme. Schiebe dazu den Balken (unten hervorgehoben) nach rechts bis zu einem bestimmten Zeitpunkt. Verwende erneut die blauen Rauten, um den letzten Punkt festzulegen.

Abb. 5. Den letzten Frame durch Verschieben des Balkens festlegen.

Zum Schluss kannst du das Projekt speichern und rendern, indem du oben rechts auf der Seite auf die rote Schaltfläche „Render“ klickst. Dadurch erhältst du das fertige Video der Drohnenaufnahme und erstellst erfolgreich künstliches Drohnenmaterial.

Abb. 6. Das fertige Video rendern.

Wie beschriftet man die Drohnendaten?#

Nachdem wir das künstliche Drohnenmaterial erstellt haben, müssen wir als Nächstes die darin gezeigten Häuser beschriften oder annotieren. Außerdem müssen wir die einzelnen Frames des Videos extrahieren.

Zunächst installieren wir LabelImg. LabelImg ist ein quelloffenes Tool zur Bildbeschriftung. Du kannst es direkt über das Terminal mit dem Paketinstallationsprogramm pip installieren, indem du folgenden Befehl ausführst: „pip install labelImg“.

Nach der Installation kannst du das Tool im Terminal oder in der Eingabeaufforderung mit dem Befehl ‚labelImg‘ starten. Daraufhin wird die unten gezeigte Seite geöffnet.

Abb. 7. Die Benutzeroberfläche des LabelImg-Tools.

In der Zwischenzeit können wir das Video entweder mit einem Online-Videokonverter in Bilder umwandeln oder mit einem Tool namens FFmpeg in einzelne Frames zerlegen. FFmpeg ist eine Sammlung von Bibliotheken und Tools zur Verarbeitung multimedialer Inhalte wie Audio, Video, Untertitel und zugehöriger Metadaten.

Mit dem folgenden Terminalbefehl kannst du jeden Frame aus dem Drohnenvideo extrahieren:

ffmpeg -i input_video.mp4 frame_%04d.png

Nachdem wir die Frames aus dem Drohnenvideo extrahiert haben, können wir mit der Beschriftung der darin enthaltenen Objekte (Häuser) beginnen. Öffne über das LabelImg-Tool den Bildordner, um die Objekte in jedem Bild zu beschriften. Achte darauf, jedes beschriftete Bild zu speichern und zu überprüfen. Nach der Annotation der Bilder können wir mit dem Training von Ultralytics YOLO11 anhand dieser Daten fortfahren.

Abb. 8. Beispiel für das Speichern annotierter Bilder.

Trainingsablauf für das Ultralytics YOLO11-Modell#

Bevor wir mit dem Training von Ultralytics YOLO11 beginnen, ordnen wir unsere Bilder und Beschriftungen. Erstelle zunächst zwei Ordner: einen mit dem Namen „train“ und einen mit dem Namen „valid“. Verteile deine Bilder auf diese Ordner. Lege in jedem Ordner separate Unterordner für die Bilder und die zugehörigen Beschriftungsdateien (im Textformat) an, wie unten gezeigt.

Abb. 9. Beispiel für das Erstellen von Bild- und Beschriftungsordnern.

Anschließend können wir das Ultralytics YOLO11-Modell wie folgt trainieren:

• Schritt 1: Installiere das Ultralytics-Python-Paket. Führe dazu im Terminal den Befehl „pip install ultralytics“ aus. Falls bei der Installation Probleme auftreten, findest du in unserer Anleitung zur Fehlerbehebung Tipps und Tricks zu ihrer Behebung.
• Schritt 2: Erstelle nach erfolgreicher Installation des Pakets eine Datei mit dem Namen ‚data.yaml‘. Diese Konfigurationsdatei ist für das Training des Modells entscheidend. Füge in die Datei data.yaml die folgenden Informationen ein: den Pfad zu deinem Trainingsdatensatz, den Pfad zu deinem Validierungsdatensatz, die Anzahl der Klassen (nc) und eine Liste der Klassennamen (names), wie unten gezeigt.

Abb. 10. Beispiel für eine data.yaml-Datei.

• Schritt 3: Sobald die Datei ‚data.yaml‘ konfiguriert ist, kannst du dein Modell mit dem folgenden Python-Code trainieren. Dieser Code lädt das vortrainierte Ultralytics YOLO11-Modell und trainiert es entsprechend deinen Konfigurationen.

from ultralytics import YOLO

# Ein YOLO11-Modell laden
model = YOLO("yolo11n.pt")  # Wähle dein Modell aus, z. B. YOLO11 nano

# Trainiere das Modell mit deinen Daten und Einstellungen
model.train(data="data.yaml", epochs=100, imgsz=640)

• Schritt 4: Nach Abschluss des Trainings solltest du eine ähnliche Ausgabe wie unten sehen. Das bedeutet, dass du dein Ultralytics YOLO11-Modell erfolgreich für drohnengestützte Anwendungen trainiert hast.

Abb. 11. Die Ausgabe nach dem Modelltraining.

Mit Ultralytics YOLO11 auf Drohnen Vorhersagen ausführen#

Das trainierte Ultralytics YOLO11-Modell kann nun mit einem Verfahren namens Inferenz Vorhersagen treffen. Bei der Inferenz analysiert ein Modell neue, unbekannte Daten auf Grundlage dessen, was es während des Trainings gelernt hat. In diesem Fall kann das Modell bestimmte Objekte wie Häuser in Bildern oder Videos finden und beschriften, indem es Begrenzungsrahmen um sie zeichnet.

Um eine Vorhersage auszuführen, kannst du das trainierte Ultralytics YOLO11-Modell mit dem folgenden Python-Code auf ein Eingabevideo anwenden. In diesem Beispiel verwenden wir dasselbe künstliche Drohnenvideo wie beim Training. Du kannst aber auch eine andere Videodatei verwenden.

# Bibliothek importieren
from ultralytics import YOLO

# YOLO-Modell laden
model = YOLO("best.pt")  # Dein speziell trainiertes Modell auswählen

# Vorhersagen des Modells ausführen
results = model.predict(source="path/to/original/video.mp4", show=True, save=True)

Nach Ausführung dieses Codes wird die Ausgabedatei mit dem Video, den Vorhersagen und den Begrenzungsrahmen gespeichert.

Abb. 12. Ein Frame aus der Videodatei.

Ultralytics YOLO11 auf Drohnen für verschiedene Anwendungen integrieren#

Das Erkennen von Häusern für die Zustellung durch Drohnen ist nur ein Beispiel dafür, wie Computer Vision und Ultralytics YOLO11 eingesetzt werden können. Hier sind weitere praktische Anwendungen von Computer Vision, YOLO11 und Flugdrohnen:

• Überwachung und Sicherheit: KI-Drohnen können große Gebiete in Echtzeit überwachen. Sie können Eindringlinge erkennen, verdächtige Aktivitäten verfolgen und die Sicherheit an Landesgrenzen sowie bei großen öffentlichen Veranstaltungen erhöhen.

• Katastrophenschutz sowie Suche und Rettung: Drohnen mit Wärmebildkameras und Objekterkennung können dabei helfen, Überlebende in Katastrophengebieten zu finden. Außerdem können sie Schäden beurteilen und dringend benötigte Hilfsgüter liefern.

• Landwirtschaft und Präzisionslandwirtschaft: Mit Computer Vision ausgestattete Drohnen können den Zustand von Nutzpflanzen analysieren und Krankheiten erkennen. So können Landwirte ihre Erträge steigern und gleichzeitig Kosten senken.

• Kartierung und Geodatenanalyse: Durch das Erfassen hochauflösender 3D-Karten können KI-Drohnen bei der Stadtplanung und Landvermessung helfen. Sie ermöglichen schnellere und genauere Geländebewertungen als herkömmliche Methoden.

Die wichtigsten Erkenntnisse#

KI-Drohnen mit Computer Vision verändern zahlreiche Branchen – von der Paketzustellung bis hin zur Unterstützung bei Notfällen und in der Landwirtschaft. In dieser Anleitung haben wir gezeigt, wie du ein künstliches Drohnenvideo erstellst, darin Objekte beschriftest, Ultralytics YOLO11 trainierst und damit Häuser erkennst.

Die Anwendung von Objekterkennung auf Drohnenaufnahmen macht diese Drohnen intelligenter: Sie können Objekte automatisch in Echtzeit erkennen und verfolgen. Mit der Weiterentwicklung der Technologie werden KI-gesteuerte Drohnen wahrscheinlich eine noch größere Rolle dabei spielen, Lieferungen zu beschleunigen, die Sicherheit zu verbessern und bei der Katastrophenhilfe zu helfen.

Tritt unserer Community bei und erkunde unser GitHub-Repository, um mehr über Vision AI zu erfahren. Sieh dir auch unsere Lizenzoptionen an, um deine Computer-Vision-Projekte zu starten. Interessierst du dich für Innovationen wie KI in der Fertigung oder Computer Vision in der Automobilbranche? Auf unseren Lösungsseiten erfährst du mehr.