Entwickle KI-gestützte Drohnenanwendungen mit Ultralytics YOLO11

Einkaufen im Geschäft und Online-Shopping mögen ähnlich erscheinen, basieren aber auf unterschiedlicher Logistik. Geschäfte müssen ihre Regale auffüllen, während Online-Bestellungen von der Zustellung an die Haustür abhängen. Dank technologischer Fortschritte verändern sich beide Einkaufserlebnisse parallel.

Ein großer Wandel findet beispielsweise bei Lieferungen statt. KI-gestützte Drohnen verändern die Art und Weise, wie Produkte bei uns zu Hause ankommen. Es wird erwartet, dass diese intelligenten Drohnen im nächsten Jahrzehnt etwa 808 Millionen Lieferungen abwickeln und den Himmel zum neuesten Lieferweg für den täglichen Handel machen.

Lieferdrohnen nutzen Künstliche Intelligenz (KI) und Computer Vision, ein Teilgebiet der KI, das zur Analyse visueller Daten verwendet wird, um zu navigieren und Hindernissen auszuweichen. Computer-Vision-Modelle wie Ultralytics YOLO11 können Drohnen dabei helfen, Objekte in Echtzeit zu erkennen und zu verfolgen, wodurch sie ihre Umgebung besser verstehen und mit ihr interagieren können.

Fig 1. Eine Lieferdrohne, die ein Paket an sein Ziel bringt.

Unternehmen wie Meituan und DJI integrieren bereits Computer Vision in ihre Drohnen. Tatsächlich hat die schnelle Einführung von Drohnen in verschiedenen Branchen den KI-Drohnenmarkt darauf vorbereitet, bis 2031 auf 206,9 Milliarden US-Dollar anzuwachsen.

In diesem Artikel schauen wir uns genauer an, wie Computer-Vision-Modelle wie Ultralytics YOLO11 in drohnenbasierten Anwendungen wie Drohnenlieferungen eingesetzt werden können. Wir gehen ein Beispiel durch, das zeigt, wie diese Technologien entwickelt und getestet werden können, bevor sie in realen Szenarien zum Einsatz kommen.

Link to this sectionVerwendung von Ultralytics YOLO11 auf Drohnen zur Erkennung von Häusern#

Ein wesentlicher Bestandteil von Lieferdrohnen ist ihre Fähigkeit, Häuser während der Navigation zu erkennen. Um diese Funktion nachzubilden und ihre Funktionsweise zu verstehen, trainieren wir ein Computer-Vision-Modell, das Häuser in Aufnahmen einer Drohne identifizieren kann. Wir werden YOLO11 dafür benutzerdefiniert trainieren, was das Fine-Tuning eines vortrainierten YOLO11-Modells beinhaltet, um Häuser anhand von markierten Beispielen zu erkennen und zu detektieren.

Dafür benötigen wir hochwertiges Videomaterial von einer Drohne. Interessanterweise können wir auch ohne Zugriff auf eine echte Drohne realistische Luftaufnahmen generieren. Sehen wir uns an, wie.

Link to this sectionErstellen einer künstlichen Drohnenaufnahme mit Google Earth Studio#

Google Earth Studio ist ein webbasiertes Animationstool, mit dem Nutzer mithilfe von Satelliten- und 3D-Bildern von Google Earth Stand- und Animationsinhalte erstellen können. Wir können es verwenden, um realistische Luftaufnahmen zu erstellen.

Der erste Schritt besteht darin, Google Earth Studio zu öffnen und ein Projekt zu erstellen, wie unten dargestellt.

Du benötigst ein Google-Konto, um dich anzumelden.

Fig 2. Erstellen eines Projekts in Google Earth Studio.

Sobald du dich angemeldet hast, kannst du einen Standort für dein künstliches Drohnenvideo auswählen. Über die Suchleiste in der oberen linken Ecke der Seite kannst du nach Standorten suchen. Für dieses Tutorial wählen wir Kanada. Da wir zudem ein Modell trainieren, um Häuser zu erkennen, sollte unser Drohnenvideo eine Luftansicht von Häusern enthalten.

Fig 3. Auswahl eines Standorts in Google Earth Studio.

Als Nächstes können wir den ersten und letzten Zeitrahmen festlegen, um die Bewegung der künstlichen Drohnenaufnahme zu erfassen. Sobald du den Startpunkt für die Drohnenaufnahme gewählt hast, lege den ersten Frame mit den blauen Rauten fest, wie unten gezeigt.

Fig 4. Festlegen des ersten Frames mit den blauen Rauten.

Als Nächstes können wir den letzten Frame wählen, um das Ziel der Drohne zu bestimmen. Dies hilft uns dabei, einen Bewegungseffekt für die Drohnenaufnahme zu erzielen. Schiebe dazu den Balken (unten hervorgehoben) nach rechts an einen bestimmten Zeitpunkt, um den Bewegungseffekt für die Drohnenaufnahme zu erzeugen. Verwende erneut die blauen Rauten, um den letzten Punkt festzulegen.

Fig 5. Festlegen des letzten Frames durch Verschieben des Balkens.

Schließlich kannst du dieses Projekt speichern und rendern, indem du auf die rote Schaltfläche „Render“ in der oberen rechten Ecke der Seite klickst. Dies liefert dir das finale Video der Drohnenaufnahme und erstellt so erfolgreich künstliches Drohnenvideomaterial.

Fig 6. Rendern des finalen Ausgabevideos.

Link to this sectionWie lassen sich die Drohnendaten labeln?#

Nachdem wir nun künstliches Drohnenvideomaterial erstellt haben, besteht der nächste Schritt darin, die Häuser darin zu labeln oder zu annotieren. Wir müssen außerdem die einzelnen Frames des Videos trennen.

Um damit zu beginnen, installieren wir LabelImg. LabelImg ist ein Open-Source-Tool zur Bildmarkierung. Du kannst es direkt über das Terminal mit dem pip-Paketinstaller installieren, indem du den folgenden Befehl ausführst: „pip install labelImg“.

Nach der Installation kannst du das Tool über den Befehl ‚labelImg‘ in deinem Terminal oder deiner Eingabeaufforderung starten. Dies führt dich zur unten gezeigten Seite.

Fig 7. Die Benutzeroberfläche des LabelImg-Tools.

In der Zwischenzeit können wir entweder einen Online-Video-zu-Bild-Konverter oder ein Tool namens FFmpeg verwenden, um das Video in Frames aufzuteilen. FFmpeg ist eine Sammlung von Bibliotheken und Tools zur Verarbeitung von Multimedia-Inhalten wie Audio, Video, Untertiteln und zugehörigen Metadaten.

Du kannst den folgenden Terminalbefehl verwenden, um jeden Frame des Drohnen-Videomaterials zu trennen:

ffmpeg -i input_video.mp4 frame_%04d.png

Sobald wir die Frames des Drohnenmaterials getrennt haben, können wir mit der Markierung der Objekte (Häuser) beginnen. Indem wir über das LabelImg-Tool zum Bildordner navigieren, können wir die Objekte in jedem Bild markieren. Stelle sicher, dass du jedes markierte Bild speicherst und überprüfst. Nach dem Annotieren der Bilder können wir nun dazu übergehen, YOLO11 mit diesen Daten zu trainieren.

Fig 8. Ein Beispiel für das Speichern annotierter Bilder.

Link to this sectionWorkflow für das YOLO11-Modelltraining#

Bevor wir mit dem Training von YOLO11 beginnen, organisieren wir unsere Bilder und Labels. Beginne mit der Erstellung zweier Ordner: einem namens „train“ und einem namens „valid“. Verteile deine Bilder auf diese Ordner. Erstelle innerhalb jedes Ordners separate Unterordner für die Bilder und ihre zugehörigen Label-Dateien (im Textformat), wie unten gezeigt.

Fig 9. Ein Beispiel für das Erstellen von Bild- und Label-Ordnern.

Dann können wir mit dem Training des YOLO11-Modells wie folgt beginnen:

• Schritt 1: Installiere das Ultralytics Python-Paket. Dies kannst du tun, indem du den Befehl „pip install ultralytics“ in deinem Terminal ausführst. Wenn bei der Installation Probleme auftreten, sieh dir unseren Troubleshooting-Guide an, um Tipps und Tricks zur Lösung zu erhalten.
• Schritt 2: Erstelle nach der erfolgreichen Installation des Pakets eine Datei mit dem Namen ‚data.yaml‘. Dies ist eine Konfigurationsdatei, die für das Training des Modells entscheidend ist. Füge in der data.yaml-Datei die folgenden Informationen ein: den Pfad zu deinem Trainingsdatensatz, den Pfad zu deinem Validierungsdatensatz, die Anzahl der Klassen (nc) und eine Liste der Klassennamen (names), wie unten dargestellt.

Fig 10. Ein Beispiel für eine data.yaml-Datei.

• Schritt 3: Sobald die ‚data.yaml‘-Datei konfiguriert ist, kannst du mit dem Training deines Modells unter Verwendung des folgenden Python-Codes beginnen. Dieser Code lädt das vortrainierte YOLO11-Modell und trainiert es gemäß deinen Konfigurationen.

from ultralytics import YOLO

# Load a YOLO11 model
model = YOLO("yolo11n.pt")  # choose your model, e.g., YOLO11 nano

# Train the model with your data and settings
model.train(data="data.yaml", epochs=100, imgsz=640)

• Schritt 4: Sobald das Training abgeschlossen ist, solltest du eine Ausgabe sehen, die der unten gezeigten ähnelt. Das bedeutet, dass du dein YOLO11-Modell erfolgreich für drohnenbasierte Anwendungen trainiert hast.

Fig 11. Die nach dem Modelltraining angezeigte Ausgabe.

Link to this sectionDurchführen von Vorhersagen mit Ultralytics YOLO11 auf Drohnen#

Das trainierte YOLO11-Modell kann nun verwendet werden, um Vorhersagen durch einen Prozess namens Inferencing zu treffen. Inferencing bedeutet, ein Modell zu verwenden, um neue, ungesehene Daten auf der Grundlage dessen zu analysieren, was es während des Trainings gelernt hat. In diesem Fall kann das Modell verwendet werden, um spezifische Objekte, wie Häuser, in Bildern oder Videos zu finden und zu markieren, indem Bounding Boxes um sie herum gezeichnet werden.

Um eine Vorhersage auszuführen, kannst du das trainierte YOLO11-Modell auf ein Eingabevideo anwenden, indem du den folgenden Python-Code verwendest. In diesem Beispiel verwenden wir dasselbe künstliche Drohnenvideo, das auch für das Training verwendet wurde, aber du kannst auch jede andere Videodatei verwenden, falls du möchtest.

# Import library
from ultralytics import YOLO

# Load the YOLO model
model = YOLO("best.pt")  # Choose your custom-trained model

# Predict the results from the model
results = model.predict(source="path/to/original/video.mp4", show=True, save=True)

Nach dem Ausführen dieses Codes wird die Video-Ausgabedatei mit den Vorhersagen und Bounding Boxes gespeichert.

Fig 12. Ein Frame aus der Video-Ausgabedatei.

Link to this sectionIntegration von Ultralytics YOLO11 auf Drohnen für verschiedene Anwendungen#

Das Erkennen von Häusern für Drohnen-Lieferpakete ist nur ein Beispiel dafür, wie Computer Vision und YOLO11 angewendet werden können. Hier sind einige andere reale Einsatzmöglichkeiten von Computer Vision, YOLO11 und Drohnen:

• Überwachung und Sicherheit: KI-Drohnen können eingesetzt werden, um große Gebiete in Echtzeit zu überwachen. Sie können Eindringlinge erkennen, verdächtige Aktivitäten verfolgen und die Sicherheit an nationalen Grenzen sowie bei großen öffentlichen Veranstaltungen verbessern.

• Katastrophenhilfe sowie Suche und Rettung: Ausgestattet mit Wärmebildkameras und Objekterkennung können Drohnen dabei helfen, Überlebende in Katastrophengebieten zu finden. Sie können auch Schäden beurteilen und Notfallversorgung liefern.

• Landwirtschaft und Präzisionsfarming: Drohnen, die mit Computer Vision integriert sind, können zur Analyse der Pflanzengesundheit und zur Erkennung von Krankheiten eingesetzt werden, was Landwirten hilft, Erträge zu steigern und gleichzeitig Kosten zu senken.

• Kartierung und Geodatenanalyse: Durch das Sammeln hochauflösender 3D-Karten können KI-Drohnen bei der Stadtplanung und bei Landvermessungen helfen. Sie bieten schnellere und genauere Geländebewertungen als herkömmliche Methoden.

Link to this sectionWichtige Erkenntnisse#

KI-Drohnen, die von Computer Vision angetrieben werden, verändern viele Branchen – von der Paketzustellung bis hin zur Unterstützung in Notfällen und in der Landwirtschaft. In diesem Leitfaden sind wir das Erstellen eines künstlichen Drohnenvideos, das Markieren von Objekten darin, das Training von YOLO11 und dessen Verwendung zur Erkennung von Häusern durchgegangen.

Die Anwendung der Objekterkennung auf Drohnenmaterial macht diese Drohnen intelligenter und ermöglicht es ihnen, Objekte automatisch in Echtzeit zu erkennen und zu verfolgen. Mit der technologischen Verbesserung werden KI-gesteuerte Drohnen wahrscheinlich eine noch größere Rolle dabei spielen, Lieferungen zu beschleunigen, die Sicherheit zu verbessern und bei der Katastrophenhilfe zu helfen.

Werde Teil unserer Community und erkunde unser GitHub-Repository, um mehr über Vision AI zu erfahren, und schau dir unsere Lizenzoptionen an, um deine Computer-Vision-Projekte zu starten. Interessiert an Innovationen wie KI in der Fertigung oder Computer Vision in der Automobilindustrie? Besuche unsere Lösungsseiten, um mehr zu entdecken.