Entwickle KI-gestützte Drohnenanwendungen mit Ultralytics YOLO11

Einkaufen im Geschäft und Online-Shopping mögen ähnlich erscheinen, basieren jedoch auf unterschiedlichen Logistikprozessen. In Geschäften müssen Regale aufgefüllt werden, während Online-Bestellungen von Lieferungen bis an die Haustür abhängen. Dank des technologischen Fortschritts werden beide Einkaufserlebnisse parallel neu gestaltet.

Ein großer Wandel zeigt sich beispielsweise bei den Lieferungen. KI-gestützte Drohnen verändern, wie Produkte bei uns zu Hause ankommen. Es wird erwartet, dass diese intelligenten Drohnen im nächsten Jahrzehnt etwa 808 Millionen Lieferungen übernehmen und den Himmel zur neuesten Lieferroute für den täglichen Handel machen.

Lieferdrohnen nutzen künstliche Intelligenz (AI) und Computer Vision, ein Teilgebiet der künstlichen Intelligenz, das zur Analyse visueller Daten eingesetzt wird, um zu navigieren und Hindernissen auszuweichen. Computer-Vision-Modelle wie Ultralytics YOLO11 können Drohnen dabei helfen, Objekte in Echtzeit zu erkennen und zu verfolgen, sodass sie ihre Umgebung besser verstehen und mit ihr interagieren können.

Abb. 1. Eine Lieferdrohne bringt ein Paket zu seinem Ziel.

Unternehmen wie Meituan und DJI integrieren Computer Vision bereits in ihre Drohnen. Tatsächlich hat die rasche Einführung von Drohnen in verschiedenen Branchen den Markt für KI-Drohnen auf den Weg gebracht, bis 2031 auf 206,9 Milliarden US-Dollar anzuwachsen.

In diesem Artikel sehen wir uns genauer an, wie Computer-Vision-Modelle wie Ultralytics YOLO11 in drohnenbasierten Anwendungen wie Drohnenlieferungen eingesetzt werden können. Wir führen dich durch ein Beispiel, das zeigt, wie diese Technologien entwickelt und getestet werden können, bevor sie in realen Szenarien zum Einsatz kommen.

Ultralytics YOLO11 auf Drohnen zur Erkennung von Häusern einsetzen#

Ein wichtiger Bestandteil von Lieferdrohnen ist ihre Fähigkeit, während des Flugs Häuser zu erkennen. Um diese Fähigkeit nachzubilden und ihre Funktionsweise zu verstehen, trainieren wir ein Computer-Vision-Modell, das Häuser in von einer Luftdrohne aufgenommenem Videomaterial identifizieren kann. Dafür trainieren wir Ultralytics YOLO11 individuell. Dabei wird ein vortrainiertes YOLO11-Modell feinabgestimmt, damit es anhand beschrifteter Beispiele Häuser erkennt und lokalisiert.

Dafür benötigen wir hochwertige Videodaten von einer Drohne. Interessanterweise können wir auch ohne Zugang zu einer echten Drohne realistische Luftaufnahmen erzeugen. Sehen wir uns an, wie das funktioniert.

Eine künstliche Drohnenaufnahme mit Google Earth Studio erstellen#

Google Earth Studio ist ein webbasiertes Animationstool, mit dem Nutzer statische und animierte Inhalte mithilfe der Satelliten- und 3D-Bilder von Google Earth erstellen können. Wir können es verwenden, um realistische Luftaufnahmen zu erstellen.

Der erste Schritt besteht darin, Google Earth Studio zu öffnen und ein Projekt zu erstellen, wie unten dargestellt.

Du benötigst ein Google-Konto, um dich anzumelden.

Abb. 2. Ein Projekt in Google Earth Studio erstellen.

Nach der Anmeldung kannst du einen Ort für dein künstliches Drohnenvideo auswählen. Über die Suchleiste oben links auf der Seite kannst du nach Orten suchen. Für dieses Tutorial wählen wir Kanada. Da wir außerdem ein Modell zur Erkennung von Häusern trainieren werden, sollte unser Drohnenvideo eine Luftaufnahme von Häusern zeigen.

Abb. 3. Einen Ort mit Google Earth Studio auswählen.

Als Nächstes können wir den ersten und den letzten Zeitrahmen festlegen, um die Bewegung der künstlichen Drohnenaufnahme aufzunehmen. Nachdem du den Startort für die Drohnenaufnahme ausgewählt hast, legst du mithilfe der blauen Rauten den ersten Frame fest, wie unten dargestellt.

Abb. 4. Den ersten Frame mithilfe der blauen Rauten festlegen.

Als Nächstes können wir den letzten Frame auswählen, um das Ziel der Drohne festzulegen. Dadurch können wir einen Bewegungseffekt für das Drohnenvideo erstellen. Schiebe dazu den unten hervorgehobenen Balken nach rechts auf einen bestimmten Zeitpunkt, um den Bewegungseffekt für die Drohnenaufnahme zu erzeugen. Verwende erneut die blauen Rauten, um den letzten Punkt festzulegen.

Abb. 5. Den letzten Frame durch Verschieben des Balkens festlegen.

Zum Schluss kannst du dieses Projekt speichern und rendern, indem du oben rechts auf der Seite auf die rote Schaltfläche „Render“ klickst. Dadurch erhältst du die fertige Videoausgabe der Drohnenaufnahme und erstellst erfolgreich künstliches Drohnenvideomaterial.

Abb. 6. Das fertige Ausgabevideo rendern.

Wie werden die Drohnendaten beschriftet?#

Nachdem wir künstliches Drohnenvideomaterial erstellt haben, besteht der nächste Schritt darin, die darin enthaltenen Häuser zu beschriften oder zu annotieren. Außerdem müssen wir die einzelnen Frames des Videos trennen.

Zu Beginn installieren wir LabelImg. LabelImg ist ein Open-Source-Tool zur Bildbeschriftung. Du kannst es direkt über das Terminal mit dem Paketinstallationsprogramm pip installieren, indem du den folgenden Befehl ausführst: „pip install labelImg“.

Nach der Installation kannst du das Tool über den Befehl „labelImg“ in deinem Terminal oder an der Eingabeaufforderung starten. Dadurch gelangst du zu der unten dargestellten Seite.

Abb. 7. Die Benutzeroberfläche des LabelImg-Tools.

Alternativ können wir einen Online-Konverter von Video zu Bildern oder ein Tool namens FFmpeg verwenden, um das Video in einzelne Frames aufzuteilen. FFmpeg ist eine Sammlung von Bibliotheken und Tools zur Verarbeitung von Multimedia-Inhalten wie Audio, Video, Untertiteln und zugehörigen Metadaten.

Mit dem folgenden Terminalbefehl kannst du jeden Frame des Drohnenvideos einzeln extrahieren:

ffmpeg -i input_video.mp4 frame_%04d.png

Nachdem wir die Frames des Drohnenvideos getrennt haben, können wir mit der Beschriftung der darin enthaltenen Objekte (Häuser) beginnen. Indem wir im LabelImg-Tool zum Bildordner navigieren, können wir die Objekte in jedem Bild beschriften. Achte darauf, jedes beschriftete Bild zu speichern und zu überprüfen. Nach der Annotation der Bilder können wir mit dem Training von Ultralytics YOLO11 anhand dieser Daten fortfahren.

Abb. 8. Ein Beispiel für das Speichern annotierter Bilder.

Workflow zum Training des Ultralytics YOLO11-Modells#

Bevor wir mit dem Training von Ultralytics YOLO11 beginnen, organisieren wir unsere Bilder und Beschriftungen. Erstelle zunächst zwei Ordner: einen mit dem Namen "train" und einen mit dem Namen "valid". Teile deine Bilder auf diese Ordner auf. Erstelle in jedem Ordner separate Unterordner für die Bilder und die zugehörigen Beschriftungsdateien (im Textformat), wie unten dargestellt.

Abb. 9. Ein Beispiel für das Erstellen von Bild- und Beschriftungsordnern.

Anschließend können wir das Training des Ultralytics YOLO11-Modells wie folgt starten:

• Schritt 1: Installiere das Ultralytics-Python-Paket. Führe dazu den Befehl „pip install ultralytics“ in deinem Terminal aus. Falls bei der Installation Probleme auftreten, findest du in unserem Leitfaden zur Fehlerbehebung Tipps und Tricks zu ihrer Lösung.
• Schritt 2: Erstelle nach der erfolgreichen Installation des Pakets eine Datei mit dem Namen „data.yaml“. Diese Konfigurationsdatei ist für das Training des Modells entscheidend. Füge in die Datei data.yaml die folgenden Informationen ein: den Pfad zu deinem Trainingsdatensatz, den Pfad zu deinem Validierungsdatensatz, die Anzahl der Klassen (nc) und eine Liste der Klassennamen (names), wie unten dargestellt.

Abb. 10. Ein Beispiel für eine data.yaml-Datei.

• Schritt 3: Sobald die Datei „data.yaml“ konfiguriert ist, kannst du dein Modell mit dem folgenden Python-Code trainieren. Dieser Code lädt das vortrainierte Ultralytics YOLO11-Modell und trainiert es gemäß deinen Konfigurationen.

from ultralytics import YOLO

# Load a YOLO11 model
model = YOLO("yolo11n.pt")  # choose your model, e.g., YOLO11 nano

# Train the model with your data and settings
model.train(data="data.yaml", epochs=100, imgsz=640)

• Schritt 4: Nach Abschluss des Trainings solltest du eine Ausgabe ähnlich der unten dargestellten sehen. Das bedeutet, dass du dein Ultralytics YOLO11-Modell erfolgreich für drohnenbasierte Anwendungen trainiert hast.

Abb. 11. Die nach dem Modelltraining angezeigte Ausgabe.

Vorhersagen mit Ultralytics YOLO11 auf Drohnen ausführen#

Das trainierte Ultralytics YOLO11-Modell kann jetzt über einen Prozess namens Inferenz Vorhersagen erstellen. Bei der Inferenz wird ein Modell verwendet, um neue, bisher unbekannte Daten auf Grundlage dessen zu analysieren, was es während des Trainings gelernt hat. In diesem Fall kann das Modell verwendet werden, um bestimmte Objekte wie Häuser in Bildern oder Videos zu finden und zu beschriften, indem es Begrenzungsrahmen um sie zeichnet.

Um eine Vorhersage auszuführen, kannst du das trainierte Ultralytics YOLO11-Modell mit dem folgenden Python-Code auf ein Eingabevideo anwenden. In diesem Beispiel verwenden wir dasselbe künstliche Drohnenvideo, das für das Training verwendet wurde. Du kannst aber auch eine andere Videodatei verwenden.

# Import library
from ultralytics import YOLO

# Load the YOLO model
model = YOLO("best.pt")  # Choose your custom-trained model

# Predict the results from the model
results = model.predict(source="path/to/original/video.mp4", show=True, save=True)

Nach der Ausführung dieses Codes wird die Ausgabedatei mit den Vorhersagen und Begrenzungsrahmen gespeichert.

Abb. 12. Ein Frame aus der Ausgabedatei.

Ultralytics YOLO11 auf Drohnen für verschiedene Anwendungen integrieren#

Die Erkennung von Häusern für die Lieferung von Paketen per Drohne ist nur ein Beispiel dafür, wie Computer Vision und Ultralytics YOLO11 eingesetzt werden können. Hier sind einige weitere praktische Anwendungen von Computer Vision, YOLO11 und Luftdrohnen:

• Überwachung und Sicherheit: KI-Drohnen können zur Echtzeitüberwachung großer Gebiete eingesetzt werden. Sie können Eindringlinge erkennen, verdächtige Aktivitäten verfolgen und die Sicherheit an Landesgrenzen sowie bei großen öffentlichen Veranstaltungen erhöhen.

• Katastrophenhilfe sowie Suche und Rettung: Mit Wärmebildkameras und Objekterkennung können Drohnen dabei helfen, Überlebende in Katastrophengebieten zu lokalisieren. Außerdem können sie Schäden beurteilen und Notfallbedarf liefern.

• Landwirtschaft und Präzisionslandwirtschaft: Drohnen mit integrierter Computer Vision können zur Analyse der Pflanzengesundheit und zur Erkennung von Krankheiten eingesetzt werden. So helfen sie Landwirten, die Erträge zu steigern und gleichzeitig Kosten zu senken.

• Kartierung und Geodatenanalyse: Durch die Erfassung hochauflösender 3D-Karten können KI-Drohnen die Stadtplanung und Landvermessung unterstützen. Sie liefern schnellere und genauere Geländebewertungen als herkömmliche Methoden.

Wichtige Erkenntnisse#

KI-Drohnen mit Computer Vision verändern zahlreiche Branchen – von der Paketzustellung bis zur Unterstützung bei Notfällen und in der Landwirtschaft. In diesem Leitfaden haben wir die Erstellung eines künstlichen Drohnenvideos, die Beschriftung der darin enthaltenen Objekte, das Training von Ultralytics YOLO11 und dessen Einsatz zur Erkennung von Häusern erläutert.

Die Anwendung von Objekterkennung auf Drohnenaufnahmen macht diese Drohnen intelligenter und ermöglicht es ihnen, Objekte automatisch und in Echtzeit zu erkennen und zu verfolgen. Mit zunehmender technischer Weiterentwicklung werden KI-gestützte Drohnen wahrscheinlich eine noch größere Rolle dabei spielen, Lieferungen zu beschleunigen, die Sicherheit zu verbessern und die Katastrophenhilfe zu unterstützen.

Tritt unserer Community bei und sieh dir unser GitHub-Repository an, um mehr über Vision AI zu erfahren. Informiere dich außerdem über unsere Lizenzoptionen, um deine Computer-Vision-Projekte zu starten. Interessierst du dich für Innovationen wie KI in der Fertigung oder Computer Vision in der Automobilindustrie? Besuche unsere Lösungsseiten, um mehr zu erfahren.