Entwickle KI-gestützte Drohnenanwendungen mit Ultralytics YOLO11

Einkaufen im Geschäft und Online-Shopping mögen ähnlich erscheinen, basieren aber auf unterschiedlicher Logistik. Geschäfte müssen ihre Regale auffüllen, während Online-Bestellungen von der Zustellung an die Haustür abhängen. Dank technologischer Fortschritte verändern sich beide Einkaufserlebnisse parallel.

Beispielsweise findet bei Auslieferungen ein großer Wandel statt. KI-gestützte Drohnen verändern die Art und Weise, wie Produkte an unseren Türen ankommen. Es wird erwartet, dass diese intelligenten Drohnen im nächsten Jahrzehnt rund 808 Millionen Lieferungen abwickeln und den Luftraum zur neuesten Lieferroute für den alltäglichen Handel machen.

Lieferdrohnen nutzen Künstliche Intelligenz (KI) und computer vision, ein Teilgebiet der KI, das zur Analyse visueller Daten verwendet wird, um zu navigieren und Hindernissen auszuweichen. Computer-Vision-Modelle wie Ultralytics YOLO11 können Drohnen dabei helfen, Objekte in Echtzeit zu erkennen und zu verfolgen, sodass sie ihre Umgebung besser verstehen und mit ihr interagieren können.

Abb. 1. Eine Lieferdrohne bringt ein Paket an ihr Ziel.

Unternehmen wie Meituan und DJI integrieren bereits Computer Vision in ihre Drohnen. Tatsächlich hat die rasante Einführung von Drohnen in verschiedenen Branchen dafür gesorgt, dass der KI-Drohnenmarkt bis 2031 voraussichtlich auf 206,9 Milliarden US-Dollar anwachsen wird.

In diesem Artikel schauen wir uns genauer an, wie Computer-Vision-Modelle wie Ultralytics YOLO11 in drohnenbasierten Anwendungen wie Drohnenlieferungen eingesetzt werden können. Wir gehen ein Beispiel durch, das zeigt, wie diese Technologien entwickelt und getestet werden können, bevor sie in realen Szenarien zum Einsatz kommen.

Verwendung von Ultralytics YOLO11 auf Drohnen zur Erkennung von Häusern#

Ein Kernbestandteil von Lieferdrohnen ist ihre Fähigkeit, Häuser während der Navigation zu erkennen. Um diese Fähigkeit nachzubilden und zu verstehen, wie sie funktioniert, trainieren wir ein Computer-Vision-Modell, das Häuser in Aufnahmen einer Drohne identifizieren kann. Dafür trainieren wir Ultralytics YOLO11 individuell, was das Fine-Tuning eines vortrainierten YOLO11-Modells umfasst, um Häuser anhand markierter Beispiele zu erkennen und zu orten.

Dafür benötigen wir hochwertiges Videomaterial von einer Drohne. Interessanterweise können wir auch ohne Zugriff auf eine echte Drohne realistische Luftaufnahmen generieren. Sehen wir uns an, wie.

Erstellen einer künstlichen Drohnenaufnahme mit Google Earth Studio#

Google Earth Studio ist ein webbasiertes Animationstool, mit dem Nutzer mithilfe von Satelliten- und 3D-Bildern von Google Earth Stand- und Animationsinhalte erstellen können. Wir können es verwenden, um realistische Luftaufnahmen zu erstellen.

Der erste Schritt besteht darin, Google Earth Studio zu öffnen und ein Projekt zu erstellen, wie unten gezeigt.

Du benötigst ein Google-Konto, um dich anzumelden.

Fig 2. Erstellen eines Projekts in Google Earth Studio.

Sobald du dich angemeldet hast, kannst du einen Standort für dein künstliches Drohnenvideo auswählen. Über die Suchleiste in der oberen linken Ecke der Seite kannst du nach Standorten suchen. Für dieses Tutorial wählen wir Kanada. Da wir zudem ein Modell trainieren, um Häuser zu erkennen, sollte unser Drohnenvideo eine Luftansicht von Häusern enthalten.

Fig 3. Auswahl eines Standorts in Google Earth Studio.

Als Nächstes können wir den ersten und letzten Zeitrahmen festlegen, um die Bewegung der künstlichen Drohnenaufnahme zu erfassen. Sobald du den Startpunkt für die Drohnenaufnahme gewählt hast, lege den ersten Frame mit den blauen Rauten fest, wie unten gezeigt.

Fig 4. Festlegen des ersten Frames mit den blauen Rauten.

Als Nächstes können wir den letzten Frame wählen, um das Ziel der Drohne zu bestimmen. Dies hilft uns dabei, einen Bewegungseffekt für die Drohnenaufnahme zu erzielen. Schiebe dazu den Balken (unten hervorgehoben) nach rechts an einen bestimmten Zeitpunkt, um den Bewegungseffekt für die Drohnenaufnahme zu erzeugen. Verwende erneut die blauen Rauten, um den letzten Punkt festzulegen.

Fig 5. Festlegen des letzten Frames durch Verschieben des Balkens.

Schließlich kannst du dieses Projekt speichern und rendern, indem du auf die rote Schaltfläche „Render“ in der oberen rechten Ecke der Seite klickst. Dies liefert dir das finale Video der Drohnenaufnahme und erstellt so erfolgreich künstliches Drohnenvideomaterial.

Fig 6. Rendern des finalen Ausgabevideos.

Wie lassen sich die Drohnendaten labeln?#

Nun, da wir künstliches Drohnenvideomaterial erstellt haben, besteht der nächste Schritt darin, die Häuser darin zu beschriften oder zu annotieren. Außerdem müssen wir die einzelnen Frames des Videos trennen.

Um damit zu beginnen, installieren wir LabelImg. LabelImg ist ein Open-Source-Tool zur Bildmarkierung. Du kannst es direkt über das Terminal mit dem pip-Paketinstaller installieren, indem du den folgenden Befehl ausführst: „pip install labelImg“.

Nach der Installation kannst du das Tool über den Befehl ‚labelImg‘ in deinem Terminal oder deiner Eingabeaufforderung starten. Dies führt dich zur unten gezeigten Seite.

Fig 7. Die Benutzeroberfläche des LabelImg-Tools.

In der Zwischenzeit können wir entweder einen Online-Video-zu-Bild-Konverter oder ein Tool namens FFmpeg verwenden, um das Video in Frames aufzuteilen. FFmpeg ist eine Sammlung von Bibliotheken und Tools zur Verarbeitung von Multimedia-Inhalten wie Audio, Video, Untertiteln und zugehörigen Metadaten.

Du kannst den folgenden Terminalbefehl verwenden, um jeden Frame des Drohnen-Videomaterials zu trennen:

ffmpeg -i input_video.mp4 frame_%04d.png

Sobald wir die Frames des Drohnenmaterials extrahiert haben, können wir mit dem Labeln der Objekte (Häuser) darin beginnen. Durch das Navigieren zum Bildordner über das LabelImg-Tool können wir die Objekte in jedem Bild kennzeichnen. Stelle sicher, dass du jedes gelabelte Bild speicherst und überprüfst. Nach dem Annotieren der Bilder können wir nun mit diesen Daten zum Training von Ultralytics YOLO11 übergehen.

Fig 8. Ein Beispiel für das Speichern annotierter Bilder.

Modell-Trainings-Workflow für Ultralytics YOLO11#

Bevor wir mit dem Training von Ultralytics YOLO11 beginnen, organisieren wir unsere Bilder und Labels. Erstelle zunächst zwei Ordner: einen namens "train" und den anderen "valid". Teile deine Bilder zwischen diesen Ordnern auf. Erstelle in jedem davon separate Unterordner für die Bilder und die dazugehörigen Label-Dateien (Textformat), wie unten gezeigt.

Fig 9. Ein Beispiel für das Erstellen von Bild- und Label-Ordnern.

En dan können wir mit dem Training des Ultralytics YOLO11-Modells wie folgt beginnen:

• Schritt 1: Installiere das Ultralytics Python-Paket. Du kannst dies tun, indem du den Befehl „pip install ultralytics“ in deinem Terminal ausführst. Wenn du auf Installationsprobleme stößt, sieh dir unseren Leitfaden zur Fehlerbehebung an, um Tipps und Tricks zu erhalten, die dir bei der Lösung helfen.
• Schritt 2: Erstelle nach der erfolgreichen Installation des Pakets eine Datei mit dem Namen ‚data.yaml‘. Dies ist eine Konfigurationsdatei, die für das Training des Modells entscheidend ist. Füge in der data.yaml-Datei die folgenden Informationen ein: den Pfad zu deinem Trainingsdatensatz, den Pfad zu deinem Validierungsdatensatz, die Anzahl der Klassen (nc) und eine Liste der Klassennamen (names), wie unten dargestellt.

Fig 10. Ein Beispiel für eine data.yaml-Datei.

• Step 3: Sobald die Datei ‚data.yaml‘ konfiguriert ist, kannst du dein Modell mit dem folgenden Python-Code trainieren. Dieser Code lädt das vortrainierte Ultralytics YOLO11-Modell und trainiert es gemäß deinen Konfigurationen.

from ultralytics import YOLO

# Load a Ultralytics YOLO11 model
model = YOLO("yolo11n.pt")  # choose your model, e.g., YOLO11 nano

# Train the model with your data and settings
model.train(data="data.yaml", epochs=100, imgsz=640)

• Step 4: Nach Abschluss des Trainings solltest du eine Ausgabe ähnlich der unten gezeigten sehen. Das bedeutet, dass du dein Ultralytics YOLO11-Modell erfolgreich für drohnenbasierte Anwendungen trainiert hast.

Fig 11. Die nach dem Modelltraining angezeigte Ausgabe.

Durchführen von Vorhersagen mit Ultralytics YOLO11 auf Drohnen#

Das trainierte Ultralytics YOLO11-Modell kann nun verwendet werden, um Vorhersagen durch einen Prozess namens inferencing zu treffen. Bei der Inferenz wird ein Modell verwendet, um neue, ungesehene Daten auf der Grundlage dessen zu analysieren, was es während des Trainings gelernt hat. In diesem Fall kann das Modell verwendet werden, um bestimmte Objekte wie Häuser in Bildern oder Videos zu finden und zu kennzeichnen, indem Begrenzungsrahmen darum gezeichnet werden.

Um eine Vorhersage auszuführen, kannst du das trainierte Ultralytics YOLO11-Modell mit dem folgenden Python-Code auf ein Eingabevideo anwenden. In diesem Beispiel verwenden wir dasselbe künstliche Drohnenvideo, das auch für das Training verwendet wurde, aber du kannst stattdessen auch jede andere Videodatei verwenden.

# Import library
from ultralytics import YOLO

# Load the YOLO model
model = YOLO("best.pt")  # Choose your custom-trained model

# Predict the results from the model
results = model.predict(source="path/to/original/video.mp4", show=True, save=True)

Nach dem Ausführen dieses Codes wird die Video-Ausgabedatei mit den Vorhersagen und Bounding Boxes gespeichert.

Fig 12. Ein Frame aus der Video-Ausgabedatei.

Integration von Ultralytics YOLO11 auf Drohnen für verschiedene Anwendungen#

Das Erkennen von Häusern für Drohnenlieferungen ist nur ein Beispiel dafür, wie Computer Vision und Ultralytics YOLO11 angewendet werden können. Hier sind einige weitere reale Anwendungsbereiche von Computer Vision, YOLO11 und Luftdrohnen:

• Überwachung und Sicherheit: KI-Drohnen können verwendet werden, um große Bereiche in Echtzeit zu überwachen. Sie können Eindringlinge erkennen, verdächtige Aktivitäten verfolgen und die Sicherheit an Landesgrenzen sowie bei großen öffentlichen Veranstaltungen verbessern.

• Katastrophenhilfe sowie Suche und Rettung: Ausgestattet mit Wärmebildkameras und Objekterkennung können Drohnen dabei helfen, Überlebende in Katastrophengebieten zu finden. Sie können auch Schäden beurteilen und Notfallversorgung liefern.

• Landwirtschaft und Präzisionsfarming: Drohnen, die mit Computer Vision integriert sind, können zur Analyse der Pflanzengesundheit und zur Erkennung von Krankheiten eingesetzt werden, was Landwirten hilft, Erträge zu steigern und gleichzeitig Kosten zu senken.

• Kartierung und Geodatenanalyse: Durch das Sammeln hochauflösender 3D-Karten können KI-Drohnen bei der Stadtplanung und bei Landvermessungen helfen. Sie bieten schnellere und genauere Geländebewertungen als herkömmliche Methoden.

Wichtige Erkenntnisse#

KI-Drohnen mit Computer Vision verändern viele Branchen, von der Paketlieferung bis hin zur Hilfe bei Notfällen und in der Landwirtschaft. In diesem Leitfaden haben wir die Erstellung eines künstlichen Drohnenvideos, das Kennzeichnen von Objekten darin, das Training von Ultralytics YOLO11 und dessen Verwendung zur Erkennung von Häusern durchgegangen.

Die Anwendung der Objekterkennung auf Drohnenmaterial macht diese Drohnen intelligenter und ermöglicht es ihnen, Objekte automatisch in Echtzeit zu erkennen und zu verfolgen. Mit der technologischen Verbesserung werden KI-gesteuerte Drohnen wahrscheinlich eine noch größere Rolle dabei spielen, Lieferungen zu beschleunigen, die Sicherheit zu verbessern und bei der Katastrophenhilfe zu helfen.

Trete unserer Community bei und erkunde unser GitHub-Repository, um mehr über Vision-KI zu erfahren, und schaue dir unsere Lizenzierungsoptionen an, um deine Computer-Vision-Projekte zu starten. Interessierst du dich für Innovationen wie KI in der Fertigung oder Computer Vision in der Automobilindustrie? Besuche unsere Lösungsseiten, um mehr zu entdecken.