Leitfaden zu Datensätzen für die Drohnenerkennung: Ultralytics YOLO für kleine UAVs trainieren

Der UAV Detection and Tracking Benchmark gibt für die Drohnen im Datensatz Drone-vs-Bird eine durchschnittliche Größe von 34 x 23 Pixeln an. Stell dir eine Drohne dieser Größe in einem hypothetischen Bild mit 3840 x 2160 Pixeln vor: Bei der Verkleinerung auf die standardmäßigen 640 Pixel eines Detektors würde sie auf etwa 5,7 x 3,8 Pixel schrumpfen.

Teams zur Drohnenabwehr müssen dafür sorgen, dass das Objekt vom ausgewählten Datensatz bis zum eingesetzten Modell sichtbar bleibt. Dieser Leitfaden behandelt die vier Entscheidungen, die dabei ausschlaggebend sind: welchen Datensatz zur Drohnenerkennung du zum Trainieren verwendest, welche Bildgröße du wählst, wann du gekachelte SAHI-Inferenz hinzufügst und wie du das Modell nach Objektgröße bewertest, damit ein guter mAP-Gesamtwert nicht übersehene Drohnen in der Ferne verbirgt. Das alles erfährst du mit Ultralytics YOLO26.

Die meisten „Datensätze zur Drohnenerkennung“ beantworten die falsche Frage#

Wer nach einem Datensatz zur Drohnenerkennung sucht, meint meist eine von zwei Aufgaben:

• Drohnen erkennen (Anti-UAV oder Drohnenabwehr): Eine Boden- oder Luftkamera sucht vor dem Himmel, zwischen Bäumen oder vor Gebäuden nach kleinen Fluggeräten. Dafür brauchst du Drohnenbilder, idealerweise zusammen mit Vögeln und anderen leicht zu verwechselnden Objekten.
• Von Drohnen aus erkennen: Eine Drohnenkamera blickt auf Menschen, Autos und Gebäude hinunter. VisDrone ist der Standardbenchmark für diese Aufgabe. Der Datensatz enthält 8.629 Luftbilder mit 10 Klassen, vom Fußgänger bis zum Bus, aber keine Drohnenklasse.

VisDrone ist auch für Teams zur Drohnenabwehr nützlich, denn die Objekte sind klein und dicht gedrängt. Damit eignet sich der Datensatz gut, um Einstellungen für kleine Objekte wie Bildgröße und Kachelung zu testen, bevor deine eigenen Daten bereitstehen. Einen Überblick über Computer Vision im Drohnenbetrieb findest du in unserem Beitrag zu den Anwendungen aus der Luft. Im Rest dieses Beitrags geht es um die erste Aufgabe: Drohnen erkennen.

Wähle einen Datensatz passend zu Kamera und Blickwinkel#

Welcher öffentliche Datensatz passt, hängt davon ab, ob deine Kamera am Boden oder in der Luft angebracht ist, ob sie sichtbares Licht oder thermische Infrarotstrahlung aufnimmt und wie weit dein Objekt entfernt ist:

Die Angabe zu Drone-vs-Bird bezieht sich auf den Trainingssatz mit 77 Sequenzen, der für die Ausgabe des Wettbewerbs 2021 und die Ausgabe ICASSP 2023 bereitgestellt wurde. Die Auflösungen nennt die Übersicht SynDroneVision. Diese Übersicht behandelt auch Det-Fly und Anti-UAV; die LRDDv3-Veröffentlichung beschreibt den eigenen Datensatz. Lizenzen und Zugangsbedingungen unterscheiden sich je nach Datensatz. Prüfe sie daher vor einer kommerziellen Nutzung.

Trainiere mit mehreren Datensätzen und halte einen zum Testen zurück#

Ein Modell, das auf seinem Trainingsdatensatz gute Ergebnisse erzielt, kann bei einem anderen Datensatz trotzdem Schwierigkeiten haben. Die Autoren von LRDDv3 trainierten Ultralytics YOLO11m-Modelle mit verschiedenen Datensätzen und testeten sie jeweils mit Det-Fly. Das mit Drone-vs-Bird trainierte Modell erzielte dort einen mAP₅₀ von 0,484, das mit DUT Anti-UAV trainierte Modell einen Wert von 0,431.

Kombiniere deshalb zwei oder drei Quellen, die zu deiner Kamera und Reichweite passen, und konvertiere sie alle ins YOLO-Erkennungsformat. Weise die Klassen-IDs anschließend einheitlich neu zu, ergänze fehlende Vogelannotationen und teile die Daten nach Flug oder Video auf, bevor du Frames oder Kacheln extrahierst. Bei einer Aufteilung nach Frames können nahezu identische Frames desselben Flugs sowohl im Trainings- als auch im Testsatz landen, was die Werte künstlich erhöht. Lass einen vollständigen Datensatz oder Aufnahmen von deinem eigenen Standort beim Training außen vor und verwende ihn als Testsatz. Füge außerdem Aufnahmen nur mit Vögeln und mit leerem Himmel hinzu, damit du Fehlalarme messen kannst.

Annotiere Vögel ebenso wie Drohnen#

Vögel sind eine häufige Ursache für Fehlalarme bei der visuellen Drohnenerkennung. Drone-vs-Bird enthält Vögel als Ablenkungsobjekte, kennzeichnet sie aber nicht als eigene Klasse. Für einen Datensatz mit zwei Klassen musst du diese Boxen also ergänzen. In einer Studie zu kleinen Drohnen aus dem Jahr 2025 wurde YOLO11m mit den Klassen Drohne und Vogel trainiert; bei der Inferenz wurden die Vorhersagen für Vögel ignoriert. In diesem Versuch erkannte das Modell mit zwei Klassen Drohnen etwas besser als das Modell nur mit der Drohnenklasse.

Öffentliche Daten liefern dir eine Grundlage, mit eigenem Bildmaterial erreichst du den Produktionseinsatz. Mit der Annotation in der Ultralytics Platform kannst du Drohnen- und Vogelboxen in Frames aus deinen eigenen Kameras kennzeichnen; synthetische Daten können seltene Hintergründe und Blickwinkel ergänzen. Die Erstplatzierungslösung für den Wettbewerb AVSS 2021 Drone-vs-Bird verwendete einen mit echten und synthetischen Bildern feinabgestimmten Ultralytics YOLOv5-Detektor sowie einen Kalman-Filter-Tracker, der die Zuverlässigkeit bei blassen, weit entfernten Drohnen erhöhte.

Die Bildgröße entscheidet, ob die Drohne beim Verkleinern erhalten bleibt#

YOLO26 passt jedes Bild so an, dass seine längste Seite imgsz entspricht; standardmäßig sind das 640 Pixel. Wenn nach dem Verkleinern kaum Pixel einer Drohne übrig bleiben, hat jeder Detektor nur wenig verwertbares Bildmaterial. Eine Erhöhung von imgsz ist die erste Maßnahme. Sowohl die Trainingsdokumentation als auch der Leitfaden zur Feinabstimmung empfehlen imgsz=1280 für Datensätze mit kleinen Objekten.

Der Rechenaufwand steigt ungefähr proportional zur Pixelzahl. Bei 1280 Pixeln ist also etwa die vierfache Rechenleistung nötig wie bei 640 Pixeln. Zum Vergleich: In der YOLO26-Dokumentation werden für YOLO26n 1,7 ms und für YOLO26s 2,5 ms auf einer NVIDIA T4 angegeben, mit TensorRT 10, Batchgröße 1 und nms=False, bei 640 Pixeln auf COCO val2017. Diese Messwerte beziehen sich weder auf Drohnen noch auf 1280 Pixel. Miss daher deine eigene Konfiguration.

Eine nützliche Faustregel findet sich in der Lektion zu Latenz der Ultralytics Academy: Eine Bildgröße lohnt sich, wenn dein kleinstes wichtiges Objekt darauf noch etwa 10 Pixel groß ist. Bei begrenztem Rechenbudget solltest du ein kleineres Modell mit höherer Auflösung und ein größeres Modell mit niedrigerer Auflösung auf demselben Drohnen-Validierungssatz vergleichen. Behalte die Variante, die bei deiner angestrebten Latenz mehr kleine Drohnen erkennt.

YOLO26 berücksichtigt winzige Objekte bei der Auswahl von Kandidaten#

Selbst bei ausreichender Bildgröße muss das Modell noch aus sehr kleinen Boxen lernen. Hier hilft YOLO26 mit Small-Target-Aware Label Assignment (STAL). In den standardmäßigen YOLO26-Modellen mit P3 bis P5 aus v8.4.199 vergrößert STAL die Seiten der Boxen zur Kandidatenauswahl, die kürzer als 16 Pixel sind, auf 16 Pixel. Dabei bleiben die ursprünglichen Regressionsziele erhalten, sodass winzige Drohnen seltener ohne Kandidatenanker bleiben.

Für die kleinsten Objekte kannst du auch die Architektur ändern. YOLO26 enthält eine Variante yolo26-p2.yaml, die zusätzlich zu P3 bis P5 eine Ausgabestufe mit Stride 4 in die Merkmalspyramide einfügt. Bei einer Eingabegröße von 640 x 640 erhöht sich der Rechenaufwand von YOLO26n ohne Zusammenführung von 6,1 auf 9,5 GFLOPs. P2 wird als YAML-Architektur ohne vortrainierte P2-Gewichte bereitgestellt. Erstelle das Modell daher mit YOLO("yolo26n-p2.yaml") und trainiere es mit deinen Daten.

Die gekachelte SAHI-Inferenz bewahrt 4K-Bilder in voller Detailtiefe#

Selbst bei 1280 Pixeln verliert ein 4K-Bild zwei Drittel seiner Breite, bevor das Modell es verarbeitet. SAHI (kachelgestützte Hyper-Inferenz) lässt sich mit Ultralytics YOLO26 kombinieren, um diesen Verlust zu vermeiden. Das Verfahren teilt das Bild in überlappende Kacheln auf, führt das Modell auf jeder Kachel aus und fügt die Boxen wieder im vollständigen Bild zusammen. Eine Drohne, die sich über benachbarte Kacheln erstreckt, wird dadurch nur einmal gezählt. Die SAHI-Veröffentlichung beschreibt das Verfahren und die Variante zur Feinabstimmung mit Kacheln.

Lege Kachelgröße und Modelleingabegröße getrennt fest und prüfe anschließend die resultierende Drohnengröße in zurückgehaltenem Bildmaterial. Ein Modell, das mit vollständigen 4K-Bildern trainiert wurde, die auf 1280 Pixel verkleinert waren, hat Drohnen gelernt, die dreimal kleiner sind als in Kacheln mit nativer Auflösung von 1280 Pixeln. Wenn sich dieser Größenunterschied negativ auf die Ergebnisse auswirkt, versuche eine Feinabstimmung mit Ausschnitten aus deinen Trainingsbildern in voller Auflösung, wie in der SAHI-Veröffentlichung beschrieben. Vergleiche das Ergebnis mit dem Modell für vollständige Bilder auf demselben Testsatz. Beginne mit einer Überlappung von 20 % zwischen benachbarten Kacheln und prüfe, ob Objekte an den Kachelrändern übersehen werden.

Der Arbeitsaufwand ist vorhersehbar. Bei 1280 x 1280 Pixeln und einer Überlappung von 0,2 benötigt ein Bild mit 3840 x 2160 Pixeln vier Spalten und zwei Zeilen, also acht Vorwärtsdurchläufe statt einem, sofern du die zusätzliche SAHI-Vorhersage für das Gesamtbild deaktivierst. Das eignet sich für aufgezeichnetes Bildmaterial, die Überprüfung von Alarmen und leistungsstarke Edge-GPUs. Wenn eine Kamera jedes Bild mit voller Bildrate verarbeiten muss, teile nur den Himmelsbereich in Kacheln auf oder führe regelmäßig gekachelte Scans aus beziehungsweise löse sie durch einen anderen Sensor wie Radar aus.

Bewerte deinen Detektor nach Größe und Klasse#

Die mittlere durchschnittliche Präzision (mAP) fasst die AP-Werte der Klassen zusammen. Bei diesem Datensatz mit zwei Klassen können gute Ergebnisse für Vögel eine schwache Drohnenerkennung verdecken. Und selbst ein guter Gesamtwert für die Drohnenklasse kann eine schlechte Trefferquote bei den kleinsten Größenklassen verbergen. Werte die Ergebnisse nach Klasse und Größe aufgeschlüsselt aus, bevor du ihnen vertraust.

Die Validierung mit save_json=True berechnet für Erkennungsdatensätze die AP kleiner, mittlerer und großer Objekte mithilfe von faster-coco-eval und den Größenklassen von COCO: unter 32 x 32 Pixeln Boxfläche, bis zu 96 x 96 Pixeln und darüber. Diese Werte umfassen beide Klassen. Laut der Übersicht SynDroneVision sind die meisten annotierten Drohnen in Drone-vs-Bird kleiner als 32 x 32 Pixel. Achte daher auf die AP_small nur für Drohnen und auf die Trefferquote.

Um diese Werte zu erhalten, werte predictions.json anhand passender Annotationen der tatsächlichen Objekte aus und verwende dazu die Boxfläche in Pixeln des Originalbilds. Ultralytics schreibt Boxen in den Koordinaten des Originalbilds, verwendet den Dateinamen ohne Erweiterung als Bild-ID und nummeriert benutzerdefinierte Klassen ab 1. Hier ist also Drohne Kategorie 1 und Vogel Kategorie 2. Wandle deine Testannotationen in eine JSON-Datei im COCO-Format mit denselben Bild- und Kategorie-IDs um und beschränke die Auswertung anschließend auf catIds=[1].

Die kleine Größenklasse von COCO ist für die Erkennung über große Entfernungen grob, denn eine 12 Pixel große Drohne fällt in dieselbe Klasse wie eine 30 x 30 Pixel große Drohne. Definiere ebenso feinere Flächenbereiche, zum Beispiel unter 64 Pixeln (8 x 8), 64 bis 256 Pixel (16 x 16) und 256 bis 1.024 Pixel (32 x 32), und ermittle die AP und Trefferquote für Drohnen in jedem Bereich. Wenn deine Annotationen wie bei LRDDv3 Entfernungsangaben enthalten, gib auch die Trefferquote nach Entfernung an. Führe daneben die Präzision auf und zähle separat die Drohnenvorhersagen in Bildern nur mit Vögeln und in Aufnahmen mit leerem Himmel.

Zwei Gewohnheiten sorgen dafür, dass die Werte aussagekräftig bleiben:

• Validiere bei der Einsatzgröße. Wenn ein Modell mit 1280 Pixeln trainiert und mit 640 Pixeln validiert wird, erscheinen die Drohnen nur halb so groß wie beim Training. Die Werte sinken dann aus Gründen, die nichts mit dem Modell selbst zu tun haben.
• Interpretiere mAP_50-95 mit Bedacht. Eine Verschiebung um 2 Pixel bei einer 10 Pixel großen Box wirkt sich stark auf die IoU aus. Strenge Schwellenwerte benachteiligen daher winzige Objekte. Behalte die Trefferquote für übersehene Drohnen und AP₅₀ für korrekt klassifizierte Erkennungen mit einer IoU von mindestens 0,5 im Blick.

Trainiere, kachele und bewerte einen YOLO26-Drohnendetektor#

Mit diesen Schritten gelangst du von einem zusammengeführten Datensatz mit Drohnen und Vögeln zum Vergleich zwischen Inferenz auf vollständigen Bildern und gekachelter Inferenz mit demselben zurückgehaltenen Testsatz.

1. Installiere die Pakete mit pip install -U ultralytics sahi.

2. Erstelle eine YAML-Datei für den Datensatz mit Vögeln als zweiter Klasse und einem zurückgehaltenen Testsatz:

path: datasets/drones
train: images/train
val: images/val
test: images/test
names:
  0: drone
  1: bird

1. Trainiere mit 1280 Pixeln und vortrainierten Gewichten. Mit batch=-1 kann AutoBatch eine Batchgröße wählen, die etwa 60 % des GPU-Speichers nutzt:

from ultralytics import YOLO

model = YOLO("yolo26s.pt")
model.train(data="drones.yaml", epochs=100, imgsz=1280, batch=-1, name="drone_1280")

1. Bewerte die Basisversion mit vollständigen Bildern auf dem Testsatz bei derselben Auflösung. Dabei wird predictions.json im Ausführungsordner gespeichert:

best = YOLO("runs/detect/drone_1280/weights/best.pt")
metrics = best.val(data="drones.yaml", split="test", imgsz=1280, save_json=True)

1. Erstelle gekachelte Vorhersagen für dieselben Testbilder in den Koordinaten des Originalbilds und deaktiviere dabei den zusätzlichen Durchlauf von SAHI mit dem vollständigen Bild:

import json
from pathlib import Path

from sahi import AutoDetectionModel
from sahi.predict import get_sliced_prediction

detector = AutoDetectionModel.from_pretrained(
    model_type="ultralytics",
    model_path="runs/detect/drone_1280/weights/best.pt",
    confidence_threshold=0.001,
    image_size=1280,
    device="cuda:0",
)
preds = []
for img in sorted(Path("datasets/drones/images/test").glob("*.jpg")):
    result = get_sliced_prediction(
        str(img),
        detector,
        slice_height=1280,
        slice_width=1280,
        overlap_height_ratio=0.2,
        overlap_width_ratio=0.2,
        perform_standard_pred=False,
    )
    image_id = int(img.stem) if img.stem.isnumeric() else img.stem
    for p in result.to_coco_predictions(image_id=image_id):
        p["category_id"] += 1  # Gleiche die IDs mit den 1-basierten IDs in predictions.json ab
        preds.append(p)
Path("sahi_predictions.json").write_text(json.dumps(preds))

1. Werte beide Vorhersagedateien aus und vergleiche sie mit denselben tatsächlichen Objekten, nur für die Drohnenklasse:

from faster_coco_eval import COCO, COCOeval_faster

gt = COCO("test_coco.json")  # Deine Testannotationen im COCO-Format
for name in ["runs/detect/val/predictions.json", "sahi_predictions.json"]:
    ev = COCOeval_faster(gt, gt.loadRes(name), "bbox")
    ev.params.catIds = [1]  # drone
    ev.evaluate()
    ev.accumulate()
    ev.summarize()

Vergleiche die AP für Drohnen nach Größe, Drohnenvorhersagen in Bildern nur mit Vögeln und in Aufnahmen mit leerem Himmel sowie die durchgängige Latenz pro Bild auf der Zielhardware. Verwende die Kachelung nur dann, wenn der Gewinn bei kleinen Drohnen den zusätzlichen Rechenaufwand rechtfertigt.

1. Verfolge Objekte über mehrere Frames hinweg als separates Beispiel mit vollständigen Bildern: best.track(source="perimeter.mp4", imgsz=1280, tracker="bytetrack.yaml") verwendet den Tracking-Modus und greift nicht auf die obigen SAHI-Vorhersagen zurück. ByteTrack kann eine verlorene Spur wieder aufnehmen, wenn eine spätere Erkennung ihr entspricht, bevor die Spur abläuft.

2. Exportiere für Edge-Geräte. Exportiere das Modell für eine NVIDIA Jetson an der Kamera mit best.export(format="engine", imgsz=1280, half=True) nach TensorRT und folge der Jetson-Anleitung. Miss die Latenz auf dem Gerät bei der vorgesehenen Einsatzauflösung.

Wenn deine GPU das Training mit 1280 Pixeln nicht bewältigt, kannst du denselben Datensatz und dieselben Argumente für das Cloud-Training in der Ultralytics Platform verwenden.

Für wen eignet sich dieser Ansatz zum Erstellen eines Drohnendetektors?#

Dieser Arbeitsablauf eignet sich für Teams, die einen festen Standort wie den Umkreis eines Flughafens, ein Gefängnis, ein Stadion oder kritische Infrastruktur mit RGB- oder Wärmebildkameras überwachen. Er eignet sich auch für Systemintegratoren, die Vision zu Radar- oder RF-Sensoren in Sicherheitssystemen hinzufügen. In beiden Fällen muss die Kamera eine Drohne noch in einer Entfernung erkennen können, in der sie nur einige Dutzend Pixel groß ist.

Beginne mit DUT Anti-UAV und Drone-vs-Bird als Grundlage, ergänze Vogelannotationen und eigenes Bildmaterial und trainiere YOLO26 mit 1280 Pixeln. Bewerte jede Änderung anhand der AP_small nur für Drohnen, der Trefferquote und der Fehlalarme durch Vögel. Füge SAHI hinzu, wenn deine Bilder mindestens 4K-Auflösung haben und die gekachelte Auswertung einen Gewinn bei kleinen Drohnen zeigt. Für das größere Themengebiet findest du unseren Leitfaden zur Erkennung kleiner Objekte und die Checkliste für mAP bei kleinen Objekten.