Ultralytics YOLO26 unterstützt jetzt die monokulare Tiefenschätzung

Bisher musste man eine Tiefenkomponente selbst in eine YOLO-Pipeline integrieren. Das etablierte Vorgehen bestand darin, YOLO zur Erkennung auszuführen und mit einem separaten Tiefenmodell aus einem anderen Projekt wie MiDaS oder Depth Anything zu kombinieren. Dadurch waren eine zweite Abhängigkeit, ein zweites Framework sowie zwei Sätze von Eingabe- und Ausgabeformaten erforderlich, die aufeinander abgestimmt werden mussten.

Die monokulare Tiefenschätzung ist jetzt eine native Aufgabe in Ultralytics YOLO26. Aus einem einzelnen RGB-Bild wird für jedes Pixel ein Entfernungswert erzeugt – mit demselben Paket, Workflow und Exportpfad wie bei Erkennung, Segmentierung und Posenschätzung.

Was ist Tiefenschätzung?#

Die Tiefenschätzung sagt aus einem einzelnen RGB-Bild eine Tiefenkarte pro Pixel voraus, ohne eine zweite Kamera oder einen zusätzlichen Sensor. Jedes Ausgabepixel enthält einen Tiefenwert in Metern, der die geschätzte Entfernung von der Kamera zu diesem Punkt auf der Oberfläche angibt.

Die Ausgabe ist eine dichte Gleitkommakarte mit der Form (H, W), die am Eingabebild ausgerichtet ist. Jedes Pixel enthält eine absolute Entfernung in Metern – die Entfernung von der Kamera und nicht nur eine relative Reihenfolge dessen, was näher oder weiter entfernt ist.

Tiefe ist eine eigenständige Aufgabe mit einem eigenen Checkpoint, und ihre Ausgabe besteht ausschließlich aus der Tiefenkarte; Bounding Boxes oder Segmentierungsmasken werden nicht zurückgegeben. Die Kombination von Erkennung und Tiefenschätzung erfordert daher die Ausführung von zwei Modellen und zwei Vorwärtsdurchläufen. Der Unterschied zur bisherigen Vorgehensweise besteht darin, dass beide Aufgaben jetzt in einem einzigen Paket enthalten sind und eine Installation, eine Trainings- und Vorhersageschnittstelle, einen Exportpfad sowie eine einzige zu verwaltende Version gemeinsam nutzen, statt dass parallel zum ersten Framework ein zweites gepflegt werden muss.

Diese Ausgabe pro Pixel macht die Tiefenschätzung für die Erkennung von Hindernissen und freiem Raum, die Prüfung von Freiräumen, die Erfassung der Szenenanordnung und das Verständnis davon nützlich, was sich vor etwas anderem befindet.

Abb. 1. Tiefenschätzung mit Ultralytics YOLO26 für die Überwachung von Sicherheit und Compliance.

Ultralytics YOLO26 wird mit fünf vortrainierten Tiefenmodellen ausgeliefert, von yolo26n-depth bis yolo26x-depth. Sie wurden auf einer umfangreichen Kombination mehrerer Datensätze mit rund 2,19 Millionen Innen- und Außenaufnahmen trainiert. Auf dem Datensatz NYU Depth V2 reicht ihre δ1-Genauigkeit beim Nano-Modell von 0,882 bis 0,933 beim Extra-Large-Modell. So kannst du den für dein Einsatzziel passenden Kompromiss zwischen Geschwindigkeit und Genauigkeit wählen.

Tiefenschätzung ohne festgelegte Reichweitenbegrenzung#

Die meisten Tiefenmodelle begrenzen ihre Vorhersagen auf eine feste Reichweite, etwa 0–10 Meter. Das funktioniert in Innenräumen gut, versagt aber im Außenbereich. Ultralytics sagt die Tiefe stattdessen auf einer offenen logarithmischen Skala ohne harte Obergrenze voraus.

Der Unterschied zeigt sich in den Tests. Ein begrenztes Modell erreicht beim Training mit gemischten Innen- und Außendaten fast sofort ein Plateau und versagt bei Datensätzen mit größerer Reichweite wie KITTI, bei denen Objekte 80 Meter entfernt sein können. Der Ansatz von Ultralytics YOLO26 hat keine solche Obergrenze, verbessert sich daher mit zusätzlichen Daten weiter und funktioniert von wenigen Zentimetern bis zu mehreren hundert Metern. Auf KITTI erreicht δ1 bei einer Reichweite von 80 m den Wert 0,942. Das bedeutet, dass eine Modellfamilie eine Tischszene und eine Autobahnszene gleichermaßen gut verarbeitet.

Vergleich der Tiefenschätzung von Ultralytics YOLO26 und Depth Anything V2#

Wenn du heute Depth Anything zusammen mit YOLO ausführst, liegt der Unterschied in der Geschwindigkeit und im damit verbundenen Rechenaufwand. Die Tiefenschätzung mit Ultralytics YOLO26 ist bis zu 20,3-mal schneller als Depth Anything V2 Base und 7,7-mal schneller als Depth Anything V2 Small – und das mit einem deutlich kleineren Modell: Das Nano-Modell hat weniger als 10 Millionen Parameter, während der kleinere Checkpoint von DA V2 rund 24 Millionen Parameter umfasst.

Abb. 2. Geschwindigkeitsvergleiche der Tiefenschätzung mit Ultralytics YOLO26 und Depth Anything V2.

Genau darin liegt der Zweck dieses Designs. Die Modelle von Depth Anything V2 sind deutlich größer; Ultralytics YOLO26-Depth wurde für eine hohe Tiefenleistung bei einer Größe und Geschwindigkeit entwickelt, die pro Bild weniger Rechenleistung benötigt und auf Hardware eingesetzt werden kann, die diese Modelle nicht unterstützt. Die Genauigkeitswerte der einzelnen Modelle für NYU Depth V2 und KITTI sind in der Dokumentation veröffentlicht, sodass du sie mit deinen tatsächlichen Anforderungen abgleichen kannst.

Wo es eingesetzt werden kann#

Dieser Größenunterschied bestimmt, wo Tiefenschätzung tatsächlich eingesetzt werden kann. Den meisten Teams, die Tiefenschätzung evaluieren, fehlen nicht die Ideen, sondern die Rechenressourcen. Drohnen mit geringem Energieverbrauch, vierbeinige Roboter, tragbare Geräte, Dashcams, Konferenzhardware und Industrie-PCs stoßen bei Energieverbrauch und Kosten an Grenzen, bevor die Genauigkeit zum begrenzenden Faktor wird.

Die Tiefenschätzung wird mit fünf vortrainierten Modellen ausgeliefert. Du kannst daher die Größe wählen, die zu deinem Zielgerät passt, statt die Größe, die einen Benchmark gewinnt. Da die Tiefenschätzung eine native Aufgabe von Ultralytics YOLO26 ist, verwendet sie für Erkennung, Segmentierung und Posenschätzung denselben Exportpfad mit den folgenden Formaten: ONNX, TensorRT, CoreML, NCNN, LiteRT.

Erste Schritte mit der Tiefenschätzung von Ultralytics YOLO26#

Das Ultralytics-Python-Paket bietet eine einheitliche Schnittstelle zum Trainieren, Validieren und Ausführen von Inferenz für alle YOLO26-Aufgaben, einschließlich der Tiefenschätzung. Die Ausführung eines vortrainierten Tiefenmodells erfordert nur einen einzigen Befehl:

from ultralytics import YOLO

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-depth.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    depth_map = result.depth.data.cpu().numpy()  # torch.Tensor → NumPy float32, shape (H, W), meters

Oder über die CLI:

yolo depth predict model=yolo26n-depth.pt source='https://ultralytics.com/images/bus.jpg'  # predict with official model
yolo depth predict model=path/to/best.pt source='https://ultralytics.com/images/bus.jpg'   # predict with custom model

Die absolute Entfernung hängt von deiner Kamera und deiner Szene ab. Wenn die Form der Tiefenkarte stimmt, aber der Maßstab abweicht, passt model.calibrate() zwei Variablen im Tiefenkopf des Modells an – einen Maßstab und einen Offset. Dies geschieht anhand von etwa 100 beschrifteten Bildern innerhalb weniger Sekunden, ohne Training und ohne Änderungen am restlichen Netzwerk.

Feinabstimmung mit deinen eigenen Daten#

Um ein vortrainiertes Tiefenmodell an deine eigene Kamera oder Domäne anzupassen, gehst du von den vortrainierten Gewichten aus, verwendest AdamW und senkst die Lernrate deutlich unter den Standardwert für ein Training von Grund auf. So verfeinert die Feinabstimmung das Modell, statt es zu überschreiben:

from ultralytics import YOLO

from ultralytics import YOLO
model = YOLO("yolo26s-depth.pt")  # start from pretrained weights
model.train(
    data="path/to/your_dataset.yaml",
    epochs=20,
    imgsz=640,
    optimizer="AdamW",
    lr0=1e-4,  # ~100x below the from-scratch default
    warmup_bias_lr=1e-4,  # keep warmup gentle too
)

Da der standardmäßige logarithmische Kopf unbegrenzt ist, funktioniert dies ohne weitere Anpassungen sowohl bei Datensätzen mit kurzer als auch mit großer Reichweite. Eine Abstimmung über max_depth ist nicht erforderlich. Wenn nur der absolute Maßstab für deine spezifische Kamera abweicht, passt model.calibrate() in wenigen Sekunden eine leichtgewichtige Korrektur in geschlossener Form an einer kleinen beschrifteten Teilmenge an, ohne die Netzwerkgewichte zu verändern.

Zu jedem RGB-Bild gehört eine .npy-Tiefendatei in einer passenden Ordnerstruktur. Ultralytics liefert integrierte Konfigurationen für NYU Depth V2, KITTI, Hypersim, SUN RGB-D und ARKitScenes, sodass die meisten Teams sofort mit der Validierung anhand eines Standardbenchmarks beginnen können.

Wichtige Anwendungsfälle für die Tiefenschätzung#

Da diese neue Funktion mit einer einzigen gewöhnlichen Kamera arbeiten kann, eröffnet die monokulare Tiefenschätzung zahlreiche Möglichkeiten für Produkte und Branchen, die die Kosten, den Energieverbrauch oder den Kalibrierungsaufwand eines Stereo- oder LiDAR-Systems sonst nicht rechtfertigen könnten. Sehen wir uns daher einige wichtige Branchen und Anwendungsfälle an, die von dieser Funktion profitieren können:

• Robotik und autonome Navigation. Mobile Roboter und Drohnen können mit einer einzigen integrierten Kamera die Entfernung zu Hindernissen und den freien Raum schätzen und so die Pfadplanung in Echtzeit ohne spezielle Tiefenhardware unterstützen.
• Überwachung in Industrie und Logistik. Prüfung von Freiräumen, Erkennung freien Raums sowie Erfassung des Kontexts von Regalen oder Gängen mit einer einzigen fest installierten Kamera – überall dort, wo das Hinzufügen eines zweiten Sensors nicht praktikabel ist.
• Überwachung von Sicherheit und Compliance. Sicherheitszonen für Gabelstapler und Lager, Erkennung von Vorfällen im Schienenverkehr sowie Erkennung gestürzter Personen und zurückgelassener Objekte mit vorhandenen CCTV-Kameras: Entfernungsinformationen werden bereits installierten Kamerabildern hinzugefügt und ergänzen vorhandene sicherheitszertifizierte Sensoren, anstatt sie zu ersetzen.
• Inspektion von Infrastruktur und Anlagen. Analyse von Freiräumen an Freileitungen, drohnenbasierte Inspektion von Anlagen und Korrosion sowie Luftvermessungen, bei denen dieselbe Modellfamilie sowohl Nahaufnahmen als auch Szenen mit großer Reichweite verarbeiten muss.
• Fahrerassistenz und automobile Wahrnehmung. Die Tiefenausgabe ohne Reichweitenbegrenzung über große Distanzen bedeutet, dass sich dieselbe Modellfamilie, die eine Innenraumszene aus nächster Nähe verarbeitet, auch auf Fahrszenen mit Entfernungen von über 80 m verallgemeinern lässt.
• AR und räumliche Inhalte. Virtuelle Objekte glaubwürdig in einer realen Szene zu platzieren oder tiefenabhängige Effekte anzuwenden, beginnt mit dem Wissen, wie weit jedes Pixel tatsächlich von der Kamera entfernt ist.

Tiefenschätzung für jeden Einsatz von Ultralytics YOLO26#

Da die Tiefenschätzung jetzt eine native Aufgabe von Ultralytics YOLO26 ist, können Teams pixelgenaue Entfernungen von jeder RGB-Kamera branchenübergreifend nutzen – mit demselben Trainings-, Validierungs-, Vorhersage- und Export-Workflow, den sie bereits aus Erkennung, Segmentierung und Posenschätzung kennen, und mit einer Abhängigkeit eines Drittanbieters weniger, die gepflegt werden muss.

Wenn du deinen Einsatz von Ultralytics YOLO26 Depth planst, solltest du einige wichtige Punkte beachten:

• Ultralytics YOLO Depth ist für RGB-Kameras ausgelegt. Jede Standardkamera funktioniert, darunter Webcams, Smartphones, Industriekameras und Drohnenkameras. Andere Modalitäten wie LiDAR-Punktwolken, Radar, Sonar, Wärme- und multispektrale Bänder sowie Mesh- und IFC-Daten liegen jedoch außerhalb des Eingabeformats des Modells.
• Metrische Entfernungen für Wahrnehmungsentscheidungen. Die Ausgabe ist eine tatsächliche Entfernung in Metern und eignet sich daher gut für Navigation, Freiraumprüfung und Überwachung. Für Anwendungen, bei denen eine zertifizierte Toleranz erforderlich ist, bleibt spezielle Messtechnik jedoch das geeignete Instrument.
• Inferenz pro Bild. Die Tiefenschätzung wird für jedes Bild unabhängig ausgeführt, wie bei jeder anderen Aufgabe von Ultralytics YOLO26. Dadurch lässt sie sich ohne Änderungen in eine bestehende Pipeline pro Bild integrieren. Die Verarbeitung von Zusammenhängen über eine Sequenz hinweg bleibt der Anwendungsebene überlassen.
• Ultralytics YOLO26-Depth ist bei strukturierten, undurchsichtigen Oberflächen am leistungsfähigsten. Glas, Spiegel, stehendes Wasser, poliertes Metall und der offene Himmel sind für jedes Verfahren mit nur einer Kamera grundsätzlich mehrdeutig. Daher solltest du das Modell mit für deine Umgebung repräsentativen Szenen validieren.

Interessierst du dich für visuelle KI? Entdecke unsere Lizenzoptionen, um Computer Vision in deine Projekte zu integrieren. Besuche unser GitHub-Repository, um das gesamte Spektrum der Aufgaben und Integrationen von Ultralytics kennenzulernen, und sieh dir die Ultralytics Platform an, um deine eigenen durchgängigen Workflows für visuelle KI zu entwickeln.