Was ist YOLOE? Computer-Vision-Modelle weiterentwickeln

Objekterkennung ist eine wichtige Aufgabe der Computer Vision, bei der es darum geht, Objekte in Bildern oder Videos zu identifizieren und zu lokalisieren. Sie ist ein zentraler Bestandteil von Computer Vision, einem Bereich der künstlichen Intelligenz (AI), der es Maschinen ermöglicht, visuelle Daten zu verstehen und zu interpretieren. So kann die Objekterkennung beispielsweise ein Auto auf einem Bild erkennen oder eine Person in einem Videostream entdecken.

Eine der bekanntesten Modellfamilien zur Unterstützung von Computervisionsaufgaben wie der Objekterkennung ist die Modellreihe YOLO (Du schaust nur einmal). YOLO-Modelle wurden auf Geschwindigkeit und Genauigkeit ausgelegt und kontinuierlich weiterentwickelt. Ultralytics YOLO11 (inzwischen von Ultralytics YOLO26 abgelöst) erzielt beispielsweise auch in realen Situationen gute Ergebnisse und liefert selbst in komplexeren Umgebungen genaue Resultate.

Um diese Entwicklung weiter voranzutreiben, soll ein neues Modell namens YOLOE die Fähigkeiten von YOLO-Modellen erweitern. Im Gegensatz zu herkömmlichen Modellen, die neu trainiert werden müssen, um neue Objekte zu erkennen, kann YOLOE einfache Text- oder Bildvorgaben nutzen, um Objekte zu erkennen, die es zuvor noch nicht gesehen hat. Dadurch lässt es sich viel besser an wechselnde Umgebungen anpassen.

In diesem Artikel sehen wir uns genauer an, was YOLOE einzigartig macht, wie es sich im Vergleich zu früheren YOLO-Modellen schlägt und wie du es noch heute einsetzen kannst.

Überblick über YOLOE#

YOLOE ist ein Computer-Vision-Modell, das die Objekterkennung einen Schritt weiterbringt. Es wurde im März 2025 von Forschenden der Tsinghua-Universität vorgestellt. YOLOE unterscheidet sich von herkömmlichen Modellen durch den Einsatz von Erkennung mit offenem Vokabular.

Während die meisten Modelle darauf trainiert werden, eine festgelegte Liste von Objekten zu erkennen, kannst du bei YOLOE mithilfe einer kurzen Beschreibung oder eines Beispielbilds festlegen, wonach gesucht werden soll. Suchst du beispielsweise nach einem „grünen Rucksack“, kannst du entweder die Beschreibung eingeben oder dem Modell ein Foto zeigen. YOLOE findet den Rucksack dann in der Szene.

Darüber hinaus kann YOLOE auch ohne Vorgabe viele alltägliche Objekte selbstständig erkennen. Die Fähigkeit, Objekte zu erkennen, die es zuvor noch nicht gesehen hat, wird als Zero-Shot-Erkennung bezeichnet. Sie ist besonders nützlich in dynamischen Umgebungen, in denen sich die Aufgabe oder die interessierenden Objekte unerwartet ändern können.

Abb. 1 Ein Einblick in die Fähigkeiten von YOLOE.

Wichtige Funktionen von YOLOE#

YOLOE bietet zahlreiche Funktionen, die seine Leistung in realen Anwendungen verbessern sollen. Da YOLOE sowohl strukturierte als auch unstrukturierte Eingaben verarbeiten kann, eröffnet es neue Möglichkeiten für die Objekterkennung und Segmentierung.

Hier sind einige der wichtigsten Funktionen des Modells:

• Erkennung anhand von Vorgaben: YOLOE kann anhand einer kurzen Textvorgabe oder eines Beispielbilds nach Objekten suchen. Du musst das Modell also nicht bei jeder Änderung deiner Aufgabe neu trainieren. Beschreibe einfach, wonach du suchst, oder zeige es dem Modell.
• Instanzsegmentierung: Zusätzlich dazu, dass YOLOE Begrenzungsrahmen um Objekte zeichnet, kann es mithilfe der Instanzsegmentierung auch deren exakte Form umranden. Das ist besonders hilfreich, wenn sich Objekte überlappen oder du die genauen Grenzen eines Objekts kennen musst.
• Objekterkennung ohne Vorgabe: YOLOE kann Objekte auch ohne konkrete Anweisungen erkennen. Es nutzt eine Reihe zuvor erlernter Beschreibungen, um Objekte schnell zu identifizieren, und macht den Prozess dadurch schneller und effizienter.

YOLOE im Vergleich zu anderen YOLO-Modellen#

Nachdem wir nun besser verstehen, was YOLOE ist, sehen wir uns einige ähnliche Modelle aus der YOLO-Familie an.

Mit den Fortschritten bei Computer Vision haben sich auch die YOLO-Modelle weiterentwickelt. So unterstützte Ultralytics YOLOv8 beispielsweise neue Aufgaben wie Segmentierung und Klassifizierung, während spätere Versionen wie Ultralytics YOLO11 auf höhere Genauigkeit und Leistung bei einem breiteren Aufgabenspektrum abzielten.

Außerdem wurde YOLO-World im Januar 2024 veröffentlicht und führte die Möglichkeit ein, Textvorgaben zu verwenden, mit denen Nutzer die gesuchten Objekte beschreiben können. YOLO-World eignete sich zwar gut für die Zero-Shot-Erkennung, bot aber keine Funktionen wie Instanzsegmentierung oder Unterstützung für visuelle Vorgaben.

YOLOE baut auf YOLO-World auf und ergänzt diese Fähigkeiten. Dadurch werden Flexibilität und Leistung verbessert und ein wirkungsvolleres Werkzeug für praktische Computer-Vision-Anwendungen geboten. Wie sich Detektoren mit offenem Vokabular und Vision-Language-Modelle bei realen Datensätzen zur Objekterkennung schlagen, erfährst du in der Ultralytics-VLM-Bestenliste.

Abb. 2 YOLO-World und YOLOE unterstützen beide die Zero-Shot-Erkennung.

YOLOE mit dem Ultralytics-Python-Paket verwenden#

Ob du gezielt nach bestimmten Objekten suchen oder alles in einem Bild untersuchen möchtest – der Einstieg in YOLOE ist einfach. Das Modell wird vom Ultralytics-Python-Paket unterstützt und lässt sich leicht in deine Projekte integrieren. Als Nächstes zeigen wir dir, wie du es verwendest.

Das Ultralytics-Paket installieren#

Der erste Schritt besteht darin, das Ultralytics-Python-Paket mithilfe eines Paketmanagers wie pip zu installieren. Führe dazu pip install ultralytics in deinem Terminal oder deiner Eingabeaufforderung aus.

Nach der Installation des Pakets hast du alles, was du zum Laden des Modells, Erstellen von Vorhersagen und Ausprobieren verschiedener Erkennungsmodi benötigst. Falls bei der Installation Probleme auftreten, findest du in der offiziellen Ultralytics-Dokumentation einen hilfreichen Abschnitt zur Fehlerbehebung.

Es gibt verschiedene Möglichkeiten, mit YOLOE Vorhersagen auszuführen. Dabei wird das trainierte Modell verwendet, um Objekte in Bildern oder Videos zu identifizieren und zu lokalisieren. Mit diesen Methoden kannst du die Interaktion mit dem Modell an deine jeweiligen Anforderungen anpassen.

Sehen wir uns diese Methoden nacheinander an.

Bestimmte Objekte mit Text- oder Bildvorgaben erkennen#

YOLOE kann Objekte anhand einer kurzen Textbeschreibung erkennen. Wenn du beispielsweise ein Pferd in Bewegung suchst, kannst du eine Vorgabe wie „Pferd läuft“ verwenden.

Lade zunächst das vortrainierte YOLOE-Modell und lege deine Vorgabe fest – also die Beschreibung dessen, wonach das Modell suchen soll –, wie im folgenden Codeausschnitt gezeigt.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg.pt")
prompt = ["horse walking"]
model.set_classes(prompt, model.get_text_pe(prompt))

Sobald du das Modell und die Vorgabe festgelegt hast, kannst du das Modell auf ein Bild oder Video anwenden. Ersetze den Dateipfad im Code durch den Pfad zu deiner Bild- oder Videodatei:

results = model.predict("path/to/your/image.jpg")
results[0].show()

Das Bild wird dann mit dem anhand deiner Vorgabe erkannten Objekt deutlich markiert angezeigt. Du kannst die Vorgabe ändern, um nach anderen Objekten wie „roter Koffer“, „Fahrrad“ oder „Zebra“ zu suchen.

Abb. 3. Beispiel für die Erkennung bestimmter Objekte mit YOLOE anhand einer Textvorgabe.

Mit dem Ultralytics-Python-Paket kannst du YOLOE auch mithilfe eines Bildes eine Vorgabe geben. Im Modus für visuelle Vorgaben nutzt das Modell das Bild, um in einer anderen Szene ähnlich aussehende Elemente zu finden. Das ist besonders nützlich für Objekte, die sich nur schwer beschreiben lassen oder keine eindeutigen Bezeichnungen haben.

Weitere Einzelheiten zum Code findest du in der Ultralytics-Dokumentation.

Allgemeine Objekterkennung mit YOLOE#

Manchmal weißt du vielleicht nicht genau, wonach du suchen sollst, oder suchst nicht nach einem bestimmten Objekt. In solchen Fällen ist der Modus ohne Vorgaben hilfreich.

Bei dieser Option musst du weder eine Beschreibung eingeben noch ein Beispielbild bereitstellen. YOLOE analysiert Bilder selbstständig und erkennt alles, was es identifizieren kann, etwa Menschen, Tiere, Möbel oder Alltagsgegenstände.

So kannst du eine Szene untersuchen, ohne dem Modell bestimmte Anweisungen zu geben. Ob du einen überfüllten Raum durchsuchst oder Aufnahmen mit viel Aktivität überprüfst – der Modus ohne Vorgaben verschafft dir schnell einen Überblick über die Inhalte eines Bildes.

Mit dem folgenden Code kannst du YOLOE im Modus ohne Vorgaben ausführen. Zunächst wird das Modell geladen, dann verarbeitet es das Bild und erkennt die darin enthaltenen Objekte automatisch. Zum Schluss werden die Ergebnisse angezeigt und die erkannten Objekte hervorgehoben.

Denk daran, den Dateipfad durch den tatsächlichen Pfad zu deinem Bild zu ersetzen.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg-pf.pt")
results = model.predict("path/to/image.jpg")
results[0].show()

Das folgende Bild zeigt beispielhaft, was YOLOE im Modus ohne Vorgaben erkennen kann.

Abb. 4. YOLOE im Modus ohne Vorgaben verwenden.

Echtzeitanwendungen von YOLOE#

Da YOLOE auf Text- und Bildvorgaben reagieren kann, eignet es sich gut für Echtzeitanwendungen. Seine Flexibilität ist besonders in schnelllebigen Umgebungen hilfreich, in denen es auf Timing und Genauigkeit ankommt.

Sehen wir uns einige Beispiele für den praktischen Einsatz von YOLOE an.

Gepäckabfertigung verbessern: Gepäck in Echtzeit erkennen#

An stark frequentierten Flughäfen kann es schwierig sein, bestimmtes Gepäck zu finden, insbesondere wenn Koffer verloren gegangen sind. YOLOE kann diesen Prozess vereinfachen, indem es Livevideos durchsucht und Gegenstände anhand einfacher Vorgaben wie „rote Tasche“ schnell identifiziert.

Wenn ein Gepäckstück fehlt oder verlegt wurde, können Mitarbeitende die Vorgabe ganz einfach ändern und nach einem anderen Gegenstand wie einem „schwarzen Koffer“ suchen. Dank dieser sofortigen Anpassungsfähigkeit kann das Flughafenpersonal das richtige Gepäck schnell finden, ohne stundenlanges Videomaterial durchsehen oder das Modell neu trainieren zu müssen. So lassen sich die Gepäckabfertigung und die Suche nach verlorenem Gepäck deutlich schneller und effizienter erledigen.

Öffentliche Bereiche mit YOLOE überwachen#

Überwachungsaufnahmen öffentlicher Bereiche wie belebter Märkte und Cafés zeigen oft eine Mischung aus Menschen, Gegenständen und Aktivitäten, die sich im Laufe des Tages verändert. YOLOE kann diese Aufnahmen im Modus ohne Vorgaben in Echtzeit analysieren und Gegenstände wie Taschen, Tische oder Fahrräder automatisch erkennen, ohne dass konkrete Anweisungen erforderlich sind.

Abb. 5. YOLOE kann verschiedene Objekte in einem belebten öffentlichen Bereich erkennen.

Das ist besonders nützlich für Sicherheitsteams, um unbeaufsichtigte Gegenstände zu erkennen oder die Bewegung von Menschenmengen zu verfolgen. Da YOLOE mehrere Objekte gleichzeitig erkennen kann, lassen sich öffentliche Bereiche bei Veranstaltungen oder in geschäftigen Zeiten einfacher überwachen. So bleiben Teams informiert und können schnell reagieren.

Vor- und Nachteile von YOLOE#

Hier sind einige der wichtigsten Vorteile von YOLOE für Computer-Vision-Anwendungen:

• Echtzeitleistung: YOLOE ist auf eine schnelle und effiziente Verarbeitung ausgelegt und ermöglicht Erkennung in Echtzeit – auch in dynamischen Umgebungen wie Livestreams oder belebten öffentlichen Bereichen.
• Skalierbarkeit: YOLOE ist skalierbar und eignet sich für eine Vielzahl von Anwendungen, von Sicherheit und Überwachung bis hin zu Einzelhandel, Gesundheitswesen und autonomen Fahrzeugen.
• Einfach zu verwenden: Da das Ultralytics-Python-Paket YOLOE unterstützt, lässt sich das Modell einfach in deine bestehenden Computer-Vision-Projekte integrieren.

Bei der Verwendung von YOLOE solltest du jedoch einige Einschränkungen beachten. Hier sind ein paar wichtige Punkte:

• Benötigt ausreichend Trainingsdaten: Obwohl YOLOE die Zero-Shot-Erkennung unterstützt, hängt die Leistung bei unbekannten Objekten davon ab, wie gut das Modell auf Grundlage seiner Trainingsdaten verallgemeinert. Für hochspezialisierte Aufgaben können in manchen Fällen zusätzliche Daten oder eine Feinabstimmung erforderlich sein.
• Empfindlich gegenüber der Eingabequalität: Bilder oder Videos von geringer Qualität können die Genauigkeit des Modells beeinträchtigen. Unscharfe oder schlecht belichtete Eingaben können die Fähigkeit des Modells, Objekte genau zu erkennen, verringern. Für eine optimale Leistung sind daher hochwertige Eingaben wichtig.

Die wichtigsten Erkenntnisse#

YOLOE sorgt für mehr Flexibilität bei Computer Vision, indem Nutzer die Erkennung mithilfe von Text- oder Bildvorgaben steuern können. Das Modell eignet sich gut für reale Situationen, in denen sich Szenen schnell ändern und ein erneutes Training nicht infrage kommt.

Von der Gepäckabfertigung bis zur Überwachung öffentlicher Bereiche lässt sich YOLOE mühelos an neue Aufgaben anpassen. Mit dem zunehmenden Zugang zu KI helfen Modelle wie YOLOE immer mehr Branchen dabei, Bildverarbeitung praktisch und effizient einzusetzen.

Werde Teil unserer Community und besuche unser GitHub-Repository, um mehr über Innovationen im Bereich KI zu erfahren. Entdecke auf unseren Lösungsseiten die neuesten Entwicklungen in Bereichen wie KI im Einzelhandel und Computer Vision im Gesundheitswesen. Sieh dir unsere Lizenzoptionen an und starte noch heute mit Computer Vision!