Was ist YOLOE? Computer-Vision-Modelle weiterentwickeln

Objekterkennung ist eine zentrale Aufgabe der Computer Vision. Dabei geht es darum, Objekte in Bildern oder Videos zu identifizieren und zu lokalisieren. Sie ist ein wichtiger Bestandteil der Computer Vision, einem Bereich der künstlichen Intelligenz (AI), der es Maschinen ermöglicht, visuelle Daten zu verstehen und zu interpretieren. So kann die Objekterkennung beispielsweise dabei helfen, ein Auto in einem Bild zu erkennen oder eine Person in einem Videostream zu identifizieren.

Eine der bekanntesten Modellreihen für Computer-Vision-Aufgaben wie die Objekterkennung ist die YOLO-Modellreihe (Du schaust nur einmal). YOLO-Modelle wurden auf Geschwindigkeit und Genauigkeit ausgelegt und im Laufe der Zeit kontinuierlich verbessert. So liefert beispielsweise eine der neuesten Versionen, Ultralytics YOLO11, gute Ergebnisse in realen Situationen und erzielt selbst in komplexeren Umgebungen genaue Resultate.

Ein neues Modell namens YOLOE treibt diese Entwicklung weiter voran und soll die Fähigkeiten von YOLO-Modellen erweitern. Anders als herkömmliche Modelle, die für die Erkennung neuer Objekte neu trainiert werden müssen, kann YOLOE einfachen Text- oder Bildvorgaben folgen und Objekte erkennen, die es zuvor noch nicht gesehen hat. Dadurch lässt es sich deutlich besser an wechselnde Umgebungen anpassen.

In diesem Artikel sehen wir uns genauer an, was YOLOE einzigartig macht, wie es sich von früheren YOLO-Modellen unterscheidet und wie du es noch heute einsetzen kannst. Legen wir los!

Ein Überblick über YOLOE#

YOLOE ist ein Computer-Vision-Modell, das die Objekterkennung auf die nächste Stufe hebt. Es wurde im März 2025 von Forschern der Tsinghua-Universität vorgestellt. Der entscheidende Unterschied zu herkömmlichen Modellen ist die Erkennung mit offenem Vokabular.

Während die meisten Modelle darauf trainiert werden, eine festgelegte Liste von Objekten zu erkennen, kannst du mit YOLOE anhand einer kurzen Beschreibung oder eines Beispielbilds festlegen, wonach gesucht werden soll. Wenn du beispielsweise nach einem „grünen Rucksack“ suchst, kannst du entweder diese Beschreibung eingeben oder dem Modell ein Foto zeigen, und YOLOE lokalisiert ihn in der Szene.

Darüber hinaus kann YOLOE auch ohne Vorgabe viele alltägliche Objekte selbstständig erkennen. Diese Fähigkeit, Objekte zu erkennen, die es zuvor noch nicht gesehen hat, wird als Zero-Shot-Erkennung bezeichnet. Sie ist besonders in dynamischen Umgebungen nützlich, in denen sich die Aufgabe oder die interessierenden Objekte unerwartet ändern können.

Abb. 1 Ein Blick auf die Fähigkeiten von YOLOE.

Wichtige Funktionen von YOLOE#

YOLOE unterstützt zahlreiche Funktionen, die seine Leistung in realen Anwendungen verbessern. Durch die Verarbeitung sowohl strukturierter als auch unstrukturierter Eingaben eröffnet YOLOE neue Möglichkeiten für Objekterkennung und Segmentierung.

Hier sind einige der wichtigsten Funktionen des Modells:

• Vorgabenbasierte Erkennung: YOLOE kann anhand einer kurzen Textvorgabe oder eines Beispielbilds nach Objekten suchen. Du musst das Modell also nicht jedes Mal neu trainieren, wenn sich deine Aufgabe ändert. Beschreibe oder zeige dem Modell einfach, wonach du suchst.
• Instanzsegmentierung: Zusätzlich zum Zeichnen von Begrenzungsrahmen um Objekte kann YOLOE mithilfe der Instanzsegmentierung deren genaue Form abgrenzen. Das ist besonders hilfreich, wenn sich Objekte überlappen oder du die exakten Grenzen eines Objekts kennen musst.
• Objekterkennung ohne Vorgabe: YOLOE kann Objekte auch ohne konkrete Anweisungen erkennen. Es verwendet eine Reihe vorab gelernter Beschreibungen, um Objekte schnell zu identifizieren, und macht den Prozess dadurch schneller und effizienter.

YOLOE im Vergleich zu anderen YOLO-Modellen#

Nachdem wir nun besser verstehen, was YOLOE ist, sehen wir uns einige ähnliche Modelle aus der YOLO-Familie an.

Mit den Fortschritten der Computer Vision haben sich auch die YOLO-Modelle weiterentwickelt. So führte Ultralytics YOLOv8 die Unterstützung für neue Aufgaben wie Segmentierung und Klassifizierung ein, während spätere Versionen wie Ultralytics YOLO11 den Fokus auf eine höhere Genauigkeit und Leistung bei einem breiteren Aufgabenspektrum legten.

Außerdem wurde YOLO-World im Januar 2024 veröffentlicht und führte die Möglichkeit ein, Textvorgaben zu verwenden, mit denen Nutzer die gesuchten Objekte beschreiben können. YOLO-World war zwar eine gute Option für die Zero-Shot-Erkennung, bot jedoch keine Funktionen wie Instanzsegmentierung oder die Unterstützung visueller Vorgaben.

YOLOE baut auf YOLO-World auf, ergänzt diese Fähigkeiten, verbessert Flexibilität und Leistung und bietet ein wirkungsvolleres Werkzeug für reale Computer-Vision-Anwendungen.

Abb. 2 YOLO-World und YOLOE unterstützen beide die Zero-Shot-Erkennung.

YOLOE mit dem Ultralytics Python-Paket verwenden#

Ganz gleich, ob du bestimmte Objekte erkennen oder alles in einem Bild untersuchen möchtest: Der Einstieg in YOLOE ist einfach. Dieses Modell wird vom Ultralytics Python-Paket unterstützt und lässt sich daher problemlos in deine Projekte integrieren. Im Folgenden zeigen wir dir, wie du es verwendest.

Das Ultralytics-Paket installieren#

Der erste Schritt besteht darin, das Ultralytics Python-Paket mit einem Paketmanager wie „pip“ zu installieren. Führe dazu in deinem Terminal oder deiner Eingabeaufforderung den Befehl “pip install ultralytics” aus.

Nach der Installation des Pakets hast du alles, was du zum Laden des Modells, Erstellen von Vorhersagen und Ausprobieren verschiedener Erkennungsmodi benötigst. Falls bei der Installation Probleme auftreten, bietet die offizielle Ultralytics-Dokumentation einen hilfreichen Abschnitt zur Fehlerbehebung.

Es gibt mehrere Möglichkeiten, mit YOLOE Vorhersagen auszuführen. Das bedeutet, dass du das trainierte Modell verwendest, um Objekte in Bildern oder Videos zu identifizieren und zu lokalisieren. Mit diesen verschiedenen Methoden kannst du die Interaktion mit dem Modell an deine spezifischen Anforderungen anpassen.

Sehen wir uns diese Methoden nun nacheinander an.

Bestimmte Objekte mit Text- oder Bildvorgaben erkennen#

YOLOE kann Objekte anhand einer kurzen Textbeschreibung erkennen. Wenn du beispielsweise ein Pferd in Bewegung suchst, kannst du eine Vorgabe wie "horse walking" verwenden.

Lade zunächst das vortrainierte YOLOE-Modell und lege deine Vorgabe fest, also die Beschreibung dessen, wonach das Modell suchen soll, wie im folgenden Codeausschnitt gezeigt.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg.pt")
prompt = ["horse walking"]
model.set_classes(prompt, model.get_text_pe(prompt))

Sobald Modell und Vorgabe festgelegt sind, kannst du das Modell auf ein Bild oder Video anwenden. Ersetze den Dateipfad im Code durch den Pfad zu deiner Bild- oder Videodatei:

results = model.predict("path/to/your/image.jpg")
results[0].show()

Dadurch wird das Bild angezeigt und das anhand deiner Vorgabe erkannte Objekt deutlich markiert. Du kannst die Vorgabe ändern, um nach anderen Objekten wie "red suitcase", "bicycle" oder "zebra" zu suchen, je nachdem, wonach du suchst.

Abb. 3. Beispiel für die Verwendung von YOLOE zur Erkennung bestimmter Objekte mit einer Textvorgabe.

Ebenso kannst du mit dem Ultralytics Python-Paket ein Bild als Vorgabe für YOLOE verwenden. Im Modus für visuelle Vorgaben nutzt das Modell das Bild, um in einer anderen Szene ähnlich aussehende Objekte zu finden. Das ist besonders nützlich für Objekte, die sich nur schwer beschreiben lassen oder keine eindeutigen Bezeichnungen haben.

Weitere Einzelheiten zum Code findest du in der Ultralytics-Dokumentation.

Allgemeine Objekterkennung mit YOLOE#

In manchen Fällen weißt du vielleicht nicht genau, wonach du suchen möchtest, oder suchst nicht nach einem bestimmten Objekt. Dann ist der Modus ohne Vorgabe besonders hilfreich.

In diesem Modus musst du weder eine Beschreibung eingeben noch ein Beispielbild bereitstellen. YOLOE analysiert Bilder selbstständig und erkennt alles, was es identifizieren kann, beispielsweise Menschen, Tiere, Möbel oder Alltagsgegenstände.

So kannst du eine Szene untersuchen, ohne dem Modell konkrete Anweisungen zu geben. Ganz gleich, ob du einen überfüllten Raum scannst oder Aufnahmen mit viel Aktivität auswertest: Der Modus ohne Vorgabe vermittelt dir schnell einen Überblick darüber, was in einem Bild vorhanden ist.

Mit dem folgenden Code kannst du YOLOE im Modus ohne Vorgabe ausführen. Zuerst wird das Modell geladen, anschließend verarbeitet es das Bild und erkennt automatisch die darin enthaltenen Objekte. Zum Schluss werden die Ergebnisse angezeigt und die erkannten Objekte hervorgehoben.

Ersetze den Dateipfad unbedingt durch den tatsächlichen Pfad zu deinem Bild.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg-pf.pt")
results = model.predict("path/to/image.jpg")
results[0].show()

Das folgende Bild zeigt beispielhaft, was YOLOE im Modus ohne Vorgabe erkennen kann.

Abb. 4. YOLOE im Modus ohne Vorgabe verwenden.

Echtzeitanwendungen von YOLOE#

YOLOE kann sowohl auf Text- als auch auf Bildvorgaben reagieren und ist dadurch ein zuverlässiges Werkzeug für Echtzeitanwendungen. Seine Flexibilität ist besonders in dynamischen Umgebungen nützlich, in denen Zeit und Genauigkeit entscheidend sind.

Sehen wir uns einige Beispiele aus der Praxis an, wie YOLOE eingesetzt werden kann.

Gepäckabfertigung verbessern: Gepäck in Echtzeit erkennen#

Auf geschäftigen Flughäfen kann es schwierig sein, bestimmtes Gepäck zu finden, insbesondere wenn Koffer vermisst werden. YOLOE kann diesen Prozess vereinfachen, indem es bei der Analyse von Live-Videos hilft und Gegenstände anhand einfacher Vorgaben wie „red bag“ schnell identifiziert.

Wenn ein Gepäckstück fehlt oder verlegt wurde, können die Mitarbeitenden die Vorgabe einfach ändern und nach einem anderen Gegenstand wie einem „black suitcase“ suchen. Diese Fähigkeit zur sofortigen Anpassung kann dem Flughafenpersonal helfen, das richtige Gepäck schnell zu finden, ohne lange Videoaufnahmen durchsuchen oder das Modell neu trainieren zu müssen. Dadurch werden die Gepäckabfertigung und die Klärung von Problemen mit vermisstem Gepäck deutlich schneller und effizienter.

Öffentliche Räume mit YOLOE überwachen#

Überwachungsaufnahmen öffentlicher Räume wie belebter Märkte und Cafés enthalten oft eine Mischung aus Menschen, Gegenständen und Aktivitäten, die sich im Laufe des Tages verändert. YOLOE kann diese Aufnahmen im Modus ohne Vorgabe in Echtzeit analysieren und Gegenstände wie Taschen, Tische oder Fahrräder automatisch erkennen, ohne dass konkrete Anweisungen erforderlich sind.

Abb. 5. YOLOE kann verschiedene Objekte in einem belebten öffentlichen Raum erkennen.

Das ist besonders für Sicherheitsteams nützlich, um unbeaufsichtigte Gegenstände zu erkennen oder die Bewegung von Menschenmengen zu verfolgen. Da YOLOE mehrere Objekte gleichzeitig erkennen kann, lassen sich öffentliche Räume bei Veranstaltungen oder zu Stoßzeiten leichter verwalten, sodass die Teams informiert bleiben und schnell reagieren können.

Vor- und Nachteile von YOLOE#

Hier sind einige der wichtigsten Vorteile von YOLOE für Computer-Vision-Anwendungen:

• Echtzeitleistung: YOLOE ist für eine schnelle und effiziente Verarbeitung optimiert und ermöglicht Erkennung in Echtzeit, selbst in dynamischen Umgebungen wie Live-Videostreams oder belebten öffentlichen Räumen.
• Skalierbarkeit: YOLOE ist skalierbar und eignet sich für eine Vielzahl von Anwendungen, von Sicherheit und Überwachung bis hin zu Einzelhandel, Gesundheitswesen und autonomen Fahrzeugen.
• Einfache Verwendung: Da YOLOE vom Ultralytics Python-Paket unterstützt wird, lässt es sich leicht in deine bestehenden Computer-Vision-Projekte integrieren.

Bei der Verwendung von YOLOE solltest du jedoch einige Einschränkungen beachten. Hier sind einige wichtige Faktoren:

• Ausreichende Trainingsdaten erforderlich: Obwohl YOLOE die Zero-Shot-Erkennung unterstützt, hängt seine Leistung bei unbekannten Objekten davon ab, wie gut es aus seinen Trainingsdaten verallgemeinert. In manchen Fällen benötigt es möglicherweise zusätzliche Daten oder Feinabstimmung, um bei hochspezialisierten Aufgaben gute Ergebnisse zu erzielen.
• Empfindlich gegenüber der Eingabequalität: Die Genauigkeit des Modells kann durch Bilder oder Videos mit geringer Qualität beeinträchtigt werden. Unscharfe oder schlecht beleuchtete Eingaben können die Fähigkeit des Modells zur genauen Objekterkennung verringern. Daher sind hochwertige Eingaben für eine optimale Leistung wichtig.

Wichtige Erkenntnisse#

YOLOE macht Computer Vision flexibler, indem es Nutzern ermöglicht, die Erkennung mit Text- oder Bildvorgaben zu steuern. Es eignet sich gut für reale Situationen, in denen sich Szenen schnell ändern und ein erneutes Training keine Option ist.

Von der Gepäckabfertigung bis zur Überwachung öffentlicher Räume passt sich YOLOE problemlos an neue Aufgaben an. Da AI immer zugänglicher wird, helfen Modelle wie YOLOE immer mehr Branchen dabei, visuelle Technologie praktisch und effizient einzusetzen.

Tritt unserer Community bei und erkunde unser GitHub-Repository, um mehr über Innovationen im Bereich AI zu erfahren. Entdecke auf unseren Lösungsseiten die neuesten Entwicklungen in Bereichen wie AI im Einzelhandel und Computer Vision im Gesundheitswesen. Sieh dir unsere Lizenzoptionen an und beginne noch heute mit Computer Vision!