Was ist YOLOE? Computer-Vision-Modelle weiterentwickeln

Objekterkennung ist eine zentrale Aufgabe der Computer Vision, bei der es darum geht, Objekte in Bildern oder Videos zu identifizieren und zu lokalisieren. Sie ist ein entscheidender Bestandteil von computer vision, einem Bereich der künstlichen Intelligenz (KI), der es Maschinen ermöglicht, visuelle Daten zu verstehen und zu interpretieren. Beispielsweise kann die Objekterkennung dabei helfen, ein Auto auf einem Bild zu erkennen oder eine Person in einem Video-Feed zu finden.

Eine der bekanntesten Modellserien zur Unterstützung von computer vision tasks wie der Objekterkennung ist die YOLO-Modellserie (You Only Look Once). YOLO-Modelle wurden im Hinblick auf Geschwindigkeit und Genauigkeit entwickelt und im Laufe der Zeit kontinuierlich verbessert. Beispielsweise liefert eine der neuesten Versionen, Ultralytics YOLO11, in realen Situationen eine gute Leistung und liefert selbst in komplexeren Umgebungen genaue Ergebnisse.

Um diesen Fortschritt weiter voranzutreiben, zielt ein neues Modell namens YOLOE darauf ab, die Fähigkeiten von YOLO-Modellen zu erweitern. Im Gegensatz zu herkömmlichen Modellen, die neu trainiert werden müssen, um neue Objekte zu erkennen, kann YOLOE einfachen Text- oder Bild-Prompts folgen, um Objekte zu erkennen, die es zuvor noch nicht gesehen hat, was es wesentlich anpassungsfähiger an sich ändernde Umgebungen macht.

In diesem Artikel werfen wir einen genaueren Blick darauf, what makes YOLOE unique, wie es im Vergleich zu früheren YOLO-Modellen abschneidet und wie du es noch heute nutzen kannst. Lass uns anfangen!

Ein Überblick über YOLOE#

YOLOE ist ein Computer-Vision-Modell, das die Objekterkennung einen Schritt weiter bringt. Es wurde im März 2025 von Forschern der Tsinghua-Universität vorgestellt. Was YOLOE von herkömmlichen Modellen abhebt, ist die Verwendung der Open-Vocabulary-Erkennung.

Während die meisten Modelle darauf trainiert sind, eine feste Liste von Objekten zu erkennen, ermöglicht dir YOLOE, mit einer kurzen Beschreibung oder einem Beispielbild festzulegen, wonach gesucht werden soll. Wenn du beispielsweise nach einem „grünen Rucksack“ suchst, kannst du entweder diese Beschreibung eingeben oder dem Modell ein Foto zeigen, woraufhin YOLOE das Objekt innerhalb der Szene lokalisiert.

Darüber hinaus kann YOLOE auch ganz ohne Prompt viele Alltagsgegenstände von sich aus erkennen. Diese Fähigkeit, Objekte zu erkennen, die es noch nie zuvor gesehen hat, wird als zero-shot detection bezeichnet. Dies ist besonders in dynamischen Umgebungen nützlich, in denen sich die Aufgabe oder die Objekte von Interesse unerwartet ändern können.

Fig 1. Ein Blick auf die Fähigkeiten von YOLOE.

Hauptmerkmale von YOLOE#

YOLOE unterstützt eine Vielzahl von Funktionen, die darauf ausgelegt sind, die Leistung in realen Anwendungen zu verbessern. Mit seiner Fähigkeit, sowohl strukturierte als auch unstrukturierte Eingaben zu verarbeiten, eröffnet YOLOE neue Möglichkeiten für die Objekterkennung und Segmentierung.

Hier sind einige der wichtigsten Funktionen, die das Modell mitbringt:

• Prompt-basierte Erkennung: YOLOE kann basierend auf einem kurzen Text-Prompt oder einem Beispielbild nach Objekten suchen. Das bedeutet, dass du das Modell nicht jedes Mal neu trainieren musst, wenn sich deine Aufgabe ändert; beschreibe dem Modell einfach, wonach du suchst, oder zeige es ihm.
• Instance segmentation: Zusätzlich zum Zeichnen von Begrenzungsrahmen um Objekte kann YOLOE deren genaue Form mithilfe der Instanzsegmentierung umranden. Dies ist besonders hilfreich, wenn sich Objekte überlappen oder wenn du die genauen Grenzen eines Objekts kennen musst.
• Prompt-freie Objekterkennung: YOLOE kann Objekte auch ohne spezifische Anweisungen erkennen. Es nutzt eine Reihe vorab erlernter Beschreibungen, um Objekte schnell zu identifizieren, was den Prozess schneller und effizienter macht.

Vergleich von YOLOE mit anderen YOLO-Modellen#

Nachdem wir nun ein besseres Verständnis davon haben, was YOLOE ist, schauen wir uns einige der ähnlichen Modelle aus der YOLO-Familie an.

Mit dem Fortschritt der Computer Vision haben sich auch die YOLO-Modelle weiterentwickelt. Beispielsweise brachte Ultralytics YOLOv8 Unterstützung für neue Aufgaben wie Segmentierung und Klassifizierung, während sich spätere Versionen wie Ultralytics YOLO11 auf die Verbesserung der Genauigkeit und Leistung für ein breiteres Spektrum von Aufgaben konzentrierten.

Außerdem wurde YOLO-World im Januar 2024 veröffentlicht und führte die Möglichkeit ein, geschriebene Prompts zu verwenden, sodass Benutzer die zu suchenden Objekte beschreiben können. Obwohl YOLO-World eine großartige Option für die Zero-Shot-Erkennung war, fehlten Funktionen wie Instanzsegmentierung und die Unterstützung visueller Prompts.

YOLOE baut auf YOLO-World auf, indem es diese Fähigkeiten hinzufügt, die Flexibilität und Leistung verbessert und ein wirkungsvolleres Werkzeug für reale Computer-Vision-Anwendungen bietet.

Fig 2. Sowohl YOLO-World als auch YOLOE unterstützen die Zero-Shot-Erkennung.

Verwendung von YOLOE mit dem Ultralytics Python-Paket#

Egal, ob du nach spezifischen Objekten suchen oder alles in einem Bild erkunden möchtest, der Einstieg in YOLOE ist einfach. Dieses Modell wird vom Ultralytics Python-Paket unterstützt, was die Integration in deine Projekte erleichtert. Gehen wir als Nächstes durch, wie man es verwendet.

Installation des Ultralytics-Pakets#

Der erste Schritt besteht darin, das Ultralytics Python package mithilfe eines Paketmanagers wie „pip“ zu installieren. Dazu kannst du den Befehl “pip install ultralytics” in deinem Terminal oder deiner Eingabeaufforderung ausführen.

Sobald das Paket installiert ist, hast du alles, was du brauchst, um das Modell zu laden, Vorhersagen zu treffen und mit verschiedenen Erkennungsmodi zu experimentieren. Sollten bei der Installation Probleme auftreten, bietet die offizielle Dokumentation von Ultralytics einen hilfreichen troubleshooting section.

Es gibt einige verschiedene Möglichkeiten, YOLOE zum Ausführen von Vorhersagen zu verwenden. Vorhersagen auszuführen bedeutet, das trainierte Modell zu verwenden, um Objekte innerhalb von Bildern oder Videos zu identifizieren und zu lokalisieren. Diese verschiedenen Methoden ermöglichen es dir, die Interaktion mit dem Modell basierend auf deinen spezifischen Anforderungen anzupassen.

Besprechen wir jede dieser Methoden nacheinander.

Erkennung spezifischer Objekte mit Text- oder Bild-Prompts#

YOLOE kann Objekte basierend auf einer kurzen Textbeschreibung erkennen. Wenn du beispielsweise nach einem sich bewegenden Pferd suchst, kannst du einen Prompt wie „Pferd läuft“ verwenden.

Lade zunächst das vortrainierte YOLOE-Modell und lege deinen Prompt (die Beschreibung dessen, wonach das Modell suchen soll) fest, wie im Code-Schnipsel unten gezeigt.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg.pt")
prompt = ["horse walking"]
model.set_classes(prompt, model.get_text_pe(prompt))

Sobald Modell und Prompt festgelegt sind, kannst du das Modell auf einem Bild oder Video ausführen. Ersetze den Dateipfad im Code durch den Pfad zu deiner Bild- oder Videodatei:

results = model.predict("path/to/your/image.jpg")
results[0].show()

Dadurch wird das Bild mit dem erkannten Objekt angezeigt, das basierend auf deinem Prompt deutlich markiert ist. Du kannst den Prompt ändern, um nach anderen Objekten zu suchen, wie etwa „roter Koffer“, „Fahrrad“ oder „Zebra“, je nachdem, wonach du suchst.

Abb. 3. Ein Beispiel für die Verwendung von YOLOE zur Erkennung spezifischer Objekte mithilfe eines Text-Prompts.

Ebenso kannst du ein Bild verwenden, um YOLOE mit dem Ultralytics Python-Paket aufzufordern. Im visuellen Prompt-Modus verwendet das Modell das Bild, um ähnlich aussehende Objekte in einer anderen Szene zu finden. Dies ist besonders nützlich für Objekte, die schwer zu beschreiben sind oder keine klaren Beschriftungen haben.

Um den Code hierzu genauer zu untersuchen, kannst du einen Blick in die Ultralytics documentation werfen.

Allgemeine Objekterkennung mit YOLOE#

In manchen Fällen weißt du vielleicht nicht genau, wonach du suchen sollst, oder du suchst nicht nach einem bestimmten Objekt. Hier ist der prompt-freie Modus nützlich.

Bei dieser Option musst du keine Beschreibung eingeben oder ein Beispielbild bereitstellen. YOLOE analysiert Bilder einfach eigenständig und detects alles, was es erkennen kann, wie etwa Personen, Tiere, Möbel oder Alltagsgegenstände.

Dies ist ein hilfreicher Weg, eine Szene zu erkunden, ohne dem Modell spezifische Anweisungen zu geben. Egal, ob du einen überfüllten Raum scannst oder Videomaterial mit viel Aktivität überprüfst, der prompt-freie Modus gibt dir einen schnellen Überblick darüber, was auf einem Bild vorhanden ist.

Du kannst den folgenden Code verwenden, um YOLOE im prompt-freien Modus auszuführen. Zuerst wird das Modell geladen, dann verarbeitet es das Bild und erkennt automatisch die Objekte darin. Schließlich werden die Ergebnisse angezeigt und die erkannten Objekte hervorgehoben.

Achte darauf, den Dateipfad durch den tatsächlichen Pfad zu deinem Bild zu ersetzen.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg-pf.pt")
results = model.predict("path/to/image.jpg")
results[0].show()

Das unten gezeigte Bild ist ein Beispiel dafür, was YOLOE im prompt-freien Modus erkennen kann.

Abb. 4. Verwendung von YOLOE im prompt-freien Modus.

Echtzeitanwendungen von YOLOE#

Die Fähigkeit von YOLOE, auf Text- und Bild-Prompts zu reagieren, macht es zu einem zuverlässigen Werkzeug für Echtzeitanwendungen. Seine Flexibilität ist besonders in schnelllebigen Umgebungen nützlich, in denen Timing und Genauigkeit entscheidend sind.

Lass uns einige reale Beispiele dafür erkunden, wie YOLOE verwendet werden kann.

Verbesserung der Gepäckabfertigung: Echtzeit-Gepäckerkennung#

An geschäftigen airports kann es eine Herausforderung sein, bestimmtes Gepäck zu finden, insbesondere wenn es sich um verlorene Taschen handelt. YOLOE kann diesen Prozess optimieren, indem es beim Scannen von Live-Videos hilft und Artikel basierend auf einfachen Prompts wie „roter Koffer“ schnell identifiziert.

Wenn eine Tasche fehlt oder verlegt wurde, können Mitarbeiter den Prompt einfach ändern, um nach einem anderen Gegenstand zu suchen, wie z. B. einem „schwarzen Koffer“. Diese Fähigkeit zur sofortigen Anpassung kann Flughafenmitarbeitern helfen, das richtige Gepäck schnell zu finden, ohne stundenlanges Videomaterial durchsehen oder das Modell neu trainieren zu müssen, was die Gepäckabfertigung und die Lösung von Problemen mit fehlendem Gepäck wesentlich schneller und effizienter macht.

Überwachung öffentlicher Räume mit YOLOE#

Überwachungsaufnahmen öffentlicher Räume, wie überfüllter Märkte und Cafés, enthalten oft eine Mischung aus Menschen, Objekten und Aktivitäten, die sich den ganzen Tag über ändern. YOLOE kann dieses Material in Echtzeit im prompt-freien Modus analysieren und Gegenstände wie Taschen, Tische oder Fahrräder automatisch erkennen, ohne dass spezifische Anweisungen erforderlich sind.

Abb. 5. YOLOE kann verschiedene Objekte in einem belebten öffentlichen Raum erkennen.

Dies ist besonders nützlich für security teams, um unbeaufsichtigte Gegenstände zu entdecken oder die Bewegung von Menschenmengen zu verfolgen. Die Fähigkeit von YOLOE, mehrere Objekte gleichzeitig zu erkennen, erleichtert die Verwaltung öffentlicher Räume bei Veranstaltungen oder Stoßzeiten und hilft Teams, informiert und reaktionsfähig zu bleiben.

Vor- und Nachteile von YOLOE#

Hier sind einige der Hauptvorteile der Verwendung von YOLOE für Computer-Vision-Anwendungen:

• Echtzeitleistung: YOLOE ist für eine schnelle und effiziente Verarbeitung optimiert und ermöglicht eine Echtzeiterkennung, selbst in dynamischen Umgebungen wie Live-Video-Streams oder belebten öffentlichen Räumen.
• Scalability: YOLOE ist skalierbar und eignet sich gut für eine Vielzahl von Anwendungen, von Sicherheit und Überwachung bis hin zu Einzelhandel, Gesundheitswesen und autonomen Fahrzeugen.
• Einfach zu bedienen: Da YOLOE vom Ultralytics Python-Paket unterstützt wird, ist es einfach in deine bestehenden Computer-Vision-Projekte zu integrieren.

Es gibt jedoch einige Einschränkungen, die du bei der Verwendung von YOLOE beachten solltest. Hier sind ein paar Faktoren, die du berücksichtigen solltest:

• Erfordert ausreichend Trainingsdaten: Obwohl YOLOE die Zero-Shot-Erkennung unterstützt, hängt seine Leistung bei unbekannten Objekten davon ab, wie gut es aus seinen Trainingsdaten generalisiert. In manchen Fällen können zusätzliche Daten oder Feinabstimmungen erforderlich sein, um bei hochspezialisierten Aufgaben gute Leistungen zu erbringen.
• Empfindlich gegenüber Eingabequalität: Die Genauigkeit des Modells kann durch Bilder oder Videos von geringer Qualität beeinträchtigt werden. Verschwommene oder schlecht beleuchtete Aufnahmen können die Fähigkeit des Modells zur genauen Objekterkennung verringern, weshalb eine hohe Eingabequalität wichtig für eine optimale Leistung ist.

Wichtige Erkenntnisse#

YOLOE bringt mehr Flexibilität in die Computer Vision, indem es Benutzern ermöglicht, die Erkennung mit Text- oder Bild-Prompts zu steuern. Es funktioniert gut in realen Situationen, in denen sich Szenen schnell ändern und ein erneutes Training keine Option ist.

Von der Gepäckabfertigung bis zur Überwachung öffentlicher Räume passt sich YOLOE mühelos an neue Aufgaben an. Da KI immer zugänglicher wird, helfen Modelle wie YOLOE immer mehr Branchen dabei, Vision-Technologie auf praktische und effiziente Weise zu nutzen.

Tritt unserer community bei und erkunde unser GitHub repository, um mehr über KI-Innovationen zu erfahren. Entdecke die neuesten Fortschritte in Bereichen wie AI in retail und computer vision in healthcare auf unseren Lösungsseiten. Sieh dir unsere licensing options an und lege noch heute mit Computer Vision los!