Was ist YOLOE? Computervision-Modelle weiterentwickeln

Objekterkennung ist eine zentrale Aufgabe der Computer Vision, bei der es darum geht, Objekte in Bildern oder Videos zu identifizieren und zu lokalisieren. Sie ist ein wichtiger Bestandteil der Computer Vision, einem Bereich der künstlichen Intelligenz (KI), der es Maschinen ermöglicht, visuelle Daten zu verstehen und zu interpretieren. So kann die Objekterkennung beispielsweise helfen, ein Auto auf einem Bild zu identifizieren oder eine Person in einem Video zu erkennen.

Eine der bekanntesten Modellreihen zur Unterstützung von Computer-Vision-Aufgaben wie der Objekterkennung ist die YOLO (You Only Look Once). Die YOLO sind auf Schnelligkeit und Genauigkeit ausgelegt und wurden im Laufe der Zeit kontinuierlich verbessert. Zum Beispiel eine der neuesten Versionen, Ultralytics YOLO11zeigt in der Praxis gute Leistungen und liefert auch in komplexeren Umgebungen genaue Ergebnisse.

Ein neues Modell mit der Bezeichnung YOLOE soll die Fähigkeiten von YOLO weiter ausbauen. Im Gegensatz zu herkömmlichen Modellen, die neu trainiert werden müssen, um neue Objekte zu erkennen, kann YOLOE einfachen Text- oder Bildaufforderungen folgen, um Objekte detect , die es zuvor noch nicht gesehen hat, wodurch es sich viel besser an veränderte Umgebungen anpassen kann.

In diesem Artikel werden wir einen genaueren Blick darauf werfen, was YOLOE einzigartig macht, wie es sich von früheren YOLO unterscheidet und wie Sie es noch heute nutzen können. Legen wir los!

Ein Überblick über YOLOE

YOLOE ist ein Computer-Vision-Modell, das die Objekterkennung noch einen Schritt weiterführt. Es wurde im März 2025 von Forschern der Tsinghua University vorgestellt. Was YOLOE von traditionellen Modellen unterscheidet, ist die Verwendung der Open-Vocabulary-Erkennung. 

Während die meisten Modelle darauf trainiert sind, eine feste Liste von Objekten zu erkennen, ermöglicht YOLOE Ihnen, anhand einer kurzen Beschreibung oder eines Beispielbilds anzugeben, wonach Sie suchen. Wenn Sie beispielsweise nach einem „grünen Rucksack“ suchen, können Sie entweder diese Beschreibung eingeben oder dem Modell ein Foto zeigen, und YOLOE wird ihn in der Szene lokalisieren.

Darüber hinaus kann YOLOE auch ohne Aufforderung viele alltägliche Gegenstände selbstständig detect . Diese Fähigkeit, Objekte zu erkennen, die es noch nie zuvor gesehen hat, wird als Zero-Shot-Erkennung bezeichnet. Sie ist besonders nützlich in dynamischen Umgebungen, in denen sich die Aufgabe oder die Objekte von Interesse unerwartet ändern können.

‍

Hauptmerkmale von YOLOE

YOLOE unterstützt eine breite Palette von Funktionen, die entwickelt wurden, um seine Leistung in realen Anwendungen zu verbessern. Mit seiner Fähigkeit, sowohl strukturierte als auch unstrukturierte Eingaben zu verarbeiten, eröffnet YOLOE neue Möglichkeiten für die Objekterkennung und -segmentierung. 

Hier sind einige der wichtigsten Eigenschaften, die das Modell mit sich bringt:

• Prompt-basierte Erkennung: YOLOE kann nach Objekten suchen, die auf einer kurzen Textaufforderung oder einem Beispielbild basieren. Das bedeutet, dass Sie das Modell nicht jedes Mal neu trainieren müssen, wenn sich Ihre Aufgabe ändert; beschreiben oder zeigen Sie dem Modell einfach, wonach Sie suchen.
  ‍
• Instanzsegmentierung: Zusätzlich zum Zeichnen von Begrenzungsrahmen um Objekte kann YOLOE mithilfe der Instanzsegmentierung ihre genaue Form umreißen. Dies ist besonders hilfreich, wenn sich Objekte überlappen oder wenn Sie die genauen Grenzen eines Objekts kennen müssen.
  ‍
• Promptfreie Objekterkennung: YOLOE kann Objekte auch ohne spezifische Anweisungen erkennen. Es verwendet eine Reihe von vorab gelernten Beschreibungen, um Objekte schnell zu identifizieren, was den Prozess schneller und effizienter macht.

Vergleich von YOLOE mit anderen YOLO

Nachdem wir nun besser verstanden haben, was YOLOE ist, wollen wir uns einige ähnliche Modelle aus der YOLO ansehen. 

Mit den Fortschritten der Computer Vision haben sich auch die YOLO weiterentwickelt. Zum Beispiel, Ultralytics YOLOv8 Unterstützung für neue Aufgaben wie Segmentierung und Klassifizierung, während sich spätere Versionen wie Ultralytics YOLO11 auf die Verbesserung der Genauigkeit und Leistung für ein breiteres Spektrum von Aufgaben konzentriert haben.

YOLO wurde im Januar 2024 veröffentlicht und führte die Möglichkeit ein, schriftliche Eingabeaufforderungen zu verwenden, bei denen die Benutzer die Objekte beschreiben können, die sie finden wollen. YOLO war zwar eine großartige Option für die Zero-Shot-Erkennung, aber es fehlten Funktionen wie die Segmentierung von Instanzen und die Unterstützung visueller Eingabeaufforderungen. 

YOLOE baut auf YOLO auf, indem es diese Fähigkeiten hinzufügt, die Flexibilität und Leistung verbessert und ein effektiveres Werkzeug für reale Computer-Vision-Anwendungen bietet.

‍

Verwendung von YOLOE mit demPython

Ganz gleich, ob Sie bestimmte Objekte detect oder alles in einem Bild untersuchen möchten, der Einstieg in YOLOE ist einfach. Dieses Modell wird vomPython unterstützt und lässt sich daher leicht in Ihre Projekte integrieren. Als Nächstes gehen wir durch, wie es zu verwenden ist.

Installieren des Ultralytics

Der erste Schritt besteht darin, das Python mit einem Paketmanager wie "pip" zu installieren. Sie können dies tun, indem Sie den Befehl "pip install ultralytics" in Ihrem Terminal oder in der Eingabeaufforderung ausführen.

Sobald das Paket installiert ist, haben Sie alles, was Sie brauchen, um das Modell zu laden, Vorhersagen zu treffen und mit verschiedenen Erkennungsmodi zu experimentieren. Sollten Sie während der Installation auf Probleme stoßen, finden Sie in der offiziellen Ultralytics einen hilfreichen Abschnitt zur Fehlerbehebung. 

Es gibt ein paar verschiedene Möglichkeiten, YOLOE zum Ausführen von Vorhersagen zu verwenden. Das Ausführen von Vorhersagen bedeutet, das trainierte Modell zu verwenden, um Objekte in Bildern oder Videos zu identifizieren und zu lokalisieren. Diese verschiedenen Methoden ermöglichen es Ihnen, die Interaktion mit dem Modell basierend auf Ihren spezifischen Bedürfnissen anzupassen.

Lassen Sie uns jede dieser Methoden einzeln besprechen.

Erkennung bestimmter Objekte mit Text- oder Bildaufforderungen

YOLOE kann Objekte anhand einer kurzen Textbeschreibung detect . Wenn Sie zum Beispiel nach einem Pferd in Bewegung suchen, können Sie eine Eingabeaufforderung wie "Pferd läuft" verwenden.

Laden Sie zunächst das vortrainierte YOLOE-Modell und legen Sie Ihren Prompt fest (die Beschreibung dessen, wonach das Modell suchen soll), wie im Code-Snippet unten gezeigt.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg.pt")
prompt = ["horse walking"]
model.set_classes(prompt, model.get_text_pe(prompt))

Sobald Ihr Modell und Ihr Prompt festgelegt sind, können Sie das Modell auf einem Bild oder Video ausführen. Ersetzen Sie den Dateipfad im Code durch den Pfad zu Ihrer Bild- oder Videodatei:

results = model.predict("path/to/your/image.jpg")
results[0].show()

Dadurch wird das Bild mit dem erkannten Objekt deutlich markiert basierend auf Ihrem Prompt angezeigt. Sie können den Prompt ändern, um nach verschiedenen Objekten zu suchen, z. B. "roter Koffer", "Fahrrad" oder "Zebra", je nachdem, wonach Sie suchen.

‍

In ähnlicher Weise können Sie ein Bild verwenden, um YOLOE mit dem Ultralytics Python aufzufordern. Im visuellen Prompt-Modus verwendet das Modell das Bild, um ähnlich aussehende Objekte in einer anderen Szene zu finden. Dies ist besonders nützlich für Objekte, die schwer zu beschreiben sind oder keine eindeutigen Bezeichnungen haben. 

Um den Code hierfür genauer zu untersuchen, können Sie die Ultralytics einsehen.

Allgemeine Objekterkennung mit YOLOE

In einigen Fällen wissen Sie möglicherweise nicht genau, wonach Sie suchen, oder Sie suchen nicht nach einem bestimmten Objekt. Hier ist der Prompt-freie Modus nützlich. 

Mit dieser Option müssen Sie keine Beschreibung eingeben oder ein Beispielbild bereitstellen. YOLOE analysiert Bilder einfach selbstständig und erkennt alles, was es erkennen kann, wie z. B. Personen, Tiere, Möbel oder Alltagsgegenstände.

Es ist eine hilfreiche Möglichkeit, eine Szene zu erkunden, ohne dem Modell spezifische Anweisungen zu geben. Egal, ob Sie einen überfüllten Raum scannen oder Filmmaterial mit viel Aktivität überprüfen, der promptfreie Modus bietet Ihnen einen schnellen Überblick darüber, was in einem Bild vorhanden ist. 

Sie können den folgenden Code verwenden, um YOLOE im promptfreien Modus auszuführen. Zuerst wird das Modell geladen, dann verarbeitet es das Bild und erkennt automatisch die Objekte darin. Schließlich werden die Ergebnisse angezeigt und die erkannten Objekte hervorgehoben. 

Ersetzen Sie unbedingt den Dateipfad durch den tatsächlichen Pfad zu Ihrem Bild.

from ultralytics import YOLOE
model = YOLOE("yoloe-11l-seg-pf.pt")
results = model.predict("path/to/image.jpg")
results[0].show()

Das unten gezeigte Bild ist ein Beispiel dafür, was YOLOE im prompt-free-Modus detect kann.

‍

Echtzeit-Anwendungen von YOLOE

Die Fähigkeit von YOLOE, sowohl auf Text- als auch auf Bildaufforderungen zu reagieren, macht es zu einem zuverlässigen Werkzeug für Echtzeitanwendungen. Seine Flexibilität ist besonders nützlich in schnelllebigen Umgebungen, in denen Timing und Genauigkeit von entscheidender Bedeutung sind. 

Lassen Sie uns einige Beispiele aus der Praxis untersuchen, wie YOLOE eingesetzt werden kann.

Verbesserung der Gepäckabfertigung: Echtzeit-Gepäckerkennung

Auf stark frequentierten Flughäfen kann es eine Herausforderung sein, bestimmtes Gepäck zu finden, insbesondere wenn es sich um fehlende Gepäckstücke handelt. YOLOE kann diesen Prozess rationalisieren, indem es hilft, Live-Videos zu scannen und Artikel schnell anhand einfacher Eingabeaufforderungen wie “rote Tasche” zu identifizieren. 

Wenn eine Tasche fehlt oder verlegt wurde, kann das Personal die Suchanfrage einfach ändern, um nach einem anderen Gegenstand zu suchen, z. B. nach einem „schwarzen Koffer“. Diese Fähigkeit zur sofortigen Anpassung kann dem Flughafenpersonal helfen, das richtige Gepäck schnell zu finden, ohne stundenlanges Filmmaterial zu sichten oder das Modell neu zu trainieren, wodurch die Gepäckabfertigung und die Lösung von Problemen mit fehlendem Gepäck wesentlich schneller und effizienter werden.

Überwachung öffentlicher Räume mit YOLOE

Überwachungsvideos von öffentlichen Plätzen wie belebten Märkten und Cafés enthalten oft eine Mischung aus Personen, Objekten und Aktivitäten, die sich im Laufe des Tages ändern. YOLOE kann dieses Filmmaterial in Echtzeit im promptfreien Modus analysieren und automatisch Gegenstände wie Taschen, Tische oder Fahrräder erkennen, ohne dass spezifische Anweisungen erforderlich sind.

‍

Dies ist besonders nützlich für Sicherheitsteams, um unbeaufsichtigte Gegenstände zu erkennen oder die Bewegung von Menschenmengen track . Die Fähigkeit von YOLOE, mehrere Objekte gleichzeitig detect , erleichtert die Verwaltung öffentlicher Räume bei Veranstaltungen oder in Stoßzeiten und hilft den Teams, informiert und reaktionsfähig zu bleiben.

Vor- und Nachteile von YOLOE

Hier sind einige der wichtigsten Vorteile des Einsatzes von YOLOE für Computer-Vision-Anwendungen:

• Echtzeit-Performance: YOLOE ist für eine schnelle und effiziente Verarbeitung optimiert und ermöglicht eine Echtzeit-Erkennung, selbst in dynamischen Umgebungen wie Live-Video-Streams oder belebten öffentlichen Räumen.
  ‍
• Skalierbarkeit: YOLOE ist skalierbar und eignet sich gut für eine Vielzahl von Anwendungen, von Sicherheit und Überwachung bis hin zu Einzelhandel, Gesundheitswesen und autonomen Fahrzeugen.
  ‍
• Einfach zu verwenden: Da YOLOE vom Ultralytics Python unterstützt wird, lässt es sich leicht in Ihre bestehenden Computer-Vision-Projekte integrieren.

Bei der Verwendung von YOLOE sind jedoch einige Einschränkungen zu beachten. Hier sind ein paar Faktoren, die Sie berücksichtigen sollten:

• Erfordert ausreichend Trainingsdaten: Obwohl YOLOE Zero-Shot-Detection unterstützt, hängt seine Leistung bei unbekannten Objekten davon ab, wie gut es aus seinen Trainingsdaten generalisiert. In einigen Fällen benötigt es möglicherweise zusätzliche Daten oder Feinabstimmung, um in hochspezialisierten Aufgaben gut zu funktionieren.
  ‍
• Empfindlich gegenüber der Eingabequalität: Die Genauigkeit des Modells kann durch Bilder oder Videos von schlechter Qualität beeinträchtigt werden. Unscharfe oder schlecht beleuchtete Eingaben können die Fähigkeit des Modells beeinträchtigen, Objekte genau detect .

Wesentliche Erkenntnisse

YOLOE bietet mehr Flexibilität für Computer Vision, indem es Benutzern ermöglicht, die Erkennung mit Text- oder Bildaufforderungen zu steuern. Es funktioniert gut in realen Situationen, in denen sich Szenen schnell ändern und ein erneutes Training keine Option ist.

Von der Gepäckabfertigung bis zur Überwachung öffentlicher Räume passt sich YOLOE problemlos an neue Aufgaben an. Da KI immer zugänglicher wird, helfen Modelle wie YOLOE mehr Branchen, Visionstechnologie auf praktische und effiziente Weise einzusetzen.

Treten Sie unserer Community bei und erkunden Sie unser GitHub-Repository, um mehr über KI-Innovationen zu erfahren. Entdecken Sie die neuesten Fortschritte in Bereichen wie KI im Einzelhandel und Computer Vision im Gesundheitswesen auf unseren Lösungsseiten. Sehen Sie sich unsere Lizenzoptionen an und legen Sie noch heute mit Computer Vision los!