Zero-Shot Learning

Zero-Shot-Lernen (ZSL) ist ein Paradigma des maschinellen Lernens, das Modelle der künstlichen Intelligenz in die Lage versetzt, Objekte zu erkennen, zu klassifizieren oder zu detektieren, denen sie während ihrer Trainingsphase nie begegnet sind. Beim traditionellen überwachten Lernen benötigt ein Modell Tausende annotierte Beispiele für jede spezifische Kategorie, die es erkennen soll. ZSL beseitigt diese strikte Abhängigkeit, indem es Zusatzinformationen – typischerweise Textbeschreibungen, semantische Attribute oder Einbettungen – nutzt, um die Lücke zwischen bekannten und unbekannten Klassen zu überbrücken. Dadurch können Systeme der künstlichen Intelligenz (AI) deutlich flexibler und skalierbarer werden und dynamische Umgebungen bewältigen, in denen das Sammeln umfassender Daten für jedes mögliche Objekt unpraktisch ist.

Funktionsweise des Zero-Shot-Lernens#

Der Kernmechanismus von ZSL besteht darin, Wissen mithilfe eines gemeinsamen semantischen Raums von vertrauten auf unbekannte Konzepte zu übertragen. Statt ein Modell darauf zu trainieren, ein „Zebra“ ausschließlich durch das Einprägen von Pixelmustern schwarzer und weißer Streifen zu erkennen, lernt es die Beziehung zwischen visuellen Merkmalen und semantischen Attributen (z. B. „pferdeähnliche Form“, „Streifenmuster“, „vier Beine“), die aus der Verarbeitung natürlicher Sprache (NLP) abgeleitet werden.

Dieser Prozess stützt sich häufig auf multimodale Modelle, die Bild- und Textrepräsentationen aufeinander abstimmen. Grundlegende Forschungsarbeiten wie OpenAIs CLIP zeigen beispielsweise, wie Modelle visuelle Konzepte durch die Überwachung mit natürlicher Sprache erlernen können. Wenn ein ZSL-Modell auf ein unbekanntes Objekt trifft, extrahiert es die visuellen Merkmale und vergleicht sie mit einem Wörterbuch semantischer Vektoren. Stimmen die visuellen Merkmale mit der semantischen Beschreibung der neuen Klasse überein, kann das Modell das Objekt korrekt klassifizieren und damit effektiv eine „Zero-Shot“-Vorhersage durchführen. Dieser Ansatz bildet eine Grundlage moderner Basismodelle, die über eine große Bandbreite von Aufgaben hinweg verallgemeinern.

Anwendungen in der Praxis#

Zero-Shot-Lernen treibt Innovationen in verschiedenen Branchen voran, indem es Systemen ermöglicht, über ihre ursprünglichen Trainingsdaten hinaus zu generalisieren.

1. Objekterkennung mit offenem Vokabular: Moderne Architekturen wie YOLO-World nutzen ZSL, um Objekte anhand von benutzerdefinierten Text-Prompts zu erkennen. Dadurch wird Objekterkennung in Szenarien ermöglicht, in denen es unmöglich ist, im Voraus eine feste Klassenliste zu definieren, etwa bei der Suche nach bestimmten Objekten in umfangreichen Videoarchiven. Forschende bei Google Research erweitern kontinuierlich die Grenzen dieser Fähigkeiten mit offenem Vokabular.

2. Medizinische Diagnostik: Im Bereich der KI im Gesundheitswesen ist es oft schwierig und kostspielig, annotierte Daten für seltene Krankheiten zu beschaffen. ZSL-Modelle können anhand häufiger Erkrankungen und Beschreibungen seltener Symptome aus der medizinischen Fachliteratur trainiert werden, die in Datenbanken wie PubMed zu finden ist. Dadurch kann das System potenzielle seltene Anomalien in medizinischen Bildern erkennen, ohne dass ein umfangreicher Datensatz positiver Fälle erforderlich ist.

3. Schutz von Wildtieren: In der KI in der Landwirtschaft und der Ökologie ist die Identifizierung gefährdeter Arten, die nur selten fotografiert werden, von entscheidender Bedeutung. ZSL ermöglicht es Naturschutzfachleuten, diese Tiere mithilfe attributbasierter Beschreibungen zu erkennen, die in biologischen Datenbanken wie der Encyclopedia of Life definiert sind.

Zero-Shot-Erkennung mit Ultralytics#

Das Modell Ultralytics YOLO-World veranschaulicht Zero-Shot-Lernen in der Praxis. Es ermöglicht dir, zur Laufzeit dynamisch benutzerdefinierte Klassen zu definieren, ohne das Modell neu zu trainieren. Dies wird erreicht, indem ein leistungsfähiges Erkennungs-Backbone mit einem Text-Encoder verbunden wird, der natürliche Sprache versteht.

Das folgende Python-Beispiel zeigt, wie du YOLO-World mit dem Paket ultralytics verwenden kannst, um Objekte zu erkennen, die nicht ausdrücklich Bestandteil eines standardmäßigen Trainingsdatensatzes waren.

from ultralytics import YOLOWorld

# Load a pre-trained YOLO-World model capable of Zero-Shot Learning
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes via text prompts (e.g., specific accessories)
# The model adjusts to detect these new classes without retraining
model.set_classes(["blue backpack", "red apple", "sunglasses"])

# Run inference on an image to detect the new zero-shot classes
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results
results[0].show()

Abgrenzung zu verwandten Konzepten#

Für ein umfassendes Verständnis von ZSL ist es hilfreich, zwischen diesem Ansatz und ähnlichen Lernstrategien im Bereich des maschinellen Sehens (CV) zu unterscheiden:

• Few-Shot-Lernen (FSL): Während ZSL keine Beispiele der Zielklasse benötigt, erhält das Modell beim FSL eine sehr kleine Referenzmenge (typischerweise 1 bis 5 Beispiele), an die es sich anpasst. ZSL gilt im Allgemeinen als anspruchsvoller, da es sich vollständig auf semantische Schlussfolgerungen statt auf visuelle Beispiele stützt.
• One-Shot-Lernen: Eine Teilmenge des FSL, bei der das Modell anhand genau eines annotierten Beispiels lernt. ZSL unterscheidet sich grundlegend davon, da es ohne auch nur ein einziges Bild der neuen Kategorie arbeitet.
• Transferlernen: Dieser weit gefasste Begriff bezeichnet die Übertragung von Wissen von einer Aufgabe auf eine andere. ZSL ist eine spezifische Form des Transferlernens, bei der semantische Attribute verwendet werden, um Wissen auf unbekannte Klassen zu übertragen, ohne dass ein herkömmliches Feintuning mit neuen Daten erforderlich ist.

Herausforderungen und Ausblick#

Obwohl ZSL ein enormes Potenzial bietet, steht es vor Herausforderungen wie dem Problem der Domänenverschiebung, bei dem die während des Trainings erlernten semantischen Attribute nicht perfekt dem visuellen Erscheinungsbild unbekannter Klassen entsprechen. Darüber hinaus können ZSL-Modelle unter Verzerrungen leiden, sodass die Vorhersagegenauigkeit bei bekannten Klassen deutlich höher ist als bei unbekannten.

Forschungsarbeiten von Organisationen wie dem AI-Labor der Stanford University und der IEEE Computer Society befassen sich weiterhin mit diesen Einschränkungen. Mit zunehmender Leistungsfähigkeit von Werkzeugen für maschinelles Sehen wird ZSL voraussichtlich zu einer Standardfunktion werden und die Abhängigkeit von umfangreichen Datenannotierungs-aufwänden verringern. Für Teams, die Datensätze vor dem Einsatz fortschrittlicher Modelle effizient verwalten möchten, bietet die Ultralytics Platform umfassende Werkzeuge für Annotation und Datensatzverwaltung.