Contrastive Learning

Kontrastives Lernen ist ein Paradigma des maschinellen Lernens, bei dem Modelle lernen, Daten durch den Vergleich ähnlicher und unähnlicher Beispiele zu verstehen. Im Gegensatz zum traditionellen überwachten Lernen, das stark auf manuell annotierten Datensätzen beruht, wird kontrastives Lernen häufig im Kontext des selbstüberwachten Lernens eingesetzt. Die Grundidee ist einfach und dennoch wirkungsvoll: Das Modell lernt, die Repräsentationen verwandter Elemente (positive Paare) in einem Vektorraum näher zusammenzuführen und die Repräsentationen nicht verwandter Elemente (negative Paare) weiter voneinander zu entfernen. Dieser Prozess ermöglicht es Algorithmen, aus großen Mengen unannotierter Daten robuste und verallgemeinerbare Merkmale zu gewinnen, was für die Skalierung von Systemen der künstlichen Intelligenz (AI) entscheidend ist.

Der Mechanismus des kontrastiven Lernens#

Im Mittelpunkt des kontrastiven Lernens steht das Konzept des Lernens durch Vergleich. Statt sich zu merken, dass ein bestimmtes Bild eine „Katze“ zeigt, lernt das Modell, dass zwei unterschiedliche Fotos einer Katze einander ähnlicher sind als jedes von ihnen einem Foto eines Hundes. Dies wird typischerweise durch Datenerweiterung erreicht. Ein Eingabebild, das häufig als „Anker“ bezeichnet wird, wird mithilfe von Verfahren wie Zuschneiden, Spiegeln oder Farbvariation in zwei unterschiedliche Versionen umgewandelt. Diese beiden Versionen bilden ein positives Paar. Anschließend wird das Modell darauf trainiert, den Abstand zwischen ihren Einbettungen zu minimieren und gleichzeitig den Abstand zu anderen zufälligen Bildern (negativen Beispielen) im Batch zu maximieren.

Dieser Ansatz hilft dem neuronalen Netzwerk, sich auf semantische Merkmale höherer Ebene statt auf Pixelmerkmale niedriger Ebene zu konzentrieren. Unabhängig davon, ob ein Auto beispielsweise rot oder blau ist oder nach links oder rechts zeigt, bleibt das zugrunde liegende Konzept „Auto“ dasselbe. Indem das Modell diese oberflächlichen Variationen ignoriert, entwickelt es ein tieferes Verständnis der visuellen Welt, was nachgelagerte Aufgaben wie Objekterkennung und Klassifizierung deutlich verbessert.

Anwendungen in der Praxis#

Kontrastives Lernen ist zu einer Grundlage vieler hochmoderner Anwendungen der künstlichen Intelligenz geworden, insbesondere wenn annotierte Daten knapp oder teuer zu beschaffen sind.

1. Zero-Shot-Bildklassifizierung: Modelle wie CLIP (Kontrastives Vortraining von Sprache und Bildern) nutzen kontrastives Lernen, um Bilder und Text in einem gemeinsamen Merkmalsraum aufeinander auszurichten. Durch das Training mit Millionen von Bild-Text-Paaren lernt das Modell, visuelle Konzepte mit Beschreibungen in natürlicher Sprache zu verknüpfen. Dies ermöglicht Zero-Shot-Lernen, bei dem das Modell Bilder in Kategorien einordnen kann, die es während des Trainings noch nie gesehen hat, indem es das Bild einfach einer Textaufforderung zuordnet.

2. Robustes Vortraining für die medizinische Bildgebung: Im Gesundheitswesen ist die Beschaffung von durch Fachleute annotierten medizinischen Aufnahmen kostspielig und zeitaufwendig. Forschende nutzen kontrastives Lernen, um Modelle auf großen Datenbanken mit unannotierten Röntgen- oder MRT-Aufnahmen vorzutrainieren. Dieses unüberwachte Vortraining erzeugt ein leistungsfähiges Backbone, das mit einer kleinen Anzahl annotierter Beispiele feinabgestimmt werden kann, um Krankheiten wie Lungenentzündungen oder Tumoren mit hoher Genauigkeit zu erkennen. Diese Technik nutzt Transferlernen, um Diagnosewerkzeuge im Bereich KI im Gesundheitswesen zu verbessern.

Verwandte Konzepte unterscheiden#

Um die besondere Rolle des kontrastiven Lernens in der Landschaft des maschinellen Lernens (ML) zu verstehen, ist es hilfreich, es von ähnlichen Verfahren abzugrenzen.

• Im Vergleich zu Autoencodern: Obwohl beide Verfahren unüberwacht sind, zielen Autoencoder darauf ab, die Eingabedaten Pixel für Pixel zu rekonstruieren und sie in eine Engpassschicht zu komprimieren. Kontrastives Lernen versucht dagegen nicht, das Bild wiederherzustellen, sondern konzentriert sich ausschließlich darauf, unterscheidungskräftige Repräsentationen zu erlernen, die verschiedene Konzepte voneinander trennen.
• Im Vergleich zu generativen gegnerischen Netzwerken (GANs): GANs bestehen aus einem Generator, der künstliche Daten erzeugt, und einem Diskriminator, der versucht, diese zu erkennen. Kontrastives Lernen konzentriert sich statt auf die Datengenerierung auf das Lernen von Repräsentationen und eignet sich daher besser für Aufgaben wie Suche, Abruf und Klassifizierung.
• Im Vergleich zum Triplet-Loss: Der klassische Triplet-Loss erfordert ausdrücklich einen Anker, ein positives und ein negatives Beispiel. Moderne kontrastive Verfahren wie SimCLR oder MoCo verallgemeinern dies, indem sie innerhalb eines Batches gleichzeitig einen Anker mit vielen negativen Beispielen vergleichen und dabei häufig eine bestimmte Verlustfunktion wie InfoNCE verwenden.

Praktisches Beispiel mit Einbettungen#

Das Training eines kontrastiven Modells von Grund auf ist zwar ressourcenintensiv, aber du kannst problemlos vortrainierte Modelle verwenden, um Merkmale zu extrahieren. Das folgende Beispiel zeigt, wie du ein Modell lädst und mithilfe des Pakets ultralytics den Merkmalsvektor (die Einbettung) für ein Bild extrahierst. Diese Einbettung stellt den semantischen Inhalt dar, der durch Verfahren ähnlich dem kontrastiven Vortraining erlernt wurde.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference on an image to get the results
# The 'embed' argument can be used in advanced workflows to extract feature layers
results = model("https://ultralytics.com/images/bus.jpg")

# Access the top predicted class probability
# This prediction is based on the learned feature representations
print(f"Top class: {results[0].names[results[0].probs.top1]}")
print(f"Confidence: {results[0].probs.top1conf:.4f}")

Diese Fähigkeit, umfangreiche und aussagekräftige Merkmale zu extrahieren, macht kontrastives Lernen für den Aufbau moderner Systeme der Computer Vision (CV) unverzichtbar und ermöglicht eine effiziente Bildsuche sowie fortgeschrittene Analysen. Für die Verwaltung von Datensätzen und das Training benutzerdefinierter Modelle, die von diesen fortschrittlichen Architekturen profitieren, bietet die Ultralytics Platform eine optimierte Umgebung für Bereitstellung und Überwachung.