Einbettungen

Einbettungen sind dichte, niedrig-dimensionale und kontinuierliche Vektordarstellungen von diskreten Variablen und dienen als ein grundlegendes Datenformat in modernen Künstliche Intelligenz (KI). Im Gegensatz zu spärlichen Darstellungen wie der One-Hot-Codierung, die zu massiven und ineffizienten Vektoren führen kann, erfassen Einbettungen die semantischen Beziehungen und die zugrunde liegende Bedeutung der Daten, Einbettungen die semantischen Beziehungen und die zugrunde liegende Bedeutung der Daten, indem sie hochdimensionale Eingaben - wie Wörter, Bilder oder Audiodaten - in einen kompakten numerischen Raum. In diesem gelernten Vektorraum werden Elemente, die die ähnliche Eigenschaften oder Kontexte aufweisen, in unmittelbarer Nähe zueinander angeordnet, so dass maschinelles Lernen (ML) Modelle komplexe Muster intuitiv verstehen und verarbeiten können.

Wie Einbettungen funktionieren

Das Kernkonzept der Einbettung ist die Übersetzung von Rohdaten in eine mathematische Form, die Computer effizient verarbeiten können. effizient verarbeiten können. Dieser Prozess umfasst in der Regel eine neuronales Netz (NN) das lernt Eingaben auf Vektoren von reellen Zahlen abzubilden. Während der Modelltraining Phase passt das Netzwerk diese Vektoren so an, dass der Abstand zwischen ihnen der Ähnlichkeit der Elemente entspricht, die sie darstellen.

Zum Beispiel, in Verarbeitung natürlicher Sprache (NLP)würden die Einbettungen für die Wörter "König" und "Königin" mathematisch näher beieinander liegen als zu "Apfel", was ihre semantische Beziehung widerspiegelt. Diese Umwandlung ist eine Form von DimensionalitätsreduktionDimensionalitätsreduktion, bei der die wesentlichen Informationen erhalten bleiben, während das Rauschen entfernt wird, wodurch nachgelagerte Aufgaben wie Klassifizierung oder Clustering wesentlich effektiver.

Erstellung und Schulung

Einbettungen werden in der Regel als Nebenprodukt des Trainings erzeugt Deep Learning (DL) Modelle auf großen Datensätzen. Frameworks wie z. B. PyTorch und TensorFlow bieten spezielle Schichten entwickelt, um diese Repräsentationen zu lernen.

1. Initialisierung: Die Einbettungsvektoren werden oft mit Zufallswerten initialisiert.
2. Lernen: Wenn das Modell für ein bestimmtes Ziel optimiert wird - wie die Vorhersage des nächsten Wortes in einer Sequenz oder die Identifizierung von Objekten in einem Bild Modellgewichte die mit der Einbettungsschicht Einbettungsschicht zugeordnet sind, aktualisiert.
3. Ergebnis: Die endgültigen gelernten Gewichte dienen als Nachschlagetabelle für die Einbettung, in der jedes eingegebene Token oder Objekt einem bestimmten dichten Vektor entspricht.

Sie können Einbettungen für Bilder mit Standard Computer Vision (CV) Arbeitsabläufe erzeugen. Das folgende Python demonstriert, wie man Einbettungen aus einem Bild mit Hilfe eines vortrainierten Ultralytics YOLO11 Klassifizierungsmodell.

from ultralytics import YOLO

# Load a YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Generate embeddings for an image from a URL
# The embed() method specifically returns the feature vector
embedding_vector = model.embed("https://ultralytics.com/images/bus.jpg")

# Output the shape of the embedding (e.g., a vector of length 1280)
print(f"Embedding shape: {embedding_vector[0].shape}")

Anwendungsfälle in der Praxis

Einbettungen haben die Art und Weise, wie Systeme mit unstrukturierten Daten umgehen, revolutioniert und ermöglichen Funktionen, die zuvor unmöglich waren.

• Semantische Suchmaschinen: Herkömmliche Suchmaschinen verlassen sich auf den Abgleich von Schlüsselwörtern, der oft fehlschlägt wenn die Suchanfragen Synonyme enthalten. Die semantische Suche nutzt Einbettungen, um die Absicht einer Anfrage mit dem Inhalt von Dokumenten oder Bildern abzugleichen. Durch den Vergleich des Vektor zwischen der Einbettung der Abfrage und der Einbettung des Dokuments, findet das System Ergebnisse, die konzeptionell relevant sind, auch wenn sie nicht genau die gleichen Wörter enthalten.
• Personalisierte Empfehlungssysteme: Plattformen wie Netflix oder Amazon nutzen Einbettungen zur Modellierung Vorlieben und Produkteigenschaften zu modellieren. Wenn ein Nutzer einen Science-Fiction-Film anschaut, wird die Empfehlungssystem kann andere Filme mit ähnlichen Einbettungsvektoren vorschlagen. Dieser Ansatz, der häufig mit Hilfe von Nearest Neighbour Algorithmen in einer Vektor-Datenbankumgesetzt wird, lässt sich effizient auf Millionen von Elementen skalieren.
• Zero-Shot Learning: Fortgeschrittene Modelle wie CLIP lernen gemeinsame Einbettungen für Text und Bilder. Dadurch kann ein System Bilder classify , die es während des Trainings noch nie gesehen hat. durch den Vergleich der Bildeinbettung mit den Texteinbettungen der Klassennamen, eine Technik, die als Zero-Shot-Lernen.

Embeddings vs. verwandte Konzepte

Um sich in der KI-Landschaft zurechtzufinden, ist es wichtig, den Unterschied zwischen Einbettungen und verwandten Begriffen zu verstehen.

• Einbettungen vs. Merkmalsextraktion: Bei beiden geht es um die Umwandlung von Daten in numerische Merkmale, Merkmalsextraktion kann sich auf auf manuelle Techniken (wie die Kantenerkennung) oder auf automatisierte Techniken beziehen. Einbettungen sind eine spezielle Art der automatisierten, erlernten Merkmalsextraktion, die zu dichten Vektoren führt, die häufig als Input für andere Modelle oder für Ähnlichkeitsaufgaben verwendet werden.
• Einbettungen vs. Vektorsuche: Eine Einbettung ist die Datenstruktur (der Vektor selbst). Die Vektorsuche ist der Prozess der Abfrage einer Sammlung dieser Einbettungen, um ähnliche Elemente zu finden. Technologien wie Pinecone oder Milvus sind darauf ausgelegt, Einbettungen zu speichern und diese Suche effizient durchzuführen.
• Einbettung vs. Tokenisierung: In der Textverarbeitung, Tokenisierung der Schritt der Aufteilung des Textes in kleinere Einheiten, die Token. Diese Token sind diskrete Bezeichner (ganze Zahlen), die die entsprechenden Einbettungsvektoren nachschlagen. Folglich, die Tokenisierung dem Abrufen von Einbettungen in der Pipeline voraus.

Durch die Umwandlung abstrakter Konzepte in mathematische Vektoren überbrücken Einbettungen die Kluft zwischen menschlicher Intuition und Maschinenlogik und ermöglichen so die Mustererkennung Fähigkeiten, die in den fortschrittlichsten KI-Anwendungen von heute.