Einbettungen

Einbettungen sind ein Eckpfeiler des modernen maschinellen Lernens (ML) und stellen eine leistungsstarke Methode zur Umwandlung hochdimensionaler Daten wie Wörter, Bilder oder sogar Benutzer in aussagekräftige, dichte und niedrigdimensionale numerische Vektoren dar. Das Hauptziel einer Einbettung besteht darin, die semantischen Beziehungen und den zugrunde liegenden Kontext der ursprünglichen Daten zu erfassen. In diesem Vektorraum werden Elemente mit ähnlichen Bedeutungen oder Merkmalen näher beieinander angeordnet. Dadurch können KI-Modelle komplexe Schlussfolgerungen und Ähnlichkeitsaufgaben durchführen, die mit unstrukturierten Rohdaten unmöglich wären.

Wie Einbettungen erstellt werden

Einbettungen werden in der Regel automatisch von einem Deep-Learning-Modell während des Trainingsprozesses gelernt. Ein neuronales Netzwerk, das häufig mit Frameworks wie PyTorch oder TensorFlow erstellt wird, wird für eine relevante Aufgabe trainiert, z. B. die Vorhersage des nächsten Wortes in einem Satz oder die Klassifizierung eines Bildes. Eine der versteckten Schichten in diesem Netzwerk wird dann als Einbettungsschicht verwendet. Während das Modell lernt, seine Aufgabe zu erfüllen, passt es die Gewichte in dieser Schicht an und lernt so, jedes Eingabeelement auf einen Vektor abzubilden, der seine wichtigsten Merkmale enthält. Dieser Prozess ist eine Form der Dimensionalitätsreduzierung, bei der große Mengen an Informationen in ein kompaktes und nützliches Format komprimiert werden.

Anwendungen und Beispiele

Einbettungen sind von grundlegender Bedeutung für eine breite Palette von KI-Anwendungen, von der Verarbeitung natürlicher Sprache (NLP) bis hin zum Computer Vision.

• Empfehlungssysteme für den elektronischen Handel: Empfehlungssysteme verwenden Einbettungen, um sowohl Nutzer als auch Produkte darzustellen. Wenn ein Nutzer häufig Artikel mit ähnlichen Einbettungen kauft oder anschaut (z. B. verschiedene Arten von Laufbekleidung), kann das System andere Produkte in dieser Vektorumgebung identifizieren (wie Energiegels oder Trinkrucksäcke) und diese empfehlen. Dies ist weitaus effektiver als eine einfache Stichwortsuche.
• Semantische Suche und Image Retrieval: Anstatt sich auf Tags oder Metadaten zu verlassen, verwenden semantische Suchsysteme Einbettungen, um Ergebnisse auf der Grundlage der begrifflichen Bedeutung zu finden. Ein Nutzer kann nach "Sommerurlaubsfotos" suchen, und das System findet Bilder von Stränden, Bergen und Reiseszenen, auch wenn diese Begriffe nicht in der Bildbeschreibung enthalten sind. Dies wird durch Modelle wie CLIP ermöglicht, die aufeinander abgestimmte Einbettungen sowohl für Text als auch für Bilder erzeugen und so leistungsstarke multimodale Modellfunktionen ermöglichen. Das gleiche Prinzip ermöglicht eine leistungsstarke visuelle Suche, eine wichtige Funktion in vielen modernen Anwendungen. Mit unserem Leitfaden für die Ähnlichkeitssuche können Sie sogar Ihre eigene erstellen.

Weitere Anwendungen sind die Arzneimittelforschung, bei der Moleküle eingebettet werden, um Wechselwirkungen vorherzusagen, und Musik-Streaming-Dienste, die Lieder mit ähnlichen Audioeigenschaften empfehlen.

Einbettungen vs. verwandte Konzepte

Es ist hilfreich, Einbettungen von verwandten Begriffen zu unterscheiden:

• Einbettungen vs. Merkmalsextraktion: Einbettungen sind eine hochentwickelte, oft automatisierte Form der Merkmalsextraktion, die durch Deep Learning erreicht wird. Während bei der herkömmlichen Merkmalstechnik Merkmale manuell definiert werden (z. B. Farbhistogramme für Bilder), lernen Einbettungen relevante Merkmale während des Trainings direkt aus den Daten.
• Einbettungen vs. Vektorsuche / Vektordatenbanken: Einbettungen sind die Vektordarstellungen von Datenelementen. Bei der Vektorsuche wird eine Sammlung von Einbettungen abgefragt, um die Einbettungen zu finden, die einem Abfragevektor am ähnlichsten (am nächsten) sind, wobei zur Effizienzsteigerung häufig Algorithmen der "Approximate Nearest Neighbor" (ANN) verwendet werden. Vektordatenbanken (wie Pinecone oder Milvus) sind spezielle Datenbanken, die für die Speicherung, Indizierung und schnelle Vektorsuche in großen Mengen von Einbettungen optimiert sind.
• Einbettungen vs. Tokenisierung: Bei der Tokenisierung wird der Text in kleinere Einheiten (Token) zerlegt. Diese Token werden dann auf Einbettungen abgebildet. Die Tokenisierung ist also ein vorbereitender Schritt, bevor die Einbettungsrepräsentation erstellt oder abgerufen wird. Bedeutende NLP-Modelle wie BERT und GPT-4 beruhen auf diesem zweistufigen Prozess.

Einbettungen bieten eine leistungsstarke Methode zur Darstellung von Daten für Modelle des maschinellen Lernens, die es ihnen ermöglicht, semantische Ähnlichkeiten und komplexe Muster in verschiedenen Datentypen zu verstehen. Sie sind ein wesentlicher Bestandteil der Fähigkeiten moderner ML-Plattformen wie Ultralytics HUB, die die Erstellung fortschrittlicher KI-Modelle für Aufgaben wie Objekterkennung und Bildklassifizierung vereinfachen.