Die Tokenisierung ist ein grundlegender Vorverarbeitungsschritt in der künstlichen Intelligenz (KI) und im maschinellen Lernen (ML) und besonders wichtig in der natürlichen Sprachverarbeitung (NLP). Dabei werden Textsequenzen oder andere Daten in kleinere, überschaubare Einheiten, sogenannte Token, zerlegt. Diese Tokens dienen als Grundbausteine, die Algorithmen verwenden, um Informationen zu verstehen und zu verarbeiten. Sie wandeln rohe Eingaben wie Sätze oder Absätze in ein Format um, das für die Analyse durch maschinelle Lernmodelle geeignet ist. Dieser Prozess ist unerlässlich, weil Computer Texte nicht auf die gleiche Weise verstehen wie Menschen; sie brauchen Daten, die in einzelne Teile strukturiert sind.
Wie Tokenisierung funktioniert
Die Kernidee hinter der Tokenisierung ist die Segmentierung. Bei Textdaten bedeutet das in der Regel, dass Sätze anhand von vordefinierten Regeln oder gelernten Mustern in Wörter, Teilwörter oder sogar einzelne Zeichen zerlegt werden. Zum Beispiel könnte der SatzUltralytics YOLO11 ist leistungsstark" in einzelne Wörter zerlegt werden: ["Ultralytics", "YOLO11", "is", "powerful"]. Welche Methode gewählt wird, hängt stark von der Aufgabe und der verwendeten Modellarchitektur ab.
Zu den gängigen Techniken gehört die Aufteilung von Text anhand von Leerzeichen und Interpunktion. Oft sind jedoch fortschrittlichere Methoden notwendig, vor allem wenn es um große Vokabeln oder Wörter geht, die im Training nicht vorkommen. Techniken wie Byte Pair Encoding (BPE) oder WordPiece zerlegen Wörter in kleinere Unterworteinheiten. Sie werden häufig in Large Language Models (LLMs) wie BERT und GPT-4 eingesetzt, um die Größe des Vokabulars effektiv zu verwalten und unbekannte Wörter elegant zu behandeln. Die Wahl der Tokenisierungsstrategie kann die Leistung des Modells und die Effizienz der Berechnungen erheblich beeinflussen.
Relevanz und Anwendungen in der realen Welt
Die Tokenisierung ist von entscheidender Bedeutung, da die meisten ML-Modelle, insbesondere Deep-Learning-Architekturen, numerische Eingaben und keinen Rohtext benötigen. Indem wir Text in diskrete Token umwandeln, können wir diese Token auf numerische Repräsentationen, wie z. B. Einbettungen, abbilden. Diese numerischen Vektoren erfassen semantische Bedeutungen und Beziehungen, so dass Modelle, die mit Frameworks wie PyTorch oder TensorFlow erstellte Modelle Muster aus den Daten lernen können. Dieser grundlegende Schritt ist die Basis für zahlreiche KI-Anwendungen:
Natürliche Sprachverarbeitung (NLP): Die Tokenisierung ist für fast alle NLP-Aufgaben von zentraler Bedeutung.
- Maschinelle Übersetzung: Dienste wie Google Translate zerlegen den Eingabesatz in der Ausgangssprache in Token, verarbeiten diese Token mithilfe komplexer Modelle (die oft auf der Transformer-Architektur basieren) und erzeugen dann Token in der Zielsprache, die schließlich zum übersetzten Satz zusammengesetzt werden.
- Stimmungsanalyse: Um festzustellen, ob eine Kundenrezension positiv oder negativ ist, wird der Text zunächst mit Token versehen. Das Modell analysiert dann diese Token (und ihre numerischen Repräsentationen), um die allgemeine Stimmung zu klassifizieren. Erfahre mehr über die Stimmungsanalyse. Techniken wie das Prompt-Tuning basieren ebenfalls auf der Manipulation von Token-Sequenzen.
Computer Vision (CV): Obwohl das Konzept traditionell mit NLP in Verbindung gebracht wird, erstreckt es sich auch auf Computer Vision (CV).
- Vision Transformers (ViT): Bei Modellen wie Vision Transformers (ViT) werden Bilder in Bereiche mit fester Größe unterteilt. Diese Flecken werden als "visuelle Token" behandelt und in Sequenzen zerlegt. Diese Sequenzen werden dann in ein Transformer-Netzwerk eingespeist, das Mechanismen wie die Selbstaufmerksamkeit nutzt, um Beziehungen zwischen verschiedenen Bildteilen zu verstehen, ähnlich wie bei der Verarbeitung von Text-Token im NLP. Dies ermöglicht Aufgaben wie Bildklassifizierung und Objekterkennung. Modelle wie das Segment Anything Model (SAM) nutzen ebenfalls Token-ähnliche Konzepte zur Bildsegmentierung.
- Multimodale Modelle: Modelle wie CLIP und YOLO verbinden Sehen und Sprache, indem sie sowohl Text- als auch visuelle Token (oder Bildmerkmale) verarbeiten, um Aufgaben wie die Erkennung von Objekten auf der Grundlage von Textbeschreibungen durchzuführen.
Tokenisierung vs. Tokens
Es ist wichtig, zwischen "Tokenisierung" und einem"Token" zu unterscheiden.
- Tokenisierung: Bezieht sich auf den Prozess der Zerlegung von Daten in kleinere Einheiten. Das ist ein Vorverarbeitungsschritt.
- Token: Bezieht sich auf das Ergebnis des Tokenisierungsprozesses - die einzelne Einheit (Wort, Teilwort, Zeichen oder Bildfeld), die das Modell verarbeitet.
Das Verständnis der Tokenisierung ist grundlegend, um zu verstehen, wie KI-Modelle verschiedene Datentypen interpretieren und daraus lernen. Für die Verwaltung von Datensätzen und das Training von Modellen werden häufig Plattformen wie Ultralytics HUB eingesetzt, die dabei helfen, die Arbeitsabläufe für die Datenvorverarbeitung und das Modelltraining zu rationalisieren, wobei häufig implizit oder explizit tokenisierte Daten verwendet werden. Im Zuge der Weiterentwicklung der KI passen sich die Methoden der Tokenisierung immer weiter an und spielen eine Schlüsselrolle bei der Entwicklung anspruchsvoller Modelle für Aufgaben, die von der Texterstellung bis zum komplexen visuellen Verständnis in Bereichen wie autonomen Fahrzeugen und medizinischer Bildanalyse reichen.
DE
EN
ZH
KO
JA
RU
FR
ES
PT
IT
AR
TR
VI
