Token

In der ausgeklügelten Architektur moderner artificial intelligence stellt ein Token die fundamentale, atomare Informationseinheit dar, die ein Modell verarbeitet. Bevor ein Algorithmus einen Satz interpretieren, ein Software-Skript analysieren oder Objekte in einem Bild erkennen kann, müssen die rohen Eingangsdaten in diese diskreten, standardisierten Elemente zerlegt werden. Diese Segmentierung ist ein entscheidender Schritt bei der data preprocessing, bei dem unstrukturierte Eingaben in ein numerisches Format umgewandelt werden, mit dem neural networks effizient rechnen können. Während Menschen Sprache als kontinuierlichen Gedankenstrom oder Bilder als nahtlose visuelle Szenen wahrnehmen, benötigen Rechenmodelle diese granularen Bausteine, um Aufgaben wie pattern recognition und semantische Analysen auszuführen.

Token vs. Tokenisierung#

Um die Mechanik des machine learning zu verstehen, ist es wichtig, zwischen der Dateneinheit und dem Prozess zu unterscheiden, der sie erzeugt. Diese Differenzierung verhindert Verwirrung beim Entwurf von Daten-Pipelines und der Vorbereitung von Trainingsmaterial auf der Ultralytics Platform.

• Tokenization: Dies ist der algorithmische Prozess (das Verb) des Aufteilens von Rohdaten in Stücke. Bei Text kann dies die Verwendung von Bibliotheken wie dem Natural Language Toolkit (NLTK) beinhalten, um zu bestimmen, wo eine Einheit endet und die nächste beginnt.
• Token: Dies ist das resultierende Ergebnis (das Nomen). Es ist der tatsächliche Datenbrocken – wie ein Wort, ein Teilwort oder ein Bildausschnitt –, der schließlich auf einen numerischen Vektor abgebildet wird, der als embedding bekannt ist.

Tokens in verschiedenen KI-Bereichen#

Die Art eines Tokens variiert erheblich je nach Modalität der verarbeiteten Daten, insbesondere zwischen textuellen und visuellen Bereichen.

Text-Tokens in NLP#

Im Bereich der Natural Language Processing (NLP) sind Token die Eingaben für Large Language Models (LLMs). Frühe Ansätze bildeten strikt ganze Wörter ab, aber moderne Architekturen nutzen Subword-Algorithmen wie Byte Pair Encoding (BPE). Diese Methode ermöglicht es Modellen, mit seltenen Wörtern umzugehen, indem sie diese in bedeutungsvolle Silben zerlegen, wodurch die Vokabelgröße mit der semantischen Abdeckung in Einklang gebracht wird. Beispielsweise kann das Wort „unhappiness“ in „un“, „happi“ und „ness“ tokenisiert werden.

Visuelle Tokens in der Computer Vision#

Das Konzept der Tokenisierung hat sich mit dem Aufkommen des Vision Transformer (ViT) auf computer vision ausgeweitet. Im Gegensatz zu herkömmlichen Faltungsnetzwerken, die Pixel in gleitenden Fenstern verarbeiten, unterteilen Transformer ein Bild in ein Raster aus fest großen Patches (z. B. 16x16 Pixel). Jeder Patch wird abgeflacht und als eigenständiges visuelles Token behandelt. Dieser Ansatz versetzt das Modell in die Lage, self-attention-Mechanismen zu nutzen, um die Beziehung zwischen weit entfernten Teilen eines Bildes zu verstehen, ähnlich wie Google Research Transformer ursprünglich auf Text anwendete.

Praxisanwendungen#

Tokens fungieren in zahllosen Anwendungen als Brücke zwischen menschlichen Daten und maschineller Intelligenz.

1. Open-Vocabulary Object Detection: Fortgeschrittene Modelle wie YOLO-World verwenden einen multimodalen Ansatz, bei dem Text-Token mit visuellen Merkmalen interagieren. Du kannst benutzerdefinierte Texteingaben (z. B. „blue helmet“) eingeben, die das Modell tokenisiert und mit Objekten im Bild abgleicht. Dies ermöglicht zero-shot learning, wodurch das Erkennen von Objekten möglich wird, auf die das Modell nicht explizit trainiert wurde.

2. Generative AI: In text generation-Systemen wie Chatbots arbeitet die KI, indem sie die Wahrscheinlichkeit des nächsten Tokens in einer Sequenz vorhersagt. Durch iteratives Auswählen des wahrscheinlichsten nachfolgenden Tokens konstruiert das System kohärente Sätze und Absätze und betreibt Tools, die von automatisiertem Kundensupport bis hin zu virtual assistants reichen.

Python-Beispiel: Verwendung von Text-Tokens für die Detektion#

Das folgende Code-Snippet zeigt, wie das Paket ultralytics Text-Token verwendet, um die object detection zu steuern. Während das hochmoderne YOLO26 für Hochgeschwindigkeits-Inferenz mit festen Klassen empfohlen wird, ermöglicht die YOLO-World-Architektur auf einzigartige Weise, Klassen zur Laufzeit als Text-Token zu definieren.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of understanding text tokens
model = YOLO("yolov8s-world.pt")

# Define specific classes; these text strings are tokenized internally
# The model will look specifically for these "tokens" in the visual data
model.set_classes(["bus", "backpack"])

# Run prediction on an image using the defined tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results showing only the tokenized classes
results[0].show()

Das Verständnis von Token ist grundlegend, um sich in der Landschaft der generative AI und der fortgeschrittenen Analytik zurechtzufinden. Ganz gleich, ob es darum geht, einen chatbot fließend unterhalten zu lassen oder einem Vision-System dabei zu helfen, zwischen subtilen Objektklassen zu unterscheiden: Token bleiben die wesentliche Währung der maschinellen Intelligenz, die von Frameworks wie PyTorch und TensorFlow verwendet wird.