Token

In der komplexen Architektur moderner künstlicher Intelligenz stellt ein Token die fundamentale, atomare Informationseinheit dar, die ein Modell verarbeitet. Bevor ein Algorithmus einen Satz interpretieren, ein Software-Skript analysieren oder Objekte in einem Bild erkennen kann, müssen die Rohdaten in diese diskreten, standardisierten Elemente zerlegt werden. Diese Segmentierung ist ein entscheidender Schritt bei der Datenvorverarbeitung, bei dem unstrukturierte Eingaben in ein numerisches Format umgewandelt werden, das von neuronalen Netzen effizient verarbeitet werden kann. Während Menschen Sprache als kontinuierlichen Gedankenstrom oder Bilder als nahtlose visuelle Szenen wahrnehmen, benötigen Computermodelle diese granularen Bausteine, um Aufgaben wie Mustererkennung und semantische Analysen durchzuführen.

Link to this sectionToken vs. Tokenisierung#

Um die Mechanismen des maschinellen Lernens zu verstehen, ist es wichtig, zwischen der Dateneinheit und dem Prozess zu unterscheiden, der zu ihrer Erstellung verwendet wird. Diese Differenzierung vermeidet Verwirrung beim Entwurf von Daten-Pipelines und der Vorbereitung von Trainingsmaterial auf der Ultralytics Platform.

• Tokenisierung: Dies ist der algorithmische Prozess (das Verb), bei dem Rohdaten in Stücke zerlegt werden. Bei Text kann dies den Einsatz von Bibliotheken wie dem Natural Language Toolkit (NLTK) beinhalten, um festzulegen, wo eine Einheit endet und eine andere beginnt.
• Token: Dies ist das resultierende Ergebnis (das Substantiv). Es handelt sich um den tatsächlichen Datenbrocken – wie ein Wort, ein Teilwort oder ein Bildausschnitt –, der schließlich auf einen numerischen Vektor abgebildet wird, der als Embedding bekannt ist.

Link to this sectionTokens in verschiedenen KI-Bereichen#

Die Art eines Tokens variiert erheblich je nach Modalität der verarbeiteten Daten, insbesondere zwischen textuellen und visuellen Bereichen.

Link to this sectionText-Tokens in NLP#

Im Bereich der Natural Language Processing (NLP) sind Tokens die Eingaben für Large Language Models (LLMs). Frühe Ansätze bildeten strikt ganze Wörter ab, aber moderne Architekturen nutzen Teilwort-Algorithmen wie Byte Pair Encoding (BPE). Diese Methode ermöglicht es Modellen, seltene Wörter zu verarbeiten, indem sie sie in sinnvolle Silben zerlegen, wodurch die Vokabelgröße mit der semantischen Abdeckung in Einklang gebracht wird. Zum Beispiel könnte das Wort "unhappiness" in "un", "happi" und "ness" tokenisiert werden.

Link to this sectionVisuelle Tokens in der Computer Vision#

The concept of tokenization has expanded into computer vision with the advent of the Vision Transformer (ViT). Unlike traditional convolutional networks that process pixels in sliding windows, Transformers divide an image into a grid of fixed-size patches (e.g., 16x16 pixels). Each patch is flattened and treated as a distinct visual token. This approach enables the model to use self-attention mechanisms to understand the relationship between distant parts of an image, similar to how Google Research originally applied transformers to text.

Link to this sectionPraxisanwendungen#

Tokens fungieren in zahllosen Anwendungen als Brücke zwischen menschlichen Daten und maschineller Intelligenz.

1. Open-Vocabulary Object Detection: Fortschrittliche Modelle wie YOLO-World verwenden einen multimodalen Ansatz, bei dem Text-Tokens mit visuellen Merkmalen interagieren. Ein Benutzer kann benutzerdefinierte Texteingaben (z. B. "blauer Helm") machen, die das Modell tokenisiert und mit Objekten im Bild abgleicht. Dies ermöglicht Zero-Shot-Learning und erlaubt die Erkennung von Objekten, auf die das Modell nicht explizit trainiert wurde.

2. Generative KI: In Systemen zur Textgenerierung wie Chatbots operiert die KI, indem sie die Wahrscheinlichkeit des nächsten Tokens in einer Sequenz vorhersagt. Durch die iterative Auswahl des wahrscheinlichsten nachfolgenden Tokens konstruiert das System kohärente Sätze und Absätze und betreibt damit Tools, die von automatisiertem Kundensupport bis hin zu virtuellen Assistenten reichen.

Link to this sectionPython-Beispiel: Verwendung von Text-Tokens für die Detektion#

Der folgende Code-Schnipsel zeigt, wie das ultralytics-Paket Text-Tokens verwendet, um die Objekterkennung zu steuern. Während das hochmoderne YOLO26 für Hochgeschwindigkeits-Inferenz mit festen Klassen empfohlen wird, erlaubt die YOLO-World-Architektur auf einzigartige Weise, Klassen zur Laufzeit als Text-Tokens zu definieren.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of understanding text tokens
model = YOLO("yolov8s-world.pt")

# Define specific classes; these text strings are tokenized internally
# The model will look specifically for these "tokens" in the visual data
model.set_classes(["bus", "backpack"])

# Run prediction on an image using the defined tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results showing only the tokenized classes
results[0].show()

Das Verständnis von Tokens ist grundlegend für die Navigation in der Welt der generativen KI und fortgeschrittenen Analytik. Egal, ob es darum geht, einen Chatbot fließend kommunizieren zu lassen oder einem visuellen System dabei zu helfen, subtile Objektklassen zu unterscheiden: Tokens bleiben die essenzielle Währung maschineller Intelligenz, die von Frameworks wie PyTorch und TensorFlow verwendet wird.