Token

In the sophisticated architecture of modern artificial intelligence, a token represents the fundamental, atomic unit of information that a model processes. Before an algorithm can interpret a sentence, analyze a software script, or recognize objects in an image, the raw input data must be broken down into these discrete, standardized elements. This segmentation is a pivotal step in data preprocessing, transforming unstructured inputs into a numerical format that neural networks can efficiently compute. While humans perceive language as a continuous stream of thoughts or images as seamless visual scenes, computational models require these granular building blocks to perform operations like pattern recognition and semantic analysis.

Link to this sectionToken ve Tokenleştirme#

Makine öğreniminin işleyişini kavramak için, veri birimi ile onu oluşturmak için kullanılan süreç arasındaki farkı anlamak önemlidir. Bu ayrım, veri hatları tasarlarken ve Ultralytics Platform üzerinde eğitim materyalleri hazırlarken kafa karışıklığını önler.

• Tokenleştirme: Ham veriyi parçalara ayırma işleminin (fiil) algoritmik sürecidir. Metin için bu, bir birimin nerede bitip diğerinin nerede başladığını belirlemek adına Natural Language Toolkit (NLTK) gibi kütüphaneleri kullanmayı gerektirebilir.
• Token: Ortaya çıkan çıktıdır (isim). Bir kelime, alt kelime veya görüntü yaması gibi, en sonunda gömme olarak bilinen sayısal bir vektörle eşleştirilen gerçek veri parçasıdır.

Link to this sectionFarklı Yapay Zeka Alanlarında Tokenlar#

Bir tokenın doğası, özellikle metinsel ve görsel alanlar arasında, işlenen verinin yöntemine bağlı olarak önemli ölçüde değişir.

Link to this sectionDoğal Dil İşlemede Metin Tokenları#

Doğal Dil İşleme (NLP) alanında tokenlar, Büyük Dil Modellerinin (LLM'ler) girdileridir. İlk yaklaşımlar doğrudan tam kelimelerle eşleşiyordu, ancak modern mimariler Byte Pair Encoding (BPE) gibi alt kelime algoritmalarını kullanıyor. Bu yöntem, nadir kelimeleri anlamlı hecelere bölerek modellerin bunları işlemesine olanak tanır ve kelime dağarcığı boyutu ile anlamsal kapsam arasında denge kurar. Örneğin, "mutsuzluk" kelimesi "mut", "suz" ve "luk" şeklinde tokenlaştırılabilir.

Link to this sectionBilgisayarlı Görüde Görsel Tokenlar#

The concept of tokenization has expanded into computer vision with the advent of the Vision Transformer (ViT). Unlike traditional convolutional networks that process pixels in sliding windows, Transformers divide an image into a grid of fixed-size patches (e.g., 16x16 pixels). Each patch is flattened and treated as a distinct visual token. This approach enables the model to use self-attention mechanisms to understand the relationship between distant parts of an image, similar to how Google Research originally applied transformers to text.

Link to this sectionGerçek Dünya Uygulamaları#

Tokenlar, sayısız uygulamada insan verisi ile makine zekası arasında bir köprü görevi görür.

1. Açık Sözlüklü Nesne Algılama: YOLO-World gibi gelişmiş modeller, metin tokenlarının görsel özelliklerle etkileşime girdiği çok modlu bir yaklaşım kullanır. Bir kullanıcı, modelin tokenlaştırıp görüntüdeki nesnelerle eşleştirdiği özel metin istemleri (örneğin, "mavi kask") girebilir. Bu, modelin üzerinde özel olarak eğitilmediği nesnelerin bile algılanmasını sağlayan sıfır örnekli öğrenmeye olanak tanır.

2. Üretken Yapay Zeka: Sohbet robotları gibi metin üretimi sistemlerinde yapay zeka, bir dizideki bir sonraki tokenın olasılığını tahmin ederek çalışır. Sistem, en olası sonraki tokenı yinelemeli olarak seçerek tutarlı cümleler ve paragraflar oluşturur; bu da otomatik müşteri desteğinden sanal asistanlara kadar uzanan araçlara güç verir.

Link to this sectionPython Örneği: Algılama İçin Metin Tokenlarını Kullanma#

Aşağıdaki kod parçası, ultralytics paketinin nesne algılamayı yönlendirmek için metin tokenlarını nasıl kullandığını göstermektedir. Yüksek hızlı ve sabit sınıflı çıkarım için son teknoloji YOLO26 önerilse de, YOLO-World mimarisi kullanıcıların sınıfları çalışma zamanında metin tokenları olarak tanımlamasına benzersiz bir şekilde olanak tanır.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of understanding text tokens
model = YOLO("yolov8s-world.pt")

# Define specific classes; these text strings are tokenized internally
# The model will look specifically for these "tokens" in the visual data
model.set_classes(["bus", "backpack"])

# Run prediction on an image using the defined tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results showing only the tokenized classes
results[0].show()

Tokenları anlamak, üretken yapay zeka ve gelişmiş analitik dünyasında gezinmek için temel bir beceridir. Bir sohbet robotunun akıcı bir şekilde konuşmasını sağlamak ya da bir görme sisteminin ince nesne sınıflarını ayırt etmesine yardımcı olmak için olsun, tokenlar PyTorch ve TensorFlow gibi çerçeveler tarafından kullanılan makine zekasının temel para birimi olmaya devam eder.