Tokenization

Tokenization, ham veri akışını—metin, görüntü veya ses gibi—token adı verilen daha küçük, yönetilebilir birimlere ayırma işleminin algoritmik sürecidir. Bu dönüşüm, data preprocessing hattında kritik bir köprü görevi görerek yapılandırılmamış girdiyi artificial intelligence (AI) sistemlerinin yorumlayabileceği sayısal bir biçime dönüştürür. Bilgisayarlar insan dilini veya görsel sahneleri doğrudan anlayamaz; hesaplama yapmak için sayısal temsile ihtiyaç duyarlar. Verileri token'lara ayırarak mühendisler, neural networks'lerin bu birimleri anlamsal anlamı yakalayan vektör temsilleri olan embeddings ile eşleştirmesini sağlar. Bu temel adım olmadan, machine learning modelleri örüntüleri belirleyemez, bağlamı öğrenemez veya modern eğitim için gereken devasa datasets işleyemezdi.

Tokenleştirme ve Token#

Terimler deep learning tartışmalarında sıklıkla birlikte duyulsa da, iş akışını anlamak için yöntemi sonuçtan ayırt etmek faydalıdır.

• Tokenization süreçtir (fiil). Verileri bölmek için kullanılan belirli kural veya algoritma kümesini ifade eder. Metin için bu, bir birimin nerede bitip diğeri nerede başladığını belirlemek amacıyla NLTK veya spaCy gibi kütüphaneleri kullanmayı içerebilir.
• Token çıktıdır (isim). Süreç tarafından oluşturulan, tek bir kelime, alt kelime, karakter veya piksel yama gibi bireysel birimdir.

Farklı Alanlarda Yöntemler#

Tokenization stratejisi, verinin modalitesine bağlı olarak önemli ölçüde değişir ve bir foundation model dünyayı nasıl algıladığını etkiler.

NLP'de Metin Tokenleştirme#

In Natural Language Processing (NLP), amaç anlamı korurken metni bölütlemektir. Erken dönem yöntemler, kelimeleri boşluklarla ayırmak veya stop words kaldırmak gibi basit tekniklere dayanıyordu. Bununla birlikte, modern Large Language Models (LLMs), Byte Pair Encoding (BPE) veya WordPiece gibi daha sofistike alt kelime algoritmaları kullanır. Bu algoritmalar en sık görülen karakter çiftlerini yinelemeli olarak birleştirerek modelin nadir kelimeleri tanıdık alt bileşenlere bölerek işlemesini sağlar (örn. "smartphones" kelimesi "smart" + "phones" haline gelir). Bu yaklaşım, kelime hazinesi boyutunu karmaşık dili temsil etme yeteneğiyle dengeer.

Bilgisayarlı Görüde Görsel Tokenleştirme#

Geleneksel olarak, CNN'ler gibi computer vision (CV) modelleri kaydırma pencereleri kullanarak pikselleri işliyordu. Vision Transformer (ViT) tanıtılması, görüntülere tokenization uygulayarak bu paradigmayı değiştirdi. Görüntü, daha sonra düzleştirilen ve doğrusal olarak yansıtılan sabit boyutlu yamalara (örn. 16x16 piksel) bölünür. Bu "görsel token'lar", modelin, bir Transformer bir cümleyi işlemesine benzer şekilde görüntü genelinde küresel ilişkileri öğrenmek için self-attention mekanizmalarını kullanmasına olanak tanır.

Gerçek Dünya Uygulamaları#

Tokenleştirme, günümüzde üretim ortamlarında kullanılan birçok yapay zeka uygulamasının arkasındaki sessiz motordur.

1. Açık Kelime Dağarcığı Nesne Tespiti: YOLO-World gibi gelişmiş mimariler bir multi-modal model yaklaşımı kullanır. Bir kullanıcı "kırmızı şapka giyen kişi" gibi bir komut girdiğinde, sistem bu metni token'lara ayırır ve görsel verilerle aynı özellik uzayına eşler. Bu, modelin metin token'larını görsel özelliklerle eşleştirerek açıkça eğitilmediği nesneleri tespit etmesini sağlayan zero-shot learning olanak tanır.

2. Üretken Sanat ve Tasarım: text-to-image üretiminde, kullanıcı komutları yayılım sürecine rehberlik etmek için token'lara ayrılır. Model, ortaya çıkan görüntünün tokenization aşamasında çıkarılan anlamsal kavramlarla (örn. "gün batımı", "kumsal") uyumlu olmasını sağlamak için bu token'ları koşullandırma amacıyla kullanır.

Python Örneği: Token Tabanlı Tespit#

Aşağıdaki örnek, ultralytics paketinin YOLO-World iş akışı içinde metin tokenization'ı örtük olarak nasıl kullandığını göstermektedir. Özel sınıflar tanımlayarak model, belirli nesneleri dinamik olarak aramak için bu dizeleri token'lara ayırır.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of text-based detection
model = YOLO("yolov8s-world.pt")

# Define custom classes; these are tokenized internally to guide the model
# The model will look for visual features matching these text tokens
model.set_classes(["backpack", "bus"])

# Run prediction on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results (only detects the tokenized classes defined above)
results[0].show()

Model Performansı Üzerindeki Etkisi#

Tokenization stratejisinin seçimi accuracy ve hesaplama verimliliğini doğrudan etkiler. Verimsiz tokenization, NLP'de "kelime dağarcığı dışı" hatalara veya görüntü analizinde ince ayrıntıların kaybolmasına yol açabilir. PyTorch ve TensorFlow gibi çerçeveler bu adımı optimize etmek için esnek araçlar sağlar. En son teknoloji ürünü YOLO26 gibi mimariler evrim geçirdikçe, verimli veri işleme; modellerin güçlü bulut GPU'larından uç cihazlara kadar çeşitli donanımlarda real-time inference çalıştırmasını sağlar. Bu karmaşık veri iş akışlarını yöneten ekipler, veri kümesi ek açıklamasını, model training ve dağıtımı kolaylaştırmak için genellikle Ultralytics Platform güvenir.