Token

Modern yapay zekâ mimarisinin sofistike yapısında token, bir modelin işlediği temel ve atomik bilgi birimini temsil eder. Bir algoritma bir cümleyi yorumlayabilmeden, bir yazılım betiğini analiz edebilmeden veya bir görüntüdeki nesneleri tanıyabilmeden önce ham girdi verilerinin bu ayrı ve standartlaştırılmış öğelere ayrılması gerekir. Bu bölümleme, yapılandırılmamış girdileri sinir ağlarının verimli bir şekilde hesaplayabileceği sayısal bir biçime dönüştüren veri ön işleme sürecinde kritik bir adımdır. İnsanlar dili kesintisiz bir düşünce akışı, görüntüleri ise pürüzsüz görsel sahneler olarak algılarken hesaplamalı modellerin örüntü tanıma ve anlamsal analiz gibi işlemleri gerçekleştirebilmesi için bu ayrıntılı yapı taşlarına ihtiyacı vardır.

Token ve Tokenleştirme#

Makine öğrenmesinin işleyişini kavramak için veri birimi ile bu birimi oluşturmakta kullanılan süreci birbirinden ayırmak gerekir. Bu ayrım, veri işlem hatlarını tasarlarken ve Ultralytics Platform üzerinde eğitim materyali hazırlarken oluşabilecek karışıklıkları önler.

• Tokenleştirme: Ham verileri parçalara ayıran algoritmik süreçtir (fiil). Metin için bu süreç, bir birimin nerede bitip diğerinin nerede başladığını belirlemek üzere Doğal Dil Araç Seti (NLTK) gibi kütüphanelerin kullanılmasını içerebilir.
• Token: Ortaya çıkan çıktıdır (isim). Sonunda gömme olarak bilinen sayısal bir vektöre eşlenen gerçek veri parçasıdır; bu bir kelime, alt kelime veya görüntü parçası olabilir.

Farklı Yapay Zekâ Alanlarında Tokenler#

Bir tokenin niteliği, işlenen verinin kipine bağlı olarak, özellikle metinsel ve görsel alanlar arasında önemli ölçüde değişir.

NLP'de Metin Tokenleri#

Doğal Dil İşleme (NLP) alanında tokenler, Büyük Dil Modelleri (LLMs) için girdilerdir. İlk yaklaşımlar yalnızca tam kelimelerle eşleme yaparken modern mimariler Bayt Çifti Kodlama (BPE) gibi alt kelime algoritmalarından yararlanır. Bu yöntem, kelimeleri anlamlı hecelere ayırarak modellerin nadir kelimeleri işlemesini sağlar ve kelime dağarcığı boyutuyla anlamsal kapsam arasında denge kurar. Örneğin, "unhappiness" kelimesi "un", "happi" ve "ness" tokenlerine ayrılabilir.

Bilgisayarlı Görüde Görsel Tokenler#

Tokenleştirme kavramı, Vision Transformer (ViT) teknolojisinin ortaya çıkmasıyla bilgisayarlı görü alanına da genişlemiştir. Pikselleri kayan pencerelerde işleyen geleneksel evrişimli ağların aksine Transformer'lar, bir görüntüyü sabit boyutlu parçalardan oluşan bir ızgaraya (ör. 16x16 piksel) böler. Her parça düzleştirilir ve ayrı bir görsel token olarak ele alınır. Bu yaklaşım, modelin bir görüntünün uzak bölgeleri arasındaki ilişkiyi anlamak için öz-dikkat mekanizmalarını kullanmasını sağlar; bu, Google Research kuruluşunun Transformer'ları metne uygulamasına benzer.

Gerçek Dünya Uygulamaları#

Tokenler, sayısız uygulamada insan verileri ile makine zekâsı arasında köprü görevi görür.

1. Açık Kelime Dağarcıklı Nesne Tespiti: YOLO-World gibi gelişmiş modeller, metin tokenlerinin görsel özelliklerle etkileşime girdiği çok kipli bir yaklaşım kullanır. Kullanıcı, özel metin istemleri (ör. "blue helmet") girebilir; model bunları tokenleştirir ve görüntüdeki nesnelerle eşleştirir. Bu, modelin açıkça eğitim almadığı nesnelerin tespit edilmesini sağlayan sıfır atışlı öğrenmeyi mümkün kılar.

2. Üretken Yapay Zekâ: Sohbet botları gibi metin oluşturma sistemlerinde yapay zekâ, bir dizideki sonraki tokenin olasılığını tahmin ederek çalışır. Sistem, sonraki en olası tokeni yinelemeli olarak seçerek tutarlı cümleler ve paragraflar oluşturur; böylece otomatik müşteri desteğinden sanal asistanlara kadar çeşitli araçlara güç verir.

Python Örneği: Tespit için Metin Tokenlerini Kullanma#

Aşağıdaki kod parçacığı, ultralytics paketinin nesne tespitini yönlendirmek için metin tokenlerini nasıl kullandığını gösterir. Son teknoloji YOLO26 yüksek hızlı, sabit sınıflı çıkarım için önerilirken YOLO-World mimarisi, kullanıcıların sınıfları çalışma zamanında metin tokenleri olarak tanımlamasına benzersiz şekilde olanak tanır.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of understanding text tokens
model = YOLO("yolov8s-world.pt")

# Define specific classes; these text strings are tokenized internally
# The model will look specifically for these "tokens" in the visual data
model.set_classes(["bus", "backpack"])

# Run prediction on an image using the defined tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results showing only the tokenized classes
results[0].show()

Tokenleri anlamak, üretken yapay zekâ ve gelişmiş analitik dünyasında yol almak için temeldir. İster bir sohbet botunun akıcı bir şekilde iletişim kurmasını sağlasın ister bir görü sisteminin ince nesne sınıflarını birbirinden ayırmasına yardımcı olsun, tokenler PyTorch ve TensorFlow gibi çerçeveler tarafından kullanılan makine zekâsının temel para birimi olmaya devam eder.