Token

Modern yapay zeka mimarisinin gelişmiş yapısında bir token, bir modelin işlediği temel, atomik bilgi birimini temsil eder. Bir algoritma bir cümleyi yorumlamadan, bir yazılım komut dosyasını incelemeden veya bir görüntüdeki nesneleri tanımadan önce hammaddenin verileri bu ayrıntılı, standartlaştırılmış öğelere bölünmelidir. Bu bölümleme, veri ön işleme aşamasında çok önemli bir adımdır; yapılandırılmamış girdileri sinir ağlarının verimli bir şekilde hesaplayabileceği sayısal bir biçime dönüştürür. İnsanlar dili sürekli bir düşünce akışı veya görüntüleri kesintisiz görsel sahneler olarak algılarken, hesaplama modelleri örüntü tanıma ve anlamsal analiz gibi işlemleri gerçekleştirmek için bu ayrıntılı yapı taşlarına ihtiyaç duyar.

Token ve Tokenleştirme#

Makine öğreniminin mekaniğini kavramak için, veri birimi ile onu oluşturmak için kullanılan süreç arasında ayrım yapmak esastır. Bu ayrım, veri hatları tasarlarken ve Ultralytics Platform üzerinde eğitim materyali hazırlarken kafa karışıklığını önler.

• Tokenizasyon: Bu, ham verileri parçalara ayırmanın algoritmik sürecidir (fiil). Metin için bu, bir birimin nerede bittiğini ve diğerinin nerede başladığını belirlemek için Natural Language Toolkit (NLTK) gibi kütüphaneleri kullanmayı içerebilir.
• Token: Bu, ortaya çıkan çıktıdır (isim). Sonuçta embedding olarak bilinen sayısal bir vektöre eşlenen kelime, alt kelime veya görüntü yaması gibi gerçek veri parçasıdır.

Farklı Yapay Zeka Alanlarında Tokenlar#

Bir tokenın doğası, özellikle metinsel ve görsel alanlar arasında, işlenen verinin yöntemine bağlı olarak önemli ölçüde değişir.

Doğal Dil İşlemede Metin Tokenları#

Doğal Dil İşleme (NLP) alanında tokenler, Büyük Dil Modelleri (LLM'ler) için girdilerdir. İlk yaklaşımlar kesinlikle tam kelimelerle eşleşiyordu ancak modern mimariler Byte Pair Encoding (BPE) gibi alt kelime algoritmalarını kullanır. Bu yöntem, kelime dağarcığı boyutu ile anlamsal kapsamı dengeleyerek modellerin nadir kelimeleri anlamlı hecelere bölerek işlemesine olanak tanır. Örneğin, "unhappiness" kelimesi "un", "happi" ve "ness" olarak tokenize edilebilir.

Bilgisayarlı Görüde Görsel Tokenlar#

Tokenizasyon kavramı, Vision Transformer (ViT) modellerinin ortaya çıkışıyla bilgisayarlı görü alanına da genişlemiştir. Pikselleri kayan pencerelerde işleyen geleneksel evrişimli ağların aksine Transformer'lar, bir görüntüyü sabit boyutlu yamalardan (ör. 16x16 piksel) oluşan bir ızgaraya böler. Her yama düzleştirilir ve ayrı bir görsel token olarak değerlendirilir. Bu yaklaşım, modelin Google Research ekibinin transformer'ları ilk olarak metne uygulamasına benzer şekilde, görüntünün uzak bölümleri arasındaki ilişkiyi anlamak için öz-dikkat mekanizmalarını kullanmasını sağlar.

Gerçek Dünya Uygulamaları#

Tokenlar, sayısız uygulamada insan verisi ile makine zekası arasında bir köprü görevi görür.

1. Açık Sözlüklü Nesne Algılama: YOLO-World gibi gelişmiş modeller, metin tokenlerinin görsel özelliklerle etkileşime girdiği çok modlu bir yaklaşım kullanır. Bir kullanıcı, modelin tokenize ettiği ve görüntürdeki nesnelerle eşleştirdiği özel metin istekleri (ör. "blue helmet") girebilir. Bu, modelin açıkça eğitilmediği nesnelerin algılanmasına olanak tanıyarak sıfır atırlı öğrenmeyi mümkün kılar.

2. Üretken Yapay Zeka: Sohbet botları gibi metin üretim sistemlerinde yapay zeka, bir dizideki sonraki tokenin olasılığını tahmin ederek çalışır. Sistem, en olası sonraki tokeni yinelemeli olarak seçerek otomatik müşteri destek araçlarından sanal asistanlara kadar değişen araçlara güç veren tutarlı cümleler ve paragraflar oluşturur.

Python Örneği: Algılama İçin Metin Tokenlarını Kullanma#

Aşağıdaki kod parçacığı, ultralytics paketinin nesne algılamayı yönlendirmek için metin tokenlerini nasıl kullandığını göstermektedir. Yüksek hızlı, sabit sınıflı çıkarım için son teknoloji YOLO26 önerilirken YOLO-World mimarisi, kullanıcılara çalışma zamanında sınıfları metin tokenleri olarak tanımlama olanağı tanır.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of understanding text tokens
model = YOLO("yolov8s-world.pt")

# Define specific classes; these text strings are tokenized internally
# The model will look specifically for these "tokens" in the visual data
model.set_classes(["bus", "backpack"])

# Run prediction on an image using the defined tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results showing only the tokenized classes
results[0].show()

Tokenleri anlamak, üretken yapay zeka ve gelişmiş analitik dünyasında gezinmek için temel önem taşır. Bir sohbet botunun akıcı bir şekilde iletişim kurmasını sağlasın veya bir görme sisteminin ince nesne sınıflarını ayırt etmesine yardımcı olsun, tokenler PyTorch ve TensorFlow gibi çerçevelerin kullandığı makine zekasının temel para birimi olmaya devam eder.