Token

Modern yapay zekanın sofistike mimarisinde bir token , modelin işlediği temel, atomik bilgi birimini temsil eder. Bir algoritma bir cümleyi yorumlayabilmek, bir yazılım komut dosyasını analiz edebilmek veya bir görüntüdeki nesneleri tanıyabilmek için, ham girdi verilerinin bu ayrı, standartlaştırılmış öğelere ayrılması gerekir. Bu segmentasyon, veri ön işlemede önemli bir adımdır ve yapılandırılmamış girdileri, sinir ağlarının verimli bir şekilde hesaplayabileceği sayısal bir biçime dönüştürür. İnsanlar dili sürekli bir düşünce akışı veya görüntüleri kesintisiz görsel sahneler olarak algılarken, hesaplama modelleri desen tanıma ve anlamsal analiz gibi işlemleri gerçekleştirmek için bu ayrıntılı yapı taşlarına ihtiyaç duyar. Bu ayrıntılı yapı taşları, bir modelin

Belirteç (Token) - Belirteçleştirme (Tokenization)

Makine öğreniminin işleyişini kavramak için, veri birimi ile onu oluşturmak için kullanılan süreç arasında ayrım yapmak önemlidir. Bu ayrım, Ultralytics veri boru hatları tasarlarken ve eğitim materyalleri hazırlarken karışıklığı önler.

• Tokenization: Bu, ham verileri parçalara ayırma algoritmik sürecidir (fiil). Metin için bu, bir birimin nerede bittiğini ve diğerinin nerede başladığını belirlemek için Natural Language Toolkit (NLTK) gibi kütüphanelerin kullanılmasını içerebilir .
• Token: Bu, sonuç çıktısıdır (isim). Bir kelime, alt kelime veya görüntü yaması gibi, sonunda gömme olarak bilinen sayısal bir vektöre eşlenen gerçek veri parçasıdır. .

Farklı AI Alanlarındaki Jetonlar

Bir belirtecin niteliği, işlenen verinin türüne göre, özellikle de metinsel ve görsel alanlar arasında önemli ölçüde farklılık gösterir.

NLP'de Metin Jetonları

Doğal Dil İşleme (NLP) alanında tokenlar, Büyük Dil Modellerinin (LLM) girdileridir. Erken Erken yaklaşımlar kelimelerin tamamını harfiyen eşlerken, modern mimariler Byte Pair Encoding (BPE) gibi alt kelime algoritmaları kullanır. Bu yöntem, modellerin nadir kelimeleri anlamlı hecelere ayırarak işleyebilmesini sağlar ve kelime dağarcığı büyüklüğü ile anlamsal kapsama arasında denge kurar. Örneğin , "unhappiness" kelimesi "un", "happi" ve "ness" olarak tokenize edilebilir.

Bilgisayarlı Görüde Görsel Simgeler

Tokenleştirme kavramı, Vision Transformer (ViT) ile birlikte bilgisayar görüşüne de yayılmıştır. Kayar pencerelerde pikselleri işleyen geleneksel evrişimli ağların aksine, Transformer'lar bir görüntüyü sabit boyutlu yama (örneğin, 16x16 piksel) ızgarasına böler. Her yama düzleştirilir ve ayrı bir görsel token olarak ele alınır. Bu yaklaşım, modelin, Google transformatörleri metne uyguladığı gibi, görüntünün uzak kısımları arasındaki ilişkiyi anlamak için kendi kendine dikkat mekanizmalarını kullanmasını sağlar.

Gerçek Dünya Uygulamaları

Tokenlar, sayısız uygulamada insan verileri ile makine zekası arasında köprü görevi görür.

1. Açık Kelime Dağarcığı Nesne Algılama: YOLO gibi gelişmiş modeller, metin belirteçlerinin görsel özelliklerle etkileşime girdiği çok modlu bir yaklaşım kullanır. Kullanıcı, özel metin komutları (ör. "mavi kask") girebilir ve model bu komutları belirteçlere ayırarak görüntüdeki nesnelerle eşleştirir. Bu, sıfır atış öğrenmeyi mümkün kılarak, modelin açıkça eğitilmediği nesnelerin algılanmasını sağlar.
2. Üretken Yapay Zeka: Sohbet robotları gibi metin üretme sistemlerinde, yapay zeka bir dizideki bir sonraki simgenin olasılığını tahmin ederek çalışır. En olası sonraki simgeyi yinelemeli olarak seçerek, sistem tutarlı cümleler ve paragraflar oluşturur ve otomatik müşteri desteğinden sanal asistanlara kadar çeşitli araçları destekler.

Python : Algılama için Metin Belirteçlerini Kullanma

Aşağıdaki kod parçacığı, ultralytics paket, rehberlik etmek için metin belirteçleri kullanır nesne algılama. En son teknoloji YOLO26 Yüksek hızlı, sabit sınıf çıkarım için önerilir. YOLO mimarisi, kullanıcılara çalışma zamanında sınıfları metin belirteçleri olarak tanımlama olanağı sunar.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of understanding text tokens
model = YOLO("yolov8s-world.pt")

# Define specific classes; these text strings are tokenized internally
# The model will look specifically for these "tokens" in the visual data
model.set_classes(["bus", "backpack"])

# Run prediction on an image using the defined tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results showing only the tokenized classes
results[0].show()

Jetonları anlamak, üretken yapay zeka ve gelişmiş analitik alanlarında yolunuzu bulmak için temel önemdedir. Bir sohbet robotunun akıcı bir şekilde konuşmasını sağlamak veya bir görüntü sisteminin ince nesne sınıflarını ayırt etmesine yardımcı olmak gibi durumlarda, jetonlar PyTorch gibi çerçeveler tarafından kullanılan makine zekasının temel para birimi olmaya devam etmektedir. Jetonlar, yapay zeka sistemlerinin temel bileşenleridir. PyTorch ve TensorFlowgibi çerçeveler tarafından kullanılan makine zekasının temel para birimi olmaya devam etmektedir.