Tokenizasyon

Tokenizasyon, metin, görüntü veya ses gibi ham veri akışını token adı verilen daha küçük, yönetilebilir birimlere ayırma algoritmik sürecidir. Bu dönüşüm, veri ön işleme sürecinde kritik bir köprü görevi görür ve yapılandırılmamış girdileri yapay zeka (AI) sistemlerinin yorumlayabileceği sayısal bir biçime dönüştürür . Bilgisayarlar, insan dilini veya görsel sahneleri doğal olarak anlayamaz; hesaplamalar yapmak için sayısal temsillere ihtiyaç duyarlar. Verileri tokenlere bölerek, mühendisler sinir ağlarının bu birimleri, anlamsal anlamları yakalayan vektör temsilleri olan gömülü öğelereeşlemesini sağlar. Bu temel adım olmadan, makine öğrenimi modelleri kalıpları tanımlayamaz, bağlamı öğrenemez veya modern eğitim için gerekli olan büyük veri kümelerini işleyemez.

Tokenizasyon vs. Token

Bu terimler derin öğrenme tartışmalarında sıklıkla birlikte kullanılır, ancak iş akışını anlamak için yöntemi sonuçtan ayırmak yararlıdır. Derin öğrenme, birden fazla katmandan oluşan yapay sinir ağları kullanarak verileri işleyen bir öğrenme yöntemidir. Bu ağlar, verileri işleyerek daha karmaşık kararlar alabilirler. Derin öğrenme, verileri işleyerek daha karmaşık kararlar alabilirler.

• Tokenization is the process (the verb). It refers to the specific set of rules or algorithms used to split the data. For text, this might involve using libraries like NLTK or spaCy to determine where one unit ends and another begins.
• Tokençıktıdır (isim). Tek bir kelime, alt kelime, karakter veya piksel parçası gibi süreç tarafından üretilen tekil birimdir .

Farklı Alanlarda Kullanılan Yöntemler

Tokenleştirme stratejisi, verilerin modalitesine bağlı olarak önemli ölçüde değişiklik gösterir ve bu da bir temel modelin dünyayı nasıl algıladığını etkiler.

NLP'de Metin Tokenizasyonu

Doğal Dil İşleme (NLP) alanında amaç, anlamı koruyarak segment ayırmaktır. İlk yöntemler, kelimeleri boşluklarla ayırmak veya durdurma kelimelerini kaldırmak gibi basit tekniklere dayanıyordu. Ancak, modern Büyük Dil Modelleri (LLM'ler) daha gelişmiş alt kelime algoritmaları kullanır, örneğin Byte Pair Encoding (BPE) veya WordPiece gibi daha sofistike alt kelime algoritmaları kullanır. Bu algoritmalar en sık kullanılan karakter çiftlerini yinelemeli olarak birleştirerek, modelin nadir kelimeleri tanıdık alt bileşenlere ayırarak işlemesine olanak tanır (örneğin, "smartphones" kelimesi "smart" + "phones" olarak ayrılır). Bu yaklaşım kelime dağarcığının büyüklüğü ile karmaşık dili temsil etme yeteneği arasında bir denge sağlar.

Bilgisayarlı Görüde Görsel Simgeleştirme

Geleneksel olarak, CNN gibi bilgisayar görme (CV) modelleri kaydırmalı pencereler kullanarak pikselleri işlerdi. Vision Transformer (ViT) teknolojisinin ortaya çıkması, görüntülere tokenleştirme uygulayarak bu paradigmayı değiştirdi. Görüntü, sabit boyutlu yamalar (örneğin, 16x16 piksel) halinde dilimlenir ve daha sonra düzleştirilir ve doğrusal olarak yansıtılır. Bu "görsel tokenler", modelin Transformer'ın bir cümleyi işlediği gibi, görüntüdeki genel ilişkileri öğrenmek için kendi kendine dikkat mekanizmalarını kullanmasına olanak tanır.

Gerçek Dünya Uygulamaları

Tokenizasyon, günümüzde üretim ortamlarında kullanılan birçok yapay zeka uygulamasının arkasındaki sessiz motorudur.

1. Açık Kelime Dağarcığı Nesne Algılama: YOLO gibi gelişmiş mimariler çok modlu bir model yaklaşımı kullanır. Kullanıcı "kırmızı şapka takan kişi" gibi bir komut girdiğinde, sistem bu metni tokenize eder ve görsel verilerle aynı özellik alanına eşler. Bu, sıfır atış öğrenmeyi mümkün kılar ve modelin, metin tokenlerini görsel özelliklerle eşleştirerek açıkça eğitilmediği detect sağlar. YOLO-World gibi gelişmiş mimariler
2. Üretken Sanat ve Tasarım: Metinden görüntüye üretimde, kullanıcı komutları yayılma sürecini yönlendirmek için simgeleştirilir. Model, bu simgeleri üretimi koşullandırmak için kullanır ve sonuçta ortaya çıkan görüntünün, simgeleştirme aşamasında çıkarılan anlamsal kavramlarla (ör. "gün batımı", "plaj") uyumlu olmasını sağlar.

Python : Jeton Tabanlı Algılama

Aşağıdaki örnekte ultralytics paket, YOLO iş akışı içinde metin tokenizasyonunu örtük olarak kullanır. Özel sınıflar tanımlayarak, model bu dizeleri tokenize eder ve belirli nesneleri dinamik olarak arar.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of text-based detection
model = YOLO("yolov8s-world.pt")

# Define custom classes; these are tokenized internally to guide the model
# The model will look for visual features matching these text tokens
model.set_classes(["backpack", "bus"])

# Run prediction on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results (only detects the tokenized classes defined above)
results[0].show()

Model Performansı Üzerindeki Etkisi

Tokenleştirme stratejisinin seçimi, doğruluk ve hesaplama verimliliğini doğrudan etkiler. Verimsiz tokenleştirme, NLP'de "sözlük dışı" hatalara veya görüntü analizinde ince ayrıntıların kaybolmasına neden olabilir. PyTorch gibi çerçeveler PyTorch ve TensorFlow bu adımı optimize etmek için esnek araçlar sağlar. Mimari geliştikçe — en son teknoloji YOLO26gibi — verimli veri işleme, modellerin güçlü bulut GPU'lardan uç cihazlara kadar çeşitli donanımlarda gerçek zamanlı çıkarım yapabilmesini sağlar. Bu karmaşık veri iş akışlarını yöneten ekipler, veri kümesi açıklamalarını, model eğitimini ve dağıtımı kolaylaştırmak için genellikle Ultralytics güvenir.