Token

Manzara içinde yapay zeka, bir token hizmet eder Bir makine öğrenimi modelinin işlediği temel, atomik bilgi birimi olarak. Önce bir sinir ağı bir cümleyi, bir kodu analiz edebilir parçacığı, hatta bir görüntü bile olsa, ham verilerin kritik bir işlemle bu ayrı, yönetilebilir parçalara ayrılması gerekir veri ön işlemede adım. İnsanlar ise dili bir kelime akışı veya görüntüleri sürekli bir sahne olarak algılayan algoritmalar, bu girdilerin parçalanmasını gerektirir hesaplamaları verimli bir şekilde gerçekleştirmek için standartlaştırılmış öğelere ayrılır.

Belirteç (Token) - Belirteçleştirme (Tokenization)

Modern derin öğrenme sistemlerinin nasıl çalıştığını anlamak için işlevini yerine getirirken, veri birimi ile onu oluşturan süreç arasında ayrım yapmak esastır. Bu ayrım genellikle "ne" ile "nasıl" karşılaştırılarak açıklığa kavuşturulur.

• Belirteç: Bu, modele beslenen gerçek veri yığını olan çıktıdır. Metin işlemede, bir belirteç bir kelimenin tamamını, bir kelimenin bir kısmını (alt kelime) veya tek bir karakteri temsil edebilir. İçinde bilgisayarla görme, genellikle bir belirli bir piksel yaması.
• Tokenizasyon: Bu bir Ham veriyi belirteçlere ayıran algoritmik süreç. Örneğin, kütüphanelerdeki özel araçlar spaCy veya NLTK, kuralların nerede işleneceğini belirler. token biter ve bir sonraki başlar.

Yapay Zeka Mimarilerinde Tokenların Rolü

Veriler tokenize edildikten sonra, ortaya çıkan tokenler doğrudan metin dizeleri veya görüntü yamaları olarak kullanılmaz. Bunun yerine, bunlar gömme olarak bilinen sayısal vektörlerle eşleştirilir. Bunlar yüksek boyutlu vektörler, belirteçler arasındaki anlamsal anlamı ve ilişkileri yakalar ve aşağıdaki gibi çerçevelere izin verir PyTorch üzerinde matematiksel işlemler gerçekleştirmek için.

NLP'de Metin Jetonları

İçinde Doğal Dil İşleme (NLP), belirteçleri için girdilerdir Büyük Dil Modelleri (LLM'ler) gibi GPT serisi. Modern modeller tipik olarak alt kelime tokenleştirme algoritmaları kullanır, örneğin Bayt Çifti Kodlaması (BPE). Bu yöntem aşağıdakileri dengeler yaygın sözcükleri tek belirteç olarak tutarken nadir sözcükleri anlamlı sözcüklere bölerek verimlilik ve sözcük dağarcığı boyutu Heceler.

Bilgisayarlı Görüde Görsel Simgeler

Belirteç kavramı, görüntü analizinde aşağıdaki gibi mimariler aracılığıyla devrim yaratmıştır Vizyon Dönüştürücüsü (ViT). Bunun yerine pikselleri konvolüsyon yoluyla işleyen bu modeller, bir görüntüyü sabit boyutlu yamalardan oluşan bir ızgaraya böler (örn. 16x16 piksel). Her bir yama düzleştirilir ve "görsel bir belirteç" olarak ele alınır. Transformatör mekanizmaları gibi küresel bağlamı anlamak için öz dikkat bir görüntü.

Gerçek Dünya Uygulamaları

Tokenlar, günümüzde yapay zekadaki en gelişmiş yeteneklerden bazılarının yapı taşlarıdır.

1. Açık Sözcüklü Nesne Algılama: Gibi modeller YOLO bir metin ve görüntünün kullanıldığı çok modlu yaklaşım belirteçleri etkileşime girer. Kullanıcılar özel sınıfları (örneğin, "mavi sırt çantası") metin istemleri olarak tanımlayabilirler. Model bu istemleri belirtir ve bunları görüntüdeki görsel belirteçlerle eşleştirerek ihtiyaç duymadan sıfır atış öğrenme tespiti yeniden eğitim.
2. Üretken Yapay Zeka ve Chatbotlar: ile etkileşim kurarken chatbot, sistem şunları kullanır en olası bir sonraki metni tahmin etmek için metin oluşturma bir dizideki belirteç. Bu jeton bazında tahmin, tutarlı ve bağlamsal olarak ilgili jetonların oluşturulmasına olanak tanır. yanıtlar, müşteri desteğinden kod tamamlamaya kadar uygulamaları yönlendirmek.

Örnek: Algılama için Metin Jetonlarını Kullanma

Aşağıdaki örnekte ultralytics paketi perde arkasında tokenlardan yararlanıyor. Tarafından Metin sınıflarının bir listesini sağlayan model, görüntüdeki belirli nesneleri tanımlamak için bu girdileri tokenize eder dinamik olarak.

from ultralytics import YOLO

# Load a YOLO-World model capable of understanding text tokens
model = YOLO("yolo11s-world.pt")

# Define custom classes (these are tokenized internally)
model.set_classes(["helmet", "vest"])

# Run prediction; the model matches visual features to the text tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results
results[0].show()

Jetonları anlamak, jetonların nasıl kullanıldığını kavramak için çok önemlidir. vakıf modelleri arasındaki boşluğu doldurur yapılandırılmamış insan verileri ve hesaplamalı anlayış. görüntü sınıflandırma veya karmaşık dil görevler.