TPU (Tensor Processing Unit)
Tensor İşleme Birimlerinin (TPU) makine öğrenimini nasıl hızlandırdığını keşfet. Maksimum hız için Ultralytics YOLO26'yı Edge TPU'lar ve bulut eğitimi için optimize etmeyi öğren.
Tensor İşleme Birimi (TPU), makine öğrenimi (ML) iş yüklerini hızlandırmak için Google tarafından özel olarak tasarlanmış, uygulamaya özgü tümleşik devredir (ASIC). Geniş bir bilgi işlem görevi yelpazesini gerçekleştiren genel amaçlı işlemcilerin aksine TPU'lar, sinir ağlarının temelini oluşturan devasa matris işlemlerini optimize etmek üzere sıfırdan tasarlanmıştır. Bu özel odaklanma, olağanüstü yüksek iş hacmi ve enerji verimliliği elde etmelerini sağlar; bu da onları, özellikle Google Cloud ekosistemi içinde, modern yapay zekâ (AI) altyapısının temel taşlarından biri hâline getirir. Hem karmaşık modellerin eğitilmesi hem de ölçekli gerçek zamanlı çıkarımın gerçekleştirilmesi için gereken süreyi azaltmada kritik bir rol oynarlar.
Mimari ve İşlevsellik#
Bir TPU'nun mimarisi, geleneksel işlemcilerden önemli ölçüde farklıdır. Standart bir CPU (Merkezi İşlem Birimi) sıralı görevlerde ve karmaşık mantık işlemlerinde başarılı olurken, bir GPU (Grafik İşlem Birimi) grafik ve genel bilgi işlem için paralel çekirdekler kullanır; TPU ise bir sistolik dizi mimarisi kullanır. Bu tasarım, her işlem için belleğe erişmeden verilerin aynı anda binlerce çarpandan akmasını sağlar. Hesaplama yoğunluğunu en üst düzeye çıkarıp gecikmeyi en aza indiren TPU'lar, derin öğrenme (DL) uygulamalarında bulunan yoğun lineer cebir işlemleri için benzersiz biçimde uygundur.
Bu özel donanım, TensorFlow gibi çerçeveler için büyük ölçüde optimize edilmiş ve giderek daha fazla PyTorch tarafından desteklenir; böylece geliştiriciler kod tabanlarını tamamen yeniden yazmadan devasa temel modelleri eğitebilir veya verimli uç çözümleri dağıtabilir.
İşlem Birimlerini Ayırt Etme#
Donanım ortamını anlamak, makine öğrenimi operasyonlarını (MLOps) optimize etmek için kritik öneme sahiptir.
- CPU: Sıralı işleme, veri ön işleme ve karmaşık mantık işlemleri için ideal olan, bilgisayarın genel amaçlı "beyni"dir. Genellikle veri artırma işlem hatlarında kullanılır, ancak yoğun matris matematiğinde daha yavaştır.
- GPU: Başlangıçta görüntü oluşturma için geliştirilen GPU'lar, çok yönlülükleri ve büyük paralellikleri sayesinde model eğitimi için sektör standardıdır. Ultralytics YOLO26 gibi esnek modelleri eğitmede mükemmeldirler.
- TPU: Esnekliği tensör işlemlerindeki ham hız karşılığında takas eden, belirli bir amaca yönelik hızlandırıcıdır. Özellikle sinir ağı hesaplamaları için FLOPS (saniye başına kayan nokta işlemi) değerini en üst düzeye çıkarmak üzere tasarlanmıştır ve belirli büyük ölçekli iş yüklerinde genellikle watt başına daha üstün performans sunar.
Gerçek Dünya Uygulamaları#
TPU'lar, devasa bulut kümelerinden küçük uç cihazlara kadar çeşitli ortamlarda kullanılır.
-
Büyük Dil Modeli Eğitimi: Google, PaLM ve Gemini gibi devasa büyük dil modellerini (LLM'ler) eğitmek için TPU Pod'ları olarak bilinen, birbirine bağlı geniş kümeler kullanır. Bu sistemler, geleneksel donanımın işlemesi gereken sürenin çok daha kısa bir bölümünde petabaytlarca eğitim verisini işleyebilir ve üretken yapay zekâ alanındaki ilerlemeleri hızlandırır.
-
Uç Yapay Zekâ ve IoT: Coral Edge TPU, bu hızlandırmayı düşük güç tüketimli cihazlara taşır. Üretim hattında kusurları yerel olarak belirlemek için nesne algılama çalıştırmak gibi verimli bilgisayarlı görü (CV) uygulamalarını mümkün kılar. Bu sayede bulut bağlantısına bağlı kalmadan anında karar alınabilir, bant genişliği ve gizlilik korunur.
Ultralytics ile TPU Kullanımı#
Geliştiriciler, özellikle bulut eğitimi için Ultralytics Platform kullanırken veya modelleri uç dağıtımı için dışa aktarırken Ultralytics modellerinde TPU hızlandırmasından yararlanabilir. Örneğin Edge TPU, modellerin kendi mimarisi için özel olarak niceleme işleminden geçirilmesini ve derlenmesini gerektirir.
Aşağıdaki örnek, bir Ultralytics YOLO26 modelinin TFLite biçimine nasıl aktarılacağını gösterir; bu, Edge TPU için derleme öncesinde gerekli bir adımdır:
from ultralytics import YOLO
# Load the latest lightweight YOLO26 nano model
model = YOLO("yolo26n.pt")
# Export the model to TFLite format
# This creates a '.tflite' file suitable for mobile and edge deployment
# Set int8=True for quantization, which is often required for Edge TPU performance
model.export(format="tflite", int8=True)Dışa aktarıldıktan sonra model, Edge TPU Derleyicisi kullanılarak Edge TPU için ayrıca derlenebilir ve böylece Coral USB Accelerator içeren Raspberry Pi gibi cihazlarda verimli şekilde çalıştırılabilir. Dağıtım hakkında daha fazla bilgi için TFLite entegrasyonu belgelerini incelemek çok yararlı olabilir.
