TPU (Tensor Processing Unit)

A Tensor Processing Unit (TPU) is a specialized application-specific integrated circuit (ASIC) designed by Google specifically to accelerate machine learning (ML) workloads. Unlike general-purpose processors that handle a broad range of computing tasks, TPUs are engineered from the ground up to optimize the massive matrix operations fundamental to neural networks. This specific focus allows them to achieve exceptionally high throughput and energy efficiency, making them a cornerstone of modern artificial intelligence (AI) infrastructure, particularly within the Google Cloud ecosystem. They play a vital role in reducing the time required for both training complex models and running real-time inference at scale.

Link to this sectionMimari ve İşlevsellik#

Bir TPU'nun mimarisi, geleneksel işlemcilerden önemli ölçüde farklıdır. Standart bir CPU (Merkezi İşlem Birimi) sıralı görevlerde ve karmaşık mantıkta üstünlük sağlarken ve bir GPU (Grafik İşlem Birimi) grafik ve genel hesaplama için paralel çekirdekler kullanırken, TPU bir sistolik dizi mimarisi kullanır. Bu tasarım, verilerin her işlem için belleğe erişmeye gerek kalmadan aynı anda binlerce çarpan içinden akmasını sağlar. Hesaplama yoğunluğunu maksimize edip gecikmeyi en aza indirerek, TPU'lar derin öğrenme (DL) uygulamalarında bulunan yoğun lineer cebir için benzersiz bir şekilde uygundur.

Bu özelleşmiş donanım, TensorFlow gibi çerçeveler için oldukça optimize edilmiştir ve giderek artan bir şekilde PyTorch tarafından desteklenmektedir; bu sayede geliştiriciler kod tabanlarını tamamen yeniden yazmak zorunda kalmadan devasa temel modeller eğitebilir veya verimli uç çözümler dağıtabilirler.

Link to this sectionİşlem Birimlerini Ayırt Etme#

Donanım ortamını anlamak, makine öğrenimi operasyonlarını (MLOps) optimize etmek için kritiktir.

• CPU: Sıralı işleme, veri ön işleme ve karmaşık mantığı yönetmek için ideal olan, bilgisayarın genel amaçlı "beyni". Genellikle veri artırma boru hatları için kullanılır ancak ağır matris hesaplamaları için daha yavaştır.
• GPU: Başlangıçta görüntü işleme için oluşturulan GPU'lar, çok yönlülükleri ve devasa paralellikleri nedeniyle model eğitimi için endüstri standardıdır. Ultralytics YOLO26 gibi esnek modelleri eğitmek için mükemmeldirler.
• TPU: Esnekliği, tensör işlemlerindeki ham hız karşılığında takas eden, amaca özel bir hızlandırıcıdır. Özellikle sinir ağı hesaplamaları için FLOPS (saniyedeki kayan nokta işlemleri) değerini maksimize etmek üzere tasarlanmıştır ve genellikle belirli büyük ölçekli iş yükleri için watt başına üstün performans sağlar.

Link to this sectionGerçek Dünya Uygulamaları#

TPU'lar, devasa bulut kümelerinden küçük uç cihazlara kadar çeşitli ortamlarda konuşlandırılır.

1. Büyük Dil Modeli Eğitimi: Google, PaLM ve Gemini gibi muazzam büyük dil modellerini (LLM) eğitmek için TPU Pod'ları olarak bilinen geniş birbirine bağlı kümelerden yararlanır. Bu sistemler, petabaytlarca eğitim verisini, geleneksel donanımların alacağı sürenin çok küçük bir kısmında işleyerek üretken yapay zeka alanındaki ilerlemeleri hızlandırabilir.

2. Edge AI and IoT: The Coral Edge TPU brings this acceleration to low-power devices. It enables efficient computer vision (CV) applications, such as running object detection on a manufacturing line to identify defects locally. This allows for immediate decision-making without relying on cloud connectivity, preserving bandwidth and privacy.

Link to this sectionTPU'ları Ultralytics ile Kullanma#

Geliştiriciler, özellikle bulut eğitimi için Ultralytics Platformunu kullanırken veya modelleri uç cihazlara dağıtım için dışa aktarırken Ultralytics modelleri için TPU hızlandırmasından yararlanabilirler. Örneğin Edge TPU, modellerin kendi mimarisine özel olarak nicelenmesini ve derlenmesini gerektirir.

Aşağıdaki örnek, bir YOLO26 modelinin, Edge TPU için derlemeden önce bir ön koşul adımı olan TFLite biçimine nasıl dışa aktarılacağını gösterir:

from ultralytics import YOLO

# Load the latest lightweight YOLO26 nano model
model = YOLO("yolo26n.pt")

# Export the model to TFLite format
# This creates a '.tflite' file suitable for mobile and edge deployment
# Set int8=True for quantization, which is often required for Edge TPU performance
model.export(format="tflite", int8=True)

Dışa aktarıldıktan sonra model, Edge TPU Compiler kullanılarak Edge TPU için daha da derlenebilir ve böylece Coral USB Accelerator içeren Raspberry Pi gibi cihazlarda verimli bir şekilde çalışması sağlanabilir. Dağıtım hakkında daha fazla ayrıntı için TFLite entegrasyonu belgelerini keşfetmek çok yardımcı olabilir.