TPU Tensor İşleme Birimi)

Tensor İşleme BirimiTPU) özel olarak geliştirilmiş bir uygulamaya özel entegre devre (ASIC) Google tarafından özellikle hızlandırmak için tasarlandı makine öğrenimi (ML) iş yükleri. Aksine TPU'lar, genel amaçlı işlemcilerin muazzam hesaplama taleplerini karşılamak üzere sıfırdan tasarlanmıştır. sinir ağları, özellikle karmaşık matris eğitim ve çıkarım sırasında gereken işlemler. TPU'lar, donanımı bu özel görevler için optimize ederek şunları sunar önemli ölçüde daha yüksek verim ve enerji verimliliği, onları modern teknolojinin temel taşı haline getiriyor yapay zeka (AI) bulut ve uç ortamlarda altyapı.

Mimari ve İşlevsellik

Bir TPU 'nun temel gücü, temel matematiksel işlem olan matris çarpımını gerçekleştirme yeteneğinde yatmaktadır. derin öğrenmede (DL) operasyon, inanılmaz hızlar. Standart işlemciler talimatları sıralı olarak veya sınırlı paralellikle yürütürken, TPU'lar bir veri akışına izin veren sistolik dizi mimarisi aynı anda binlerce çarpan aracılığıyla. Bu tasarım bellek erişim gecikmesini en aza indirir ve hesaplama yoğunluğu.

TPU'lar Google Cloud ekosistemine yoğun bir şekilde entegre edilmiştir ve şunları sağlar kitlesel eğitim için ölçeklenebilir kaynaklar temel modelleri. Ayrıca, optimize edilmişlerdir gibi çerçeveler için TensorFlow ve giderek tarafından desteklenmektedir PyTorchgeliştiricilerin aşağıdakilerden yararlanmasına olanak tanır Tercih ettikleri kodlama ortamını değiştirmeden yüksek performanslı donanım.

İşlem Birimlerini Karşılaştırma: CPU, GPU ve TPU

Farklı işlem birimleri arasındaki farkın anlaşılması optimizasyon için hayati önem taşır model eğitimi ve dağıtım iş akışları.

• CPU (Merkezi İşlem Birimi): Merkezi İşlem Birimi Bilgisayarın "beyni", çok yönlülük için tasarlanmıştır. CPU'lar sıralı işlemlerde ve karmaşık mantıkta mükemmeldir ancak yapay zekada gerekli olan devasa paralel matematik için genellikle daha yavaştır.
• GPU (Grafik İşlem Birimi): Başlangıçta görüntü işleme için tasarlanan GPU'lar, onları paralel işleme için oldukça etkili kılan binlerce çekirdeğe sahiptir görevler. Bunlar, aşağıdaki gibi çok yönlü modellerin eğitimi için endüstri standardıdır Ultralytics YOLO11 esneklikleri ve sağlamlıkları nedeniyle gibi yazılım desteği NVIDIA CUDA.
• TPU: Matris matematiğinde ham performans için esnekliği takas eden özel bir hızlandırıcı. Her ne kadar GPU çok çeşitli görevler için harikadır, TPU ise en üst düzeye çıkarmak için özel olarak üretilmiştir flops (saniye başına kayan nokta işlemleri) özellikle tensor hesaplamaları için, genellikle büyük ölçekli yapay zeka için watt başına daha iyi performans sağlar.

Gerçek Dünya Uygulamaları

TPU'lar hem devasa bulut tabanlı eğitimde hem de verimli uç dağıtımında kritik bir rol oynamaktadır.

1. Büyük Dil Modelleri (LLM'ler): Google , TPU Pod'ları olarak bilinen geniş TPU kümelerini eğitmek için kullanıyor muazzam gibi büyük dil modelleri (LLM'ler) PaLM ve Gemini. Binlerce yongayı birbirine bağlama yeteneği, bu sistemlerin petabaytlarca veri işlemesine olanak tanır. tarafından gerekli olan sürenin bir kısmında eğitim verileri geleneksel kümeler.
2. Edge AI ve IoT: Daha küçük ölçekte, Edge TPU aşağıdakiler için tasarlanmış bir donanım hızlandırıcısıdır düşük güçlü cihazlar. Bu sayede gibi donanımlar üzerinde gerçek zamanlı çıkarım Coral Dev Board, hızlı nesne algılama ve görüntü Sürekli internet bağlantısına güvenmeden uçta segmentasyon.

Ultralytics Modellerini Edge TPU'ya Dağıtma

İle çalışan geliştiriciler için bilgisayarla görme (CV), modelleri dağıtma Düşük güçlü cihazlar genellikle standart ağırlıkların Edge TPU'larla uyumlu bir formata dönüştürülmesini gerektirir. Ultralytics kütüphane bu model dağıtım sürecini kolaylaştırır Kullanıcıların modelleri doğrudan TensorFlow Lite Edge TPU formatına aktarmasına izin vererek.

Bu süreç genellikle şunları içerir hassasiyeti azaltan model kuantizasyonu özel donanım kısıtlamalarına uyması için sayıların (örneğin, 32 bit float'tan 8 bit tamsayıya) doğruluğu korumak.

from ultralytics import YOLO

# Load the official YOLO11 nano model
model = YOLO("yolo11n.pt")

# Export the model to Edge TPU format (int8 quantization)
# This creates a 'yolo11n_edgetpu.tflite' file for use on Coral devices
model.export(format="edgetpu")

Bu modeller dışa aktarıldıktan sonra aşağıdaki gibi görevler için dağıtılabilir gömülü sistemler üzerinde nesne algılama Minimum güç tüketimi ile hızlı çıkarım hızları. Bu iş akışıyla ilgili daha fazla ayrıntı için aşağıdaki kılavuza bakın Kenar TPU entegrasyonu.