Sinir İşlem Birimi (NPU)

Sinir İşlem Birimi (NPU), yapay zeka ve makine öğrenimi algoritmalarının çalışmasını hızlandırmak üzere özel olarak tasarlanmış özel bir donanım devresidir. Genel amaçlı işlemcilerin aksine, NPU'lar derin öğrenme modellerinin merkezinde yer alan karmaşık, paralel matris işlemlerini doğal olarak işleyen bir mimariye sahiptir. Bu hesaplamaları son derece verimli bir şekilde gerçekleştirerek, bir NPU güç tüketimini önemli ölçüde azaltırken çıkarım gecikmesini de önemli ölçüde iyileştirir. Bu da onları, karmaşık modelleri pilin hızla bitmesine neden olmadan verimli bir şekilde uygulamanın kritik öneme sahip olduğu modern cep telefonları, dizüstü bilgisayarlar ve özel IoT cihazlarının vazgeçilmez bir bileşeni haline getirir.

NPU ve Diğer İşlemciler

Bir NPU’nun değerini anlamak için, onu yapay zeka alanındaki diğer yaygın donanım hızlandırıcılarından ayırt etmek faydalıdır:

• Merkezi İşlem Birimi (CPU): Bir bilgisayarın genel amaçlı "beyni". Makine öğrenimi kodlarını çalıştırabilmesine rağmen, CPU'lar görevleri sırayla işler; bu da onları, modern görme modellerinin gerektirdiği yoğun matris çarpma işlemleri için yavaş ve verimsiz kılar.
• Grafik İşlem Birimi (GPU): Paralel işleme için tasarlanan GPU'lar, devasa derin öğrenme iş yüklerini işlemekte olağanüstü bir performans sergiler. Ancak, önemli miktarda güç tüketir ve hatırı sayılır miktarda ısı üretirler; bu nedenle, pille çalışan uç bilgi işlemden ziyade bulut ortamında eğitim için daha uygundurlar.
• Tensor Birimi (TPU): Google tarafından makine öğrenimi Google geliştirilmiş, uygulamaya özel bir entegre devre. Kavram olarak NPU’ya benzer olsa da, TPU’lar genellikle devasa bulut bilişim sunucu raflarıyla ilişkilendirilirken, NPU’lar genellikle doğrudan tüketiciye yönelik Sistem-on-Chip (SoC) çözümlerine entegre edilir.

NPU'ların Gerçek Hayattaki Uygulamaları

NPU'nun yaygınlaşması, sürekli bulut bağlantısına bağımlı kalmadan yapay zeka (AI) uygulamalarını doğrudan kullanıcı cihazlarında çalıştırma imkânını ortaya çıkardı.

• Akıllı Telefonlar ve Mobil Görüntüleme: Modern mobil cihazlar, hesaplamalı fotoğrafçılık, gerçek zamanlı yüz tanıma ve yerel metin çevirisini desteklemek için Apple Neural Engine veya Qualcomm Hexagon NPU gibi dahili NPU'lardan yoğun bir şekilde yararlanır. Görüntü verilerini cihaz üzerinde işleyerek pil ömrünü uzatır ve veri gizliliğini sağlar.
• Yapay Zeka Destekli Dizüstü Bilgisayarlar: Gelişmiş PC işlemcileri artık, video konferanssırasında arka plan bulanıklaştırma ve bakış düzeltme gibi arka plan görevlerini ana CPU yük bindirmeden yönetmek için entegre NPU'lara sahiptir; bu da kullanıcıların sorunsuz bir şekilde çoklu görev yapmasını sağlar.
• Uç AI Uygulamaları: Akıllı güvenlik kameraları ve robotik, Google Edge TPU gömülü Intel gibi özel NPU'ları kullanarak, nesne algılamasını doğrudan kaynağında anında gerçekleştirir. Bu, bant genişliği darboğazlarını ortadan kaldırır ve anlık karar almayı mümkün kılar.

Ultralytics YOLO ile NPU'ların Kullanımı

NPU'lardan yararlanmak isteyen geliştiriciler için, bilgisayar görme modellerinin devreye alınması artık son derece kolay hale gelmiştir. Güçlü Ultralytics modelini kullanarak, eğitimini tamamlamış ağınızı çeşitli donanım hızlandırıcıları için optimize edilmiş formatlara aktarabilirsiniz. Bu sürecin tamamını kolaylaştırmak amacıyla Ultralytics , bulut veri kümesi yönetimi, otomatik etiketleme ve optimize edilmiş modellerin neredeyse her türlü model dağıtım ortamına devreye alınması için sağlam araçlar sunar.

Yerel ortamda çalışırken, NPU’yu hedeflemek için ONNX , PyTorch veya TensorFlow gibi çerçeve entegrasyonlarını kullanabilirsiniz. Aşağıda, bir YOLO OpenVINO nasıl dışa aktarılacağını gösteren kısa bir Python yer almaktadır; bu OpenVINO , hesaplama yüklerini hızlandırılmış gerçek zamanlı çıkarım için Intel sorunsuz bir şekilde devreder.

from ultralytics import YOLO

# Load the highly recommended Ultralytics YOLO26 Nano model
model = YOLO("yolo26n.pt")

# Export to OpenVINO with int8 quantization for optimal NPU performance
model.export(format="openvino", int8=True)

# Run highly efficient, accelerated inference on the edge device
results = model("path/to/environment_image.jpg")