Neural Processing Unit (NPU)

Sinirsel İşlem Birimi (NPU), yapay zekâ ve makine öğrenimi algoritmalarının yürütülmesini hızlandırmak için özel olarak tasarlanmış bir donanım devresidir. Genel amaçlı işlemcilerin aksine NPU'lar, derin öğrenme modellerinin temelini oluşturan karmaşık, paralel matris işlemlerini yerel olarak işleyebilen bir mimariyle tasarlanır. Bu hesaplamaları son derece verimli bir şekilde gerçekleştirerek NPU, güç tüketimini büyük ölçüde azaltırken çıkarım gecikmesini önemli ölçüde iyileştirir. Bu özellik, karmaşık modellerin pilin hızla tükenmesine neden olmadan verimli bir şekilde dağıtılmasının kritik olduğu modern cep telefonları, dizüstü bilgisayarlar ve özel IoT cihazları için NPU'ları vazgeçilmez bir bileşen hâline getirir.

NPU ve Diğer İşlemciler#

Bir NPU'nun değerini anlamak için onu yapay zekâ dünyasındaki diğer yaygın donanım hızlandırıcılardan ayırt etmek faydalıdır:

• Merkezi İşlem Birimi (CPU): Bilgisayarın genel amaçlı "beyni"dir. Makine öğrenimi kodlarını çalıştırabilse de CPU'lar görevleri sıralı olarak işler; bu da onları modern görsel modellerin gerektirdiği yoğun matris çarpımları için yavaş ve verimsiz hâle getirir.
• Grafik İşlem Birimi (GPU): Paralel işleme için tasarlanan GPU'lar, büyük ölçekli derin öğrenme iş yüklerini yönetmede olağanüstüdür. Ancak önemli miktarda güç tüketir ve ciddi miktarda ısı üretirler; bu nedenle pille çalışan uç bilişim yerine bulut eğitimi için daha uygundurlar.
• Tensör İşlem Birimi (TPU): Google tarafından makine öğrenimi için geliştirilen, uygulamaya özel bir tümleşik devredir. Kavramsal olarak NPU'ya benzese de TPU'lar genellikle büyük ölçekli bulut bilişim sunucu raflarıyla ilişkilendirilirken NPU'lar genellikle doğrudan tüketici Sistem Üzerinde Çip'lerine (SoCs) entegre edilir.

NPU'ların Gerçek Dünya Uygulamaları#

NPU'nun yükselişi, sürekli bulut bağlantısına ihtiyaç duymadan yapay zekâyı (AI) doğrudan kullanıcı cihazlarında çalıştırma olanağını ortaya çıkardı.

• Akıllı Telefonlar ve Mobil Görü: Modern mobil cihazlar; bilgisayarlı fotoğrafçılık, gerçek zamanlı yüz tanıma ve yerel metin çevirisi gibi özellikleri desteklemek için Apple Neural Engine veya Qualcomm Hexagon NPU gibi dahili NPU'lardan yoğun şekilde yararlanır. Görüntü verilerini cihaz üzerinde işleyerek pil ömrünü korur ve veri gizliliğini güvence altına alırlar.
• Yapay Zekâ Destekli Dizüstü Bilgisayarlar: Gelişmiş PC işlemcileri artık, ana CPU'ya yük bindirmeden video konferans sırasında arka plan bulanıklaştırma ve bakış düzeltme gibi arka plan görevlerini yönetmek için entegre NPU'lar içeriyor; bu da kullanıcıların sorunsuz bir şekilde çoklu görev yapmasını sağlıyor.
• Uçta Yapay Zekâ Dağıtımları: Akıllı gözetim kameraları ve robotik sistemler, anlık nesne algılama gerçekleştirmek için Google Coral Edge TPU veya gömülü Intel donanımı gibi özel NPU'lardan doğrudan kaynağında yararlanır. Bu, bant genişliği darboğazlarını ortadan kaldırır ve saniyenin çok küçük bir bölümünde karar alınmasını mümkün kılar.

Ultralytics YOLO ile NPU Kullanımı#

NPU'lardan yararlanmak isteyen geliştiriciler için bilgisayarlı görü modellerini dağıtmak son derece kolay hâle geldi. Güçlü Ultralytics YOLO26 modelini kullanarak eğitilmiş ağını çeşitli donanım hızlandırıcılar için optimize edilmiş biçimlere aktarabilirsin. Tüm bu yaşam döngüsünü kolaylaştırmak için Ultralytics Platform, bulut veri kümesi yönetimi, otomatik açıklama ve optimize edilmiş modelleri neredeyse tüm model dağıtımı ortamlarına dağıtma konusunda güçlü araçlar sunar.

Yerel olarak çalışırken NPU'yu hedeflemek için ONNX Runtime, PyTorch ExecuTorch veya TensorFlow Lite gibi çerçeve entegrasyonlarını kullanabilirsin. Aşağıda, hızlandırılmış gerçek zamanlı çıkarım için işlem iş yüklerini Intel NPU'larına sorunsuz bir şekilde devreden OpenVINO biçimine bir YOLO modelinin nasıl aktarılacağını gösteren kısa bir Python örneği yer alıyor.

from ultralytics import YOLO

# Load the highly recommended Ultralytics YOLO26 Nano model
model = YOLO("yolo26n.pt")

# Export to OpenVINO with int8 quantization for optimal NPU performance
model.export(format="openvino", int8=True)

# Run highly efficient, accelerated inference on the edge device
results = model("path/to/environment_image.jpg")