Edge AI

Uç yapay zekâ, yapay zekâ (AI) modellerini, verileri uzak bir veri merkezine göndermek yerine bu verileri üreten cihazların üzerinde veya yakınında çalıştırma uygulamasıdır. Bu cihazlar arasında telefonlar, kameralar, araçlar, robotlar ve fabrika ağ geçitleri bulunur. Bir kamera karesini veya ses klibini yakalandığı yerde işlemek, ağ üzerinden gidip gelme süresini ortadan kaldırır; böylece kararlar milisaniyeler içinde alınır. Cihaz bağlantı olmadan çalışmaya devam eder, hassas girdiler veri gizliliği için yerel kalır ve ham videonun buluta aktarılması gerekmez; bu da bant genişliğinden tasarruf sağlar. Bunun bedeli, bellek, işlem gücü ve enerji için sıkı kısıtların yanı sıra modelleri cihaz filosu genelinde güncelleme işidir.

Uç Yapay Zekâ Nasıl Çalışır#

Modeller genellikle GPU'larda bulutta eğitilir, ardından hedef cihazda çalışabilecek kadar küçük ve hızlı hâle getirilir. Model nicemleme ile FP16 veya INT8'e dönüştürme, model budama ve bilgi damıtma modelleri küçültür; dışa aktarma ise modelleri, cihazdaki çıkarım motorunun çalıştırdığı biçime dönüştürür. Bu biçimler arasında NVIDIA donanımında TensorRT, Android'de LiteRT, Apple cihazlarında Core ML ve ARM CPU'larda NCNN bulunur. Cihaz daha sonra çıkarımı yerel olarak yapar ve yalnızca uyarı, sayım veya kısa bir klip gibi önemli olan verileri merkeze gönderir. Bu yüklemeler, iyileştirme döngüsünü de besler: sahadan toplanan zor örnekler etiketlenir, model yeniden eğitilir ve yeni sürüm kablosuz olarak cihazlara gönderilir.

Uç Yapay Zekâ Donanımı#

• Sinir işleme birimleri (NPU'lar): Apple'ın Neural Engine ve Qualcomm'un Hexagon NPU'su gibi, günümüzdeki çoğu telefon ve dizüstü bilgisayar çipine yerleşik özel hızlandırıcılar. Nicemlenmiş modelleri telefonun güç bütçesi içinde çalıştırırlar.
• NVIDIA Jetson: GPU sınıfı işlem hacmine ihtiyaç duyan robotlar, dronlar ve akıllı kameralar için ARM CPU'yu NVIDIA GPU ile birleştiren gömülü modüller.
• Raspberry Pi: Küçük modelleri ARM CPU'larında veya ek hızlandırıcı kartlarında çalıştıran düşük maliyetli tek kartlı bilgisayarlar.
• Mikrodenetleyiciler: Birkaç yüz kilobaytlık modellerin milivat düzeyinde güçle çalıştığı en küçük sınıf.

Uç Cihazlarda Model Dağıtımı#

Her cihaz sınıfı, farklı bir dışa aktarma biçiminden yarar sağlar. Raspberry Pi'de NCNN, Ultralytics'in Ultralytics YOLO26 için kıyasladığı biçimler arasında en hızlısıdır; modeli bir kez dışa aktarıp dışa aktarılan klasörü yükleyerek aynı algılayıcıyı bu motor üzerinden çalıştırabilirsin:

from ultralytics import YOLO

# En küçük YOLO26 algılama modelini yükle
model = YOLO("yolo26n.pt")

# ARM CPU'lar için optimize edilmiş bir çıkarım çerçevesi olan NCNN'e dışa aktar
path = model.export(format="ncnn")  # creates 'yolo26n_ncnn_model/'

# Cihazda olduğu gibi, dışa aktarılan modeli kullanarak çıkarım yap
ncnn_model = YOLO(path)
results = ncnn_model("https://ultralytics.com/images/bus.jpg")
results[0].save(filename="bus_ncnn.jpg")

Kaydedilen görüntüde NCNN motorunun hesapladığı tespitler gösterilir. Cihazdaki uygulamalar genellikle Docker konteynerlerinde paketlenir; böylece aynı görüntü, aynı donanıma sahip cihaz filosu genelinde çalışır.

Uç Yapay Zekâ ve İlgili Terimler#

• Uç bilişim: Sensör okumalarını filtrelemekten içeriği önbelleğe almaya kadar her türlü veriyi kaynağına yakın yerde işleme uygulamasının genel adıdır. İş yükü bir makine öğrenmesi modeli olan uç bilişim, uç yapay zekâ olarak adlandırılır.
• TinyML: Kilobaytlarca belleğe sahip mikrodenetleyicilerde çalışan, uç yapay zekânın en küçük sınıfıdır.
• Federe öğrenme: Ham veriler yerine ağırlık güncellemelerini göndererek çok sayıda cihazda ortak bir modeli eğitir. Uç yapay zekâ genellikle çıkarımı ifade eder; federe öğrenme ise eğitimi aynı cihazlara taşır.

Uç Yapay Zekâ Uygulamaları#

• Otonom araçlar: Otomobiller ve teslimat robotları yayaları, araçları ve şeritleri kendi üzerlerinde algılar; gecikmiş veya kesilmiş bir bağlantının frenlemeyi geciktirmesine izin verilemez.
• Akıllı kameralar: Perakende, trafik ve güvenlik kameraları nesne tespitini yerel olarak yapar; sürekli video yerine sayım veya uyarı gönderir.
• Endüstriyel denetim: Üretim hattındaki kameralar kusurlu parçaları milisaniyeler içinde ayıklar; makinelerdeki titreşim sensörleri ise kesintiye yol açmadan önce anormallikleri bildirir.
• Akıllı telefonlar: Telefonlar fotoğrafları işler, konuşmayı yazıya döker ve cihaz üzerinde küçük dil modelleri çalıştırır. Buna, Apple Intelligence'ın Apple cihazlarında çalıştırdığı ve uygulamaların Apple'ın Foundation Models çerçevesi üzerinden eriştiği yaklaşık 3 milyar parametreli model de dâhildir.