Edge AI

Uç yapay zekâ, merkezi bulut bilişim merkezlerine bağımlı olmak yerine, yapay zekâ (AI) algoritmalarının ve modellerinin akıllı telefonlar, IoT sensörleri, dronlar ve bağlantılı araçlar gibi yerel donanım cihazlarında doğrudan çalıştırılmasını ifade eder. Bu merkeziyetsiz yaklaşım, verilerin üretildiği kaynakta işlenmesini sağlayarak bilgilerin uzak sunuculara gidip gelmesi sırasında oluşan gecikmeyi önemli ölçüde azaltır. Makine öğrenimi (ML) görevlerini yerel olarak yürüten cihazlar anında kararlar alabilir, internet bağlantısı olmadan güvenilir biçimde çalışabilir ve hassas bilgileri cihazın kendisinde tutarak veri gizliliğini artırabilir.

Uç Yapay Zekâ Nasıl Çalışır#

Uç Yapay Zekânın temelinde, gömülü bir sistemde çalışan bir çıkarım motoru yer alır. Uç cihazların pil ömrü ve hesaplama gücü genellikle bulut sunucularına kıyasla sınırlı olduğundan yapay zekâ modellerinin son derece verimli olması gerekir. Geliştiriciler, önemli bir doğruluk kaybı yaşamadan büyük sinir ağlarını sıkıştırmak için sıklıkla model nicemleme veya model budama gibi tekniklerden yararlanır.

Bu iş yüklerini verimli biçimde yürütmek için sıklıkla özel donanım hızlandırıcıları kullanılır. Örnekler arasında robotik için NVIDIA Jetson platformu ve düşük güç tüketimli çıkarım için Google Coral Edge TPU bulunur. Yazılım çerçeveleri de önemli bir rol oynar; TensorRT ve LiteRT (eski adıyla TFLite) gibi araçlar modelleri özellikle bu kısıtlı ortamlar için optimize ederek hızlı gerçek zamanlı çıkarım sağlar.

Uç Yapay Zekâ ve Uç Bilişim#

Bu terimler çoğunlukla birbirinin yerine kullanılsa da aralarındaki farkı belirtmek yararlıdır:

• Uç Bilişim: Bu terim, veri işlemenin veri kaynağına yakın gerçekleştiği daha geniş fiziksel altyapıyı ve ağ topolojisini tanımlar. Denklemin "nerede" kısmıdır.
• Uç Yapay Zekâ: Bu terim, söz konusu altyapıda çalışan akıllı uygulamaları ifade eder. Denklemin "ne" kısmıdır. Örneğin bir güvenlik kamerası uç bilişim cihazı işlevi görür; belirli bir kişiyi tanımak için bilgisayarlı görü (CV) kullandığında ise Uç Yapay Zekâ çalıştırır.

Gerçek Dünya Uygulamaları#

Uç Yapay Zekâ, kritik senaryolarda otonom karar alma olanağı sunarak sektörleri dönüştürüyor:

• Otonom Araçlar: Kendi kendine giden arabalar her gün terabaytlarca veri üretir. Sinyal gecikmesi nedeniyle yayaları veya engelleri tanımak için buluta güvenemezler. Bunun yerine yolcu güvenliğini sağlamak üzere anında nesne algılama için araç içi Uç Yapay Zekâ kullanırlar.
• Akıllı Üretim: Endüstriyel IoT'de (IIoT) fabrika sahalarındaki sensörler tahmine dayalı bakım için Uç Yapay Zekâ kullanır. Sistem, titreşim ve sıcaklık verilerini yerel olarak analiz ederek anormallikleri algılayabilir ve ekipman arızalarını gerçek zamanlı tahmin edebilir; böylece maliyetli kesintileri önler.
• Sağlık Hizmetleri: Görsel Yapay Zekâ ile donatılmış taşınabilir tıbbi cihazlar, tıbbi görüntüleri veya hasta değerlerini bakım noktasında doğrudan analiz ederek bağlantının zayıf olduğu uzak bölgelerde anında tanı desteği sağlayabilir.

Modelleri Uca Dağıtma#

Bir modelin uca dağıtımı genellikle yüksek hesaplama gücüne sahip bir ortamda eğitilmesini, ardından ONNX veya OpenVINO gibi uç cihazlarla uyumlu bir biçime aktarılmasını içerir. Ultralytics Platformu, kullanıcıların çeşitli uç hedefler için modelleri eğitip otomatik olarak dışa aktarmasına olanak tanıyarak bu iş akışını kolaylaştırır.

Aşağıdaki örnek, verimlilik için özel olarak tasarlanmış hafif bir YOLO26 modelinin mobil ve uç dağıtımına uygun bir biçime nasıl aktarılacağını gösterir.

from ultralytics import YOLO

# Uç cihazlarda hız için optimize edilmiş YOLO26 Nano modelini yükle
model = YOLO("yolo26n.pt")

# Android veya Raspberry Pi üzerinde dağıtım için modeli LiteRT'ye (eski adıyla TFLite) aktar
# Bu işlem, uç çıkarımına hazır bir 'yolo26n.tflite' dosyası oluşturur
model.export(format="litert")

Gelişmiş uç dağıtımlarında, uygulamaları paketlemek ve Raspberry Pi birimlerinden endüstriyel ağ geçitlerine kadar farklı cihaz mimarilerinde tutarlı biçimde çalışmalarını sağlamak için sıklıkla Docker gibi konteynerleştirme teknolojilerinden yararlanılır.