Görsel yapay zeka çözümlerindeki gerçek zamanlı çıkarımlar etki yaratıyor

Hepimiz zaman zaman yavaş bir internet bağlantısının yarattığı hayal kırıklıklarıyla uğraşmışızdır. Ancak bu gecikmeyi, kendi kendine giden bir aracın bir engele tepki vermesi veya bir doktorun kritik bir taramayı analiz etmesi gibi yüksek riskli bir durumda hayal et. Fazladan birkaç saniye ciddi sonuçlar doğurabilir.

İşte gerçek zamanlı yapay zeka çıkarımının fark yaratabileceği nokta budur. Hızlı işleme ve gerçek zamanlı tahminler, computer vision çözümlerinin görsel verileri anında işlemesini ve bunlara tepki vermesini sağlar. Bu saliselik kararlar güvenliği, verimliliği ve günlük kolaylığı artırabilir.

Örneğin, robotik bir asistan kullanarak hassas bir operasyon gerçekleştiren bir cerrahı düşün. Her hareket yüksek hızlı bir bağlantı üzerinden kontrol edilir ve robotun görüntü sistemi, cerrahi alanı gerçek zamanlı olarak işleyerek cerraha anlık görsel geri bildirim sağlar. Bu geri bildirim döngüsündeki en ufak bir gecikme bile ciddi hatalara yol açabilir ve hastayı riske atabilir. Bu, gerçek zamanlı çıkarımların neden kritik olduğunun mükemmel bir örneğidir; gecikmeye yer yoktur.

Gerçek dünya uygulamalarındaki yapay zeka çıkarımları üç temel kavrama dayanır: çıkarım motorları (yapay zeka modellerini verimli bir şekilde çalıştıran yazılım veya donanım), çıkarım gecikmesi (girdi ve çıktı arasındaki gecikme) ve gerçek zamanlı çıkarım (yapay zeka sisteminin minimum gecikmeyle işleme ve tepki verme kapasitesi).

Bu makalede, bu temel kavramları ve Ultralytics YOLO11 gibi bilgisayarlı görü modellerinin anlık tahminlere dayanan uygulamaları nasıl mümkün kıldığını inceleyeceğiz.

Yapay zeka çıkarımı nedir?#

Çıkarım yapmak, eğitilmiş bir yapay zeka modelini kullanarak yeni verileri analiz etme ve bir tahmin yürütme ya da bir sorunu çözme sürecidir. Çok miktarda etiketlenmiş veriyi işleyerek bir modele öğretmeyi içeren eğitimin aksine çıkarım, halihazırda eğitilmiş bir modeli kullanarak hızlı ve doğru sonuçlar üretmeye odaklanır.

Fig 1. Çıkarımların ne olduğunu anlamak.

Örneğin yaban hayatı koruma çalışmalarında, AI camera kapanları hayvanları gerçek zamanlı olarak tanımlamak ve sınıflandırmak için bilgisayarlı görü modellerini kullanır. Bir kamera hareket algıladığında yapay zeka modeli bunun bir geyik, bir yırtıcı hayvan hatta bir kaçak avcı olup olmadığını anında tanır; bu da araştırmacıların insan müdahalesine gerek kalmadan hayvan popülasyonlarını takip etmesine ve nesli tükenmekte olan türleri korumasına yardımcı olur. Bu hızlı tanımlama, gerçek zamanlı izlemeyi ve potansiyel tehditlere daha hızlı yanıt verilmesini mümkün kılar.

Çıkarım motorlarını anlamak#

Eğitilmiş bir makine öğrenimi modeli ham haliyle her zaman dağıtıma hazır değildir. Bir inference engine, makine öğrenimi modellerini verimli bir şekilde çalıştırmak ve bunları gerçek dünya dağıtımları için optimize etmek üzere tasarlanmış özel bir yazılım veya donanım aracıdır. Performansı artırmak ve kaynak tüketimini azaltmak için model sıkıştırma, niceleme (quantization) ve grafik dönüştürme gibi optimization techniques kullanır, böylece model çeşitli ortamlarda dağıtılabilir hale gelir.

Çıkarım motoru temel olarak, hızlı ve doğru tahminler sağlamak için hesaplama yükünü azaltmaya, gecikmeyi en aza indirmeye ve verimliliği artırmaya odaklanır. Optimize edildikten sonra motor, modeli yeni veriler üzerinde çalıştırarak gerçek zamanlı çıkarımları verimli bir şekilde üretmesini sağlar. Bu optimizasyon, yapay zeka modellerinin hem yüksek performanslı bulut sunucularında hem de akıllı telefonlar, IoT cihazları ve gömülü sistemler gibi kaynak kısıtlı uç cihazlarda sorunsuz bir şekilde çalışmasını sağlar.

Çıkarım gecikmesinin neden olduğu sorunlar#

Inference latency, bir yapay zeka sisteminin girdi verilerini (kameradan alınan bir görüntü gibi) alması ile bir çıktı üretmesi (gırüntüdeki nesnelerin algılanması gibi) arasındaki zaman gecikmesidir. Küçük bir gecikme bile gerçek zamanlı yapay zeka uygulamalarının performansını ve kullanılabilirliğini önemli ölçüde etkileyebilir.

Çıkarım gecikmesi üç temel aşamada gerçekleşir:

• Ön işleme süresi: Girdi verilerinin modele beslenmeden önce hazırlanması için gereken süre. Buna görüntüleri modelin girdi boyutlarına göre yeniden boyutlandırmak, daha iyi doğruluk için piksel değerlerini normalleştirmek ve formatları dönüştürmek (örneğin RGB'den gri tonlamaya veya videodan kare dizilerine) dahildir.
• Hesaplama süresi: Modelin çıkarım yapmak için harcadığı gerçek süre. Bu, derin ağlardaki katman katman hesaplamalar, matris çarpımları, evrişimler ve bellek ile işlem birimleri arasındaki veri aktarımı gibi işlemleri içerir.
• Son işleme süresi: Ham model çıktılarını anlamlı sonuçlara dönüştürmek için gereken süre. Buna nesne tespiti sırasında sınırlayıcı kutuların çizilmesi, görüntü tanımada yanlış pozitiflerin filtrelenmesi veya anomali tespitinde eşik değerlerinin uygulanması dahil olabilir.

Çıkarım gecikmesi gerçek zamanlı uygulamalarda kritiktir. Örneğin, bir montaj hattındaki otomatik kusur tespitinde, ürünler konveyör bandında ilerlerken onları incelemek için bilgisayarlı görü kullanılabilir.

Sistem, ürünler bir sonraki aşamaya geçmeden önce kusurları hızlıca tespit etmeli ve işaretlemelidir. Model görüntüleri işlemek için çok uzun süre harcarsa, kusurlu öğeler zamanında yakalanamayabilir; bu da malzeme israfına, maliyetli yeniden işlemlere veya müşteriye ulaşan hatalı ürünlere yol açar. Üreticiler gecikmeyi azaltarak kalite kontrolü iyileştirebilir, verimliliği artırabilir ve kayıpları azaltabilir.

Çıkarım gecikmesi nasıl azaltılır#

Çıkarım gecikmesini minimum düzeyde tutmak birçok bilgisayarlı görü uygulamasında önemlidir. Bunu başarmak için çeşitli teknikler kullanılabilir. Şimdi çıkarım gecikmesini azaltmak için kullanılan en yaygın tekniklerden bazılarını tartışalım.

Model budama#

Model pruning, gereksiz bağlantıları (ağırlıkları) kaldırarak sinir ağını basitleştirir ve onu daha küçük ve daha hızlı hale getirir. Bu süreç modelin hesaplama yükünü azaltarak doğruluğu çok fazla etkilemeden hızı artırır.

Budama, yalnızca en önemli bağlantıları tutarak, özellikle sınırlı işlem gücüne sahip cihazlarda verimli çıkarım ve daha iyi performans sağlar. Verimliliği artırırken güvenilirliği korumak amacıyla mobil yapay zeka, robotik ve uç bilişim gibi gerçek zamanlı uygulamalarda yaygın olarak kullanılır.

Fig 2. Model budama kullanarak daha az etkili bağlantıları ortadan kaldırmak.

Model kuantizasyonu#

Model quantization, hesaplamalarda kullandıkları sayıları basitleştirerek yapay zeka modellerinin daha hızlı çalışmasını ve daha az bellek kullanmasını sağlayan bir tekniktir. Normalde bu modeller, çok hassas olan ancak çok fazla işlem gücü gerektiren 32 bitlik kayan noktalı sayı этимle çalışır. Niceleme bu sayıları işlenmesi daha kolay olan ve daha az yer kaplayan 8 bitlik tam sayılara indirger.

Fig 3. Kayan noktalı değerleri tamsayı gösterimlerine dönüştürmek için model nicelemesi kullanmak.

Verimli modeller kullanma#

Bir yapay zeka modelinin tasarımı, ne kadar hızlı tahmin yapabileceği konusunda büyük bir etkiye sahiptir. Verimli çıkarım için oluşturulmuş Ultralytics YOLO11 gibi modeller, işlem hızının kritik olduğu uygulamalar için idealdir.

Bir yapay zeka çözümü oluştururken, mevcut kaynaklara ve performans ihtiyaçlarına göre doğru modeli seçmek önemlidir. Çok ağır bir modelle başlarsan, yavaş işleme süreleri, daha yüksek güç tüketimi ve kaynak kısıtlı cihazlarda dağıtım zorluğu gibi sorunlarla karşılaşma olasılığın artar. Hafif bir model, özellikle gerçek zamanlı ve uç uygulamalar için sorunsuz performans sağlar.

Hız ve doğruluk: gerçek zamanlı çıkarımları optimize etme#

Gecikmeyi azaltmak için çeşitli teknikler bulunurken, real-time inferences konusunun önemli bir parçası hız ve doğruluğu dengelemektir. Modelleri daha hızlı hale getirmek yeterli değildir; çıkarım hızının doğruluktan ödün verilmeden optimize edilmesi gerekir. Hızlı ancak yanlış tahminler üreten bir sistem etkisizdir. Bu nedenle modellerin gerçek dünya koşullarında iyi performans gösterdiğinden emin olmak için kapsamlı testler hayati önem taşır. Test sırasında hızlı görünen ancak gerçek koşullar altında başarısız olan bir sistem gerçekten optimize edilmiş sayılmaz.

Gerçek zamanlı çıkarımlardan yararlanan görüntü tabanlı yapay zeka uygulamaları#

Şimdi, gerçek zamanlı çıkarımın, görsel girdilere anında yanıt verilmesini sağlayarak endüstrileri nasıl dönüştürdüğüne dair bazı gerçek dünya uygulamalarına göz atalım.

Perakende mağazalarındaki self-servis ödeme sistemleri#

Ultralytics YOLO11 gibi bilgisayarlı görü modelleri, ürün tanımayı daha hızlı ve daha doğru hale getirerek akıllı kasa sistemlerini geliştirmeye yardımcı olabilir. YOLO11'in computer vision tasks nesne tespiti ve örnek bölütleme gibi çeşitli görevler için sunduğu destek, barkodlar eksik veya hasarlı olsa bile ürünlerin tanımlanmasını mümkün kılar. Görsel Yapay Zeka, manuel giriş ihtiyacını azaltabilir ve ödeme sürecini hızlandırabilir.

Ürün tanımlamanın ötesinde, bilgisayarlı görü; fiyatları doğrulamak, dolandırıcılığı önlemek ve müşteri kolaylığını artırmak için self-servis ödeme sistemlerine entegre edilebilir. Yapay zeka destekli kameralar, benzer ürünleri otomatik olarak ayırt edebilir ve ödeme sırasında şüpheli davranışları tespit edebilir. Buna, bir müşterinin veya kasiyerin istemeden bir ürünü geçirmeyi atladığı "taranmamış ürün" durumları ve daha ucuz bir barkodun daha pahalı bir ürünün üzerine yapıştırıldığı "ürün değiştirme" gibi daha kasıtlı dolandırıcılık girişimlerini tespit etmek dahildir.

Fig 4. Yapay zeka self-servis ödeme kasalarını geliştirebilir.

Bunun harika bir örneği, bilgisayarlı görü ve yapay zekayı self-servis ödeme sistemlerine entegre etmiş olan ABD'li büyük bir perendeci Kroger şirketidir. Gerçek zamanlı video analizini kullanan Kroger, ödeme hatalarının %75'inden fazlasını otomatik olarak düzeltmeyi başararak hem müşteri deneyimini hem de mağaza operasyonlarını iyileştirmiştir.

Bilgisayarlı görü ile kalite denetimi#

Kalite kontrol için inspecting products işlemlerini manuel olarak yapmak yavaş olabilir ve her zaman doğru sonuç vermez. Bu nedenle daha fazla üretici, üretim sürecinde kusurları daha erken yakalamak için bilgisayarlı görü kullanan görsel denetim iş akışlarına geçiyor.

Yüksek çözünürlüklü kameralar ve Vision AI, insanların gözden kaçırabileceği küçük kusurları tespit edebilir ve Ultralytics YOLO11 gibi modeller, yalnızca kusursuz ürünlerin müşterilere ulaşmasını sağlamak amacıyla gerçek zamanlı kalite kontrollerinde, sınıflandırmada ve sayımda yardımcı olabilir. Bu süreci otomatikleştirmek zamandan tasarruf sağlar, maliyetleri düşürür ve israfı azaltarak üretimi daha sorunsuz ve verimli hale getirir.

Fig 5. Bir montaj hattındaki ürünleri saymak için Ultralytics YOLO11 kullanımına dair bir örnek.

Öne çıkanlar#

Gerçek zamanlı çıkarım, yapay zeka modellerinin birçok endüstride kritik olan anlık kararlar almasına yardımcı olur. İster bir kazadan kaçınan kendi kendine giden bir araç, ister tıbbi taramaları hızla analiz eden bir doktor veya ürün kusurlarını tespit eden bir fabrika olsun, hızlı ve doğru yapay zeka yanıtları büyük fark yaratır.

Yapay zeka modellerinin hızını ve verimliliğini artırarak, gerçek dünya durumlarında sorunsuz çalışan daha akıllı ve daha güvenilir sistemler oluşturabiliriz. Teknoloji ilerledikçe, gerçek zamanlı yapay zeka çözümleri günlük süreçleri daha hızlı, daha güvenli ve daha verimli hale getirerek geleceği şekillendirmeye devam edecektir.

Daha fazla bilgi edinmek için GitHub repository adresimizi ziyaret et ve our community ile etkileşime geç. Çözüm sayfalarımızda AI in self-driving cars ve computer vision in agriculture gibi sektörlerdeki yenilikleri keşfet. our licensing options seçeneklerimize göz at ve vizyoner yapay zeka projelerini hayata geçir.