YOLO-World'ü uygulamalı olarak deneyimleme

Bilgisayarlı görü projeleri genellikle verileri etiketlemek ve nesne algılama modellerini eğitmek için çok zaman harcamayı gerektirir. Ancak bu durum yakında geçmişte kalabilir. Tencent’in AI Lab ekibi, 31 Ocak 2024'te gerçek zamanlı, açık kelime dağarcığına sahip bir nesne algılama modeli olan YOLO-World modelini yayımladı. YOLO-World, zero-shot bir modeldir; yani modeli eğitmen gerekmeden görüntüler üzerinde nesne algılama çıkarımları çalıştırabilirsin.

Zero-shot modeller, bilgisayarlı görü uygulamalarına yaklaşımımızı değiştirme potansiyeline sahiptir. Bu blog yazısında YOLO-World’ün nasıl çalıştığını ve olası kullanım alanlarını inceleyecek, başlamana yardımcı olacak pratik bir kod örneği paylaşacağız.

YOLO-World’e kısa bir bakış#

Aradığın nesneleri açıklayan bir görüntüyü ve metin istemini YOLO-World modeline aktarabilirsin. Örneğin bir fotoğrafın içinde "kırmızı gömlek giyen bir kişi" bulmak istiyorsan YOLO-World bu girdiyi alır ve çalışmaya başlar.

Modelin benzersiz mimarisi üç temel bileşeni bir araya getirir:

• Görüntünün görsel içeriğini analiz etmek için Ultralytics YOLOv8 nesne algılama modelini temel alan bir algılayıcı.
• Metin istemini anlamak üzere özel olarak tasarlanmış ve OpenAI’ın CLIP modeli tarafından önceden eğitilmiş bir metin kodlayıcı.
• İşlenmiş görüntü verilerini metin verileriyle bütünleştiren bir ağ olan Görüntü-Dil Yol Toplama Ağı (RepVL-PAN).

YOLO algılayıcısı, olası nesneleri belirlemek için girdi görüntünü tarar. Metin kodlayıcı, açıklamanı modelin anlayabileceği bir biçime dönüştürür. Bu iki bilgi akışı daha sonra çok seviyeli çapraz kipli birleştirme kullanılarak RepVL-PAN üzerinden birleştirilir. Böylece YOLO-World, isteminde açıklanan nesneleri görüntü içinde hassas bir şekilde algılayıp konumlandırabilir.

YOLO-World sonuçlarına bir örnek.

YOLO-World’ü seçmenin avantajları#

YOLO-World kullanmanın en büyük avantajlarından biri, modeli belirli bir sınıf için eğitmen gerekmemesidir. Model, görüntü ve metin çiftlerinden zaten öğrenmiştir; bu nedenle açıklamalara göre nesneleri nasıl bulacağını bilir. Saatler süren veri toplama, veri etiketleme ve pahalı GPU’larda eğitim gibi işlemlerden kaçınabilirsin.

YOLO-World kullanmanın diğer bazı avantajları şunlardır:

• Gerçek Zamanlı Performans - YOLO-World, özgün YOLO mimarisi gibi gerçek zamanlı performansı destekler. Otonom araçlar ve gözetim sistemleri gibi anında nesne algılama gerektiren uygulamalar için idealdir.
• Örnek Segmentasyonu - YOLO-World, eğitim sırasında özel olarak öğretilmemiş olsalar bile görüntülerdeki nesnelerin sınırlarını düzgün bir şekilde çizebilir ve nesneleri birbirinden ayırabilir.
• Verimlilik - YOLO-World, yüksek doğruluğu hesaplama verimliliğiyle birleştirerek gerçek dünya uygulamaları için pratik bir çözüm sunar. Sadeleştirilmiş mimarisi, işlem gücüne aşırı yük bindirmeden hızlı nesne algılamayı mümkün kılar.

YOLO-World’ün uygulamaları#

YOLO-World modelleri çok çeşitli uygulamalarda kullanılabilir. Bunlardan bazılarını inceleyelim.

Üretimde kalite kontrolü#

Bir montaj hattında üretilen ürünler paketlenmeden önce kusur açısından görsel olarak kontrol edilir. Kusur algılama işlemi genellikle elle yapılır; bu da zaman alır ve hatalara yol açabilir. Bu hatalar yüksek maliyetler, onarım ihtiyacı veya ürünlerin geri çağrılması gibi sorunlara neden olabilir. Bu kontrolleri gerçekleştirmek için özel makine görü kameraları ve AI sistemleri geliştirilmiştir.

YOLO-World modelleri bu alanda büyük bir ilerleme sağlar. Zero-shot yetenekleri sayesinde belirli bir sorun için eğitilmemiş olsalar bile ürünlerdeki kusurları bulabilirler. Örneğin su şişeleri üreten bir fabrika, YOLO-World kullanarak kapağı düzgün şekilde kapatılmış bir şişe ile kapağı eksik veya kusurlu bir şişeyi kolayca ayırt edebilir.

Şişe kapağı denetimine bir örnek.

Robotik#

YOLO-World modelleri, robotların alışılmadık ortamlarla etkileşim kurmasını sağlar. Bir odada bulunabilecek belirli nesneler üzerinde eğitilmemiş olsalar bile hangi nesnelerin mevcut olduğunu belirleyebilirler. Örneğin, daha önce hiç bulunmadığı bir odaya giren bir robotu düşünelim. YOLO-World modeliyle robot, bu nesneler üzerinde özel olarak eğitilmemiş olsa bile sandalye, masa veya lamba gibi nesneleri tanıyıp belirleyebilir.

YOLO-World, nesne algılamaya ek olarak 'önce istem, sonra algıla' özelliği sayesinde bu nesnelerin durumunu da belirleyebilir. Örneğin tarımsal robotikte, robotu meyveleri algılayacak şekilde programlayarak olgun meyveleri olgunlaşmamış meyvelerden ayırt etmek için kullanılabilir.

Otomotiv sektöründe AI#

Otomotiv sektörü birçok hareketli parçayı içerir ve YOLO-World farklı otomotiv uygulamalarında kullanılabilir. Örneğin araç bakımı söz konusu olduğunda, YOLO-World’ün manuel etiketleme veya kapsamlı bir ön eğitim olmadan çok çeşitli nesneleri tanıma yeteneği son derece kullanışlıdır. YOLO-World, değiştirilmesi gereken araç parçalarını belirlemek için kullanılabilir. Hatta yeni araçlarda kalite kontrolleri gerçekleştirmek, kusurları veya eksik parçaları tespit etmek gibi görevleri otomatikleştirebilir.

Bir diğer uygulama ise sürücüsüz araçlarda zero-shot nesne algılamadır. YOLO-World’ün zero-shot algılama yetenekleri, otonom bir aracın yoldaki yayalar, trafik işaretleri ve diğer araçlar gibi nesneleri gerçek zamanlı olarak algılama ve sınıflandırma becerisini geliştirebilir. Böylece engellerin tespit edilmesine ve kazaların önlenmesine yardımcı olarak daha güvenli bir yolculuk sağlayabilir.

Yoldaki nesnelerin algılanmasına bir örnek.

Perakende mağazalarında envanter yönetimi#

Perakende mağazalarındaki raflarda bulunan nesneleri belirlemek; envanteri takip etmenin, stokları yönetmenin ve süreçleri otomatikleştirmenin önemli bir parçasıdır. Ultralytics YOLO-World’ün manuel etiketleme veya kapsamlı bir ön eğitim olmadan çok çeşitli nesneleri tanıma yeteneği, envanter yönetimi için son derece kullanışlıdır.

Örneğin envanter yönetiminde YOLO-World, farklı enerji içeceği markaları gibi raftaki ürünleri hızlıca tespit edip kategorilere ayırabilir. Perakende mağazaları doğru envanter kayıtları tutabilir, stok seviyelerini verimli bir şekilde yönetebilir ve tedarik zinciri operasyonlarını kolaylaştırabilir.

Tüm uygulamalar benzersizdir ve YOLO-World’ün ne kadar geniş kapsamlı kullanılabileceğini gösterir. Şimdi YOLO-World ile uygulamalı çalışmaya geçelim ve bir kod örneğine göz atalım.

Kod üzerinden adım adım ilerleme#

Daha önce belirttiğimiz gibi YOLO-World, bakım amacıyla bir aracın farklı parçalarını algılamak için kullanılabilir. Gerekli onarımları algılayan bir bilgisayarlı görü uygulaması; aracın fotoğrafını çekmeyi, araç parçalarını belirlemeyi, her parçayı hasar açısından incelemeyi ve onarım önerilerinde bulunmayı içerir. Bu sistemin her bölümü farklı AI teknikleri ve yaklaşımları kullanır. Bu kod incelemesinde araç parçalarının algılandığı bölüme odaklanalım.

YOLO-World ile bir görüntüdeki farklı araç parçalarını 5 dakikadan kısa sürede belirleyebilirsin. Bu kodu genişleterek YOLO-World kullanarak farklı uygulamaları da deneyebilirsin! Başlamak için aşağıda gösterildiği gibi Ultralytics paketini pip ile yüklememiz gerekiyor.

Yükleme süreciyle ilgili daha fazla talimat ve en iyi uygulama için Ultralytics Yükleme kılavuzumuza göz at. YOLOv8 için gerekli paketleri yüklerken herhangi bir sorunla karşılaşırsan çözüm ve ipuçları için Yaygın Sorunlar kılavuzumuza bak.

Gerekli paketi yükledikten sonra çıkarımlarımızı çalıştırmak için İnternet’ten bir görüntü indirebiliriz. Aşağıdaki görüntüyü kullanacağız.

Girdi görüntümüz.

Ardından gerekli paketi içe aktaracak, modelimizi başlatacak ve girdi görüntümüzde aradığımız sınıfları belirleyeceğiz. Burada şu sınıflarla ilgileniyoruz: araba, tekerlek, araba kapısı, araba aynası ve plaka.

Daha sonra görüntü üzerinde çıkarım çalıştırmak için görüntünün yolunu, maksimum algılama sayısına ilişkin parametreleri ve kesişim-birleşim oranı (IoU) ile güven (conf) eşiklerini sağlayarak predict yöntemini kullanacağız. Son olarak algılanan nesneler 'result.jpg' adlı bir dosyaya kaydedilir.

Aşağıdaki çıktı görüntüsü dosyalarına kaydedilecektir.

Çıktı görüntümüz.

Kod yazmadan YOLO-World’ün neler yapabildiğini görmek istersen YOLO-World Demo sayfasına gidip bir girdi görüntüsü yükleyebilir ve özel sınıfları girebilirsin.

Modeli özel sınıflarla nasıl kaydedeceğini ve daha sonra özel sınıfları tekrar tekrar girmeden doğrudan kullanacağını öğrenmek için YOLO-World hakkındaki dokümantasyon sayfamızı oku.

Araba kapılarının algılanmadığını fark ettin mi?#

Çıktı görüntüsüne tekrar bakarsan “araba kapısı” özel sınıfının algılanmadığını fark edersin. Büyük başarılarına rağmen YOLO-World’ün bazı sınırlamaları vardır. Bu sınırlamaların üstesinden gelmek ve YOLO-World modelini etkili bir şekilde kullanmak için doğru metin istemi türlerini kullanmak önemlidir.

İşte bununla ilgili bazı ipuçları:

• YOLO-World, doğru tahminler için yüksek güven düzeylerine ihtiyaç duymayabilir; bu nedenle güven eşiklerini düşürmek algılama oranlarını artırabilir.
• İlgilenmediğin sınıfları ekle. Bu, ikincil nesdelerdeki yanlış pozitifleri azaltarak birincil nesne algılamayı geliştirmeye yardımcı olur.
• Daha küçük ayrıntılara odaklanmadan önce daha büyük nesneleri algılamak, algılama doğruluğunu artırabilir.
• Nesneleri renk ipuçlarına göre algılamak için sınıflarında renklerden bahset.
• İstemlerde nesne boyutlarını açıklamak da YOLO-World’ün belirli nesneleri daha doğru bir şekilde tanımlamasına yardımcı olabilir.
• Tahminleri boyuta göre filtrelemek veya sınıf başına güven düzeylerini ayarlamak gibi son işleme yöntemleri, nesne algılama sonuçlarını daha da iyileştirebilir.

Sınır yok#

Genel olarak YOLO-World modelleri, gelişmiş nesne algılama yetenekleriyle güçlü bir araca dönüştürülebilir. Büyük verimlilik ve doğruluk sunar, ayrıca araç parçalarını belirleme örneğinde uygulamalı olarak ele aldığımız gibi çeşitli uygulamalardaki farklı görevlerin otomatikleştirilmesine yardımcı olur.

Bilgisayarlı görü ve AI alanındaki katkılarımız hakkında daha fazla bilgi edinmek için GitHub depomuzu inceleyebilirsin. AI’ın sağlık hizmetleri teknolojisi gibi sektörleri nasıl yeniden şekillendirdiğini merak ediyorsan çözüm sayfalarımıza göz at. YOLO-World gibi yeniliklerin sunduğu olanaklar sınırsız görünüyor!