Ultralytics YOLO ve NVIDIA Cosmos Data Factory: Kusur tespiti için sentetik veriler

Ultralytics ve NVIDIA, hedefli eğitim verilerinin Ultralytics YOLO için neler sağlayabileceğini göstermek üzere iş birliği yaptı. NVIDIA'nın ajan tabanlı, veriyle zenginleştirilmiş eğitim döngüsü modelin ihtiyaç duyduğu görüntüleri belirliyor, NVIDIA Cosmos Data Factory henüz mevcut olmayan görüntüleri üretiyor ve Ultralytics YOLO elde edilen sonuçla eğitilen model oluyor. Makine öğrenimi (ML) ekibimiz, bu bileşimi 19 herkese açık endüstriyel denetim kıyaslama testinde değerlendirdi ve NVIDIA'nın ajan tabanlı işlem hattı ile Cosmos Data Factory'nin sentetik verileri kullanılarak eğitilen Ultralytics YOLO26 modelini, geleneksel yöntemle eğitilen aynı modelle karşılaştırdı. Bu yazıda sonuçları paylaşıyoruz.

Daha fazla veri yanıt değil. Doğru veri yanıt.#

Her denetim ekibi bu durumu bilir. Kusur tespit modeli, defalarca gördüğü kusurlarda iyi performans gösterir; ancak üretim hattında en çok önem taşıyan nadir bir çizilmeyi, alışılmadık bir aydınlatmayı veya tuhaf bir kamera açısını gözden kaçırır. Alışılagelmiş çözüm, her şeyden daha fazla veri toplamak ve etiketlemektir; bu yavaş ve pahalıdır, ayrıca çoğunlukla modelin zaten iyi işlediği görüntüleri ekler.

NVIDIA destekli otomatik, ajan tabanlı eğitim farklı bir yaklaşım izler: veri kümesindeki belirli zayıf noktaları bulur ve bunları, hâlihazırda mevcut gerçek görüntülerle veya gerçek örneklerin bulunmadığı durumlarda Cosmos Data Factory'den alınan sentetik görüntülerle giderir. Ultralytics YOLO ile birlikte kullanıldığında bu, modelin tam olarak eksik olduğu verilerle eğitilmesi anlamına gelir.

NVIDIA'nın veri artırımlı eğitim döngüsü nasıl çalışıyor?#

Ultralytics YOLO için NVIDIA'nın ajan tabanlı veri artırımlı eğitim döngüsü, eğitim döngüsünü saran ve modelin sırada hangi verilere ihtiyaç duyacağına karar veren bir model iyileştirme işlem hattıdır:

• Gerçek verileri tarar. Eğitim kümesindeki belirli boşlukları dolduran gerçek örnekleri bulmak için mevcut görüntü havuzlarında arama yapar.

• Sentetik veriler üretir. Gerçek örneklerin bulunmadığı durumlarda Cosmos Data Factory ile uç durum görüntüleri üretir.

• Otomatik etiketler. AnomalyGen adlı bir bileşen sentetik görüntüleri etiketler; böylece yeniden eğitimden önce elle açıklama eklemek gerekmez.

Temel fikir, veri verimliliği yerine hedefli veridir. Amaç yalnızca daha az veriyle eğitim yapmak değildir. Amaç, modelin zayıf olduğu veri kümesi boşluklarını tarama veya üretme yoluyla hassas biçimde doldurmak ve zenginleştirilmiş bu kümeyle yeniden eğitim yapmaktır. Aşağıdaki sonuçların da gösterdiği gibi, bunu iyi yapmanın yan etkilerinden biri genellikle daha az görüntüyle eğitim yapmaktır.

İşlem hattı Ultralytics YOLO ile kapsamlı biçimde karşılaştırmalı testlerden geçirildi ve bu makaledeki tüm sonuçlarda Ultralytics YOLO26 kullanıldı.

NVIDIA Cosmos Data Factory'nin rolü#

Cosmos Data Factory, NVIDIA'nın Cosmos dünya modelleri üzerine kurulu veri seçme, işleme ve üretme platformudur. Ajan tabanlı eğitim döngüsündeki görevi; üretimdeki belirli kusur türleri veya ulaşım görüntülerindeki balık gözü lens bozulması gibi, gerçek bir veri kümesinin yeterince kapsamadığı senaryolar için görüntüler üretmektir.

İş akışı basittir. Cosmos uç durum görüntülerini üretir, AnomalyGen bunları etiketler ve Ultralytics YOLO, standart Ultralytics eğitim işlem hattı kullanılarak birleştirilmiş gerçek ve sentetik kümeyle yeniden eğitilir.

Cosmos Data Factory'yi 19 herkese açık veri kümesinde sınamak#

Cosmos Data Factory + Ultralytics YOLO'nun ne kadar ileri gidebileceğini görmek için makine öğrenimi (ML) ekibimiz, çelik, baskılı devre kartları, kumaş, metal yüzeyler ve tüketici ürünlerini kapsayan 19 herkese açık endüstriyel denetim veri kümesinde ajan tabanlı veri artırımlı ince ayar işlem hattını çalıştırdı. Toplamda yaklaşık 91.000 eğitim görüntüsü kullanıldı. Her çalıştırma tek bir 8-GPU ana bilgisayarda yapıldı.

Karşılaştırma özellikle katı tutuldu. Temel model ve Cosmos Data Factory modeli aynı tarifle eğitildi: Ultralytics YOLO26x, 100 dönem, aynı eniyileyici, öğrenme oranı ve tohum; ayrıca ikisi de aynı ayrılmış test kümesinde değerlendirildi. Tek fark, her modelin hangi görüntülerle eğitildiğiydi. Temel model, etiketlenmiş tüm görüntülerle (sentetik veri testinde ise yalnızca gerçek görüntülerle) eğitildi.

1. Etiketlerin bir bölümüyle aynı doğruluk#

19 veri kümesinin 11'inde, ajan tabanlı işlem hattıyla eğitilen Ultralytics YOLO26x, tam veri kümesiyle eğitilen aynı modelle aynı sonucu verdi. Bu 11 veri kümesinde etiketlenmiş görüntülerin %53'üne hiç ihtiyaç duyulmadı.

Tablo 1. Cosmos Data Factory'nin tam veri modelinin sonucuna ulaştığı veri kümeleri. Aynı ayrılmış kümede mAP@0.5.

DAGM veri kümelerinde ajan tabanlı işlem hattı, etiketlerin onda biriyle aynı mAP@0.5 değerine ulaştı; iki sınıfta ise tam veri modeli sonucunu az farkla geçti. pcb-defect veri kümesinde, doğruluk farkı çalıştırmalar arası gürültünün dört kat altında kalırken 20.924 görüntünün 7.000'ini eledi.

Açıklama ekleme için ödeme yapan ekipler açısından öne çıkan sonuç şu: Bu veri kümelerindeki etiketleme bütçesinin büyük bölümü sonucu değiştirmeyen görüntülere harcandı.

2. %74'e kadar daha hızlı eğitim#

Şekil 1. Cosmos Data Factory'nin daha hızlı olduğu veri kümelerinde tam veri kümesi ve Cosmos Data Factory alt kümesi için eğitim süresi.

Ultralytics YOLO'yu daha küçük, hedefli bir kümeyle eğitmek işlem gücü ihtiyacını da azaltır. 19 veri kümesinin 10'unda ajan tabanlı işlem hattıyla eğitim daha hızlı tamamlandı. DAGM'de eğitim süresi 13–24 dakikadan 4–7 dakikaya düştü; bu, %69–74 azalma demek. Daha büyük veri kümelerinde tasarruf daha küçük ama kayda değerdi: VisA'da %19, metal-surface-defect'te %12.

Tasarruf her durumda sağlanmaz. Kalan dokuz veri kümesinde ajan tabanlı işlem hattı, tek bir tam veri çalıştırmasından daha uzun sürdü; çünkü seçilmiş her turda model baştan eğitiliyor. Seçilmiş alt küme özgün kümeden çok daha küçük olmadığında, bu ek turların maliyeti tasarrufu aşıyor.

3. Üretilen kusurlar kutuları daha hassas hâle getiriyor#

Şekil 2. Sentezin denendiği ve yarar sağladığı veri kümelerinde, yalnızca gerçek görüntülerle ve üretilen kusurlarla mAP@0.75.

Üçüncü testte sentetik veriler tek başına incelendi. Çokgen açıklamalarına sahip veri kümelerine Cosmos Data Factory ile üretilen, AnomalyGen tarafından etiketlenen kusurlar ekledik ve ortaya çıkan Ultralytics YOLO modelini yalnızca gerçek görüntülerle eğitilmiş bir modelle karşılaştırdık.

mAP@0.5'ten daha katı bir ölçüt olan mAP@0.75 değerini raporluyoruz: Bir tahmin, yalnızca kutusu gerçek kusurla en az %75 oranında örtüşüyorsa başarılı sayılır. Bu ölçüt, modelin kusuru bulup bulmadığını değil, konumunu ne kadar hassas belirlediğini ölçer. Üretilen kusurların eklenmesi DAGM sınıflarında mAP@0.75 değerini 0.11'den 0.32'ye çıkardı ve test edilen her veri kümesinde duyarlılık arttı. En büyük artış DAGM sınıf 9'da görüldü: 0.650'den 0.966'ya. Real-IAD'deki artış ise sınırlıydı (+0.008).

Kusurlar doğaları gereği nadirdir; bu nedenle belirli bir kusur türünün gerçek örnekleri her zaman az bulunur. Önceden etiketlenmiş kusurlar üretmek, herhangi birinin çokgen çizmesine gerek kalmadan Ultralytics YOLO'nun kusurun tam şeklini ve boyutlarını öğrenmesini sağlar.

Ne kadar sentetik veri kullanıldı#

Her üretim üç adımda gerçekleşir. Cosmos Data Factory önce gerçek görüntülerde makul kusur konumlarını bulur (yerleştirilenler), üretici bu konumlarda kusurlu görüntüler çizer (üretilenler) ve yalnızca belirlenen sınıra kadar olanlar eğitim kümesine alınır (tutulanlar). İki sınırı test ettik: sentetik görüntüler, eğitim kümesindeki gerçek görüntülerin %25'i veya %100'ü kadar.

18 üretim turunda (9 temel model ve 9 sentetik veri turu) işlem hattı 11.448 görüntü üretti. Bunların yalnızca 1.481'i, yani yaklaşık sekizde biri tutuldu. Dolayısıyla sınır, üreticinin çıktısını değil, her Ultralytics YOLO modelinin gördüğü sentetik veri miktarını belirledi. %100 sınırında her eğitim kümesinde her gerçek görüntüye karşılık bir sentetik görüntü; %25 sınırında ise yaklaşık her dört gerçek görüntüye bir sentetik görüntü vardı. Mutlak miktarlar küçüktü: DAGM'de 90–180 gerçek görüntü ve en fazla aynı sayıda sentetik görüntü.

Tablo 2. Her çalıştırmanın üretim ve kabul kayıtlarından alınan üretilen görüntü sayıları ve gerçek-sentetik oranı.

Denetim modelleri geliştiren ekipler için anlamı#

Ultralytics YOLO ile hâlihazırda eğitim yapan ekipler için Cosmos Data Factory ve NVIDIA destekli otomatik, ajan tabanlı eğitim, bildikleri ve kullandıkları iş akışına uyum sağlar: aynı modeller ve aynı eğitim tarifi, ancak daha akıllı veri.

• Toplayamadığın uç durumları kapsa. Otomatik etiketlenmiş sentetik kusurlar, gerçek örneklerin az olduğu yerlerde Ultralytics YOLO'nun kusurların konumunu belirlemesine yardımcı olur.

• Etiketleme bütçesini önemli olan yerlere harca. Test edilen veri kümelerinin yarıdan fazlasında etiketlerin çoğu gereksizdi. Hedefli seçim, önemli görüntüleri bulur.

• Daha hızlı yinele. Daha küçük ve özenle seçilmiş eğitim kümeleri, Ultralytics YOLO eğitimlerini kısaltır ve birçok veri kümesinde deneylerin daha hızlı yapılmasını sağlar.

Kullanılabilirlik#

Cosmos tabanlı sentetik veri üretimi adımı şu anda örnek ve demo olarak sunuluyor; henüz yayımlanmış bir entegrasyon değil.

Cosmos Data Factory'yi kendi Ultralytics YOLO modellerinle denemek için Ultralytics ekipleriyle iletişime geç. Sentetik veri üretimi adımı tam entegrasyona doğru ilerlerken NVIDIA ile çalışmaya devam edeceğiz.

Ek: test kurulumu ve veri kümeleri#

Tüm çalıştırmalarda Ultralytics YOLO26x, 100 dönem, temel model ve Cosmos Data Factory için aynı eniyileyici, öğrenme oranı ve tohum; tek bir 8-GPU ana bilgisayar ve her veri kümesi için aynı ayrılmış test kümesi kullanıldı. Çokgen açıklamalarına sahip 11 veri kümesinde üretilen kusurlar kullanılabilir.

Tablo 3. 19 veri kümesi (DAGM, her sınıf için bir tane olmak üzere sekiz veri kümesi sayılır).