Hard Negative Mining

Zor negatif madenciliği, bir modelin alışılmadık derecede ikna edici bulduğu negatif örnekleri belirleyen ve öğrenme sırasında bunlara daha fazla ağırlık veren bir eğitim verisi stratejisidir. Negatif örnek hedef sınıfa ait değildir; zor negatif ise yüksek skor, hatalı tespit veya yakındaki bir embedding üretecek kadar pozitif örneğe benzer. Zor negatif madenciliği, modele kolay arka plan örneklerini tekrar tekrar göstermek yerine bu kafa karıştırıcı durumlara odaklanarak karar sınırlarını keskinleştirebilir ve yanlış pozitifleri azaltabilir.

Zor Negatif Madenciliği Nasıl Çalışır?#

Süreç genellikle temsili eğitim verileri üzerinde eğitilmiş bir temel modelle başlar. Model daha sonra etiketlenmemiş üretim görüntüleri, yalnızca negatif örnekler içeren sahneler veya her eğitim batch'indeki örnekler gibi daha geniş bir aday havuzunu değerlendirir. Negatif oldukları hâlde yüksek pozitif skor alan adaylar incelenmek ve gelecekteki eğitimlerde kullanılmak üzere seçilir.

Bir örneğin “zor” sayılması göreve bağlıdır:

• Nesne tespitinde, bir arka plan bölgesi, dedektör onu hedef nesneyle karıştırdığında zordur.
• Sınıflandırmada bu, hedef sınıf için yüksek güven atanan yanlış sınıf örneğidir.
• Getirme veya metrik öğrenmede bu, embedding uzayında sorguya yakın sıralanan ilgisiz bir öğedir. Google'ın öneri modelleri için negatif örnekleme kılavuzu, zor negatifleri gradyanı güçlü biçimde etkileyen, yüksek skorlu negatif öğeler olarak tanımlar.
• Üçlü öğrenmede negatif örnek, eşleşen pozitif örneğe kıyasla bir anchor'a fazla yakın görünür. PyTorch TripletMarginLoss belgeleri, göreli benzerliği öğrenmek için kullanılan anchor-pozitif-negatif yapısını açıklar.

Madencilik, bir modeli büyük bir veri kümesi üzerinde belirli aralıklarla çalıştırarak çevrimdışı yapılabilir veya mevcut mini-batch'ten zor negatifleri seçerek çevrimiçi gerçekleştirilebilir. Bir Keras zor negatif madenciliği katmanı, aday logitlerine dayalı sorgu başına seçime örnek sunar.

Zor Negatifler Neden Önemlidir?#

Negatif örneklerin çoğu kolaydır: boş bir gökyüzünün forklift dedektörünü yanıltması pek olası değildir. Model bu tür örnekleri doğru sınıflandırdığında, bunlar çok az yararlı öğrenme sinyali sağlar. Zor negatifler, modelin yanlış anladığı görsel veya anlamsal özellikleri kesin olarak ortaya çıkarır.

Yanlış alarmlar precision değerini düşürdüğünde özellikle değerlidirler. Precision-recall analizi, scikit-learn precision-recall kılavuzunda gösterildiği gibi, yeniden eğitimin recall değerinde kabul edilemez bir düşüşe yol açmadan yanlış pozitifleri gerçekten azaltıp azaltmadığını belirlemeye yardımcı olur.

Zor negatif madenciliği, ilişkili tekniklerden farklıdır:

• Negatif örnekleme, tüm negatiflerin yönetilebilir bir alt kümesini seçer; zor negatif madenciliği ise en kafa karıştırıcı olanlara öncelik verir.
• Aktif öğrenme genellikle olası pozitifler de dâhil olmak üzere insan tarafından etiketlenmesi gereken belirsiz örnekleri seçer. Zor negatif madenciliği ise özellikle modele meydan okuyan, doğrulanmış negatifleri hedefler.
• Focal loss, loss fonksiyonu içindeki örneklerin ağırlıklandırılma biçimini değiştirirken madencilik, hangi örneklerin seçileceğini veya öne çıkarılacağını değiştirir.
• Sınıf yeniden dengeleme, sınıf sıklıklarındaki eşitsizliği ele alır. Google'ın sınıf dengesizliği olan veri kümeleri kılavuzu alt örnekleme ve ağırlıklandırmayı kapsar; ancak sık görülen negatifler mutlaka zor negatifler değildir.
• Veri artırma mevcut örneklerin varyasyonlarını oluşturur; bilinmeyen bir üretim arızası biçimini güvenilir şekilde ortaya çıkaramaz.

Gerçek Dünya Uygulamaları#

Depo güvenliği tespiti: Bir forklift dedektörünün palet krikolarını, raf yansımalarını ve makaslı platformları tekrar tekrar forklift olarak tespit ettiğini varsayalım. Bu yanlış pozitifler gereksiz uyarıları tetikleyebilir ve operatörlerin güvenini azaltabilir. Mühendisler bu sahneleri forklift anotasyonları içermeyen negatif görüntüler olarak toplayabilir, veri kümesine ekleyebilir ve hedefi benzer ekipmanlardan ayırt etmesi için dedektörü yeniden eğitebilir.

Görsel ürün arama: Bir müşteri belirli bir siyah koşu ayakkabısını arar, ancak getirme sistemi farklı ürün gruplarındaki görsel olarak benzer ayakkabıları çok üst sıralarda listeler. Bu eşleşmeyen ürünler zor negatiflere dönüşür. Bunlarla eğitim yapmak, embedding modelini taban şekli, logo konumu ve malzeme gibi ince farklılıkları korumaya teşvik eder. Keras Siamese network örneği, anchor, pozitif ve negatif görüntülerin benzerlik öğrenimini nasıl desteklediğini gösterir.

Uygulamalı Madencilik İş Akışı#

Güvenilir bir iş akışı yinelemelidir:

1. Temsili doğrulama ve üretim verileri üzerinde tahminler çalıştır.
2. Ultralytics doğrulama modunu ve bir confusion matrix kullanarak yüksek güvenli yanlış pozitifleri ve sınıf karışıklığı örüntülerini incele.
3. Her adayın gerçekten negatif olduğunu doğrula; hatalı etiketler modele gerçek nesneleri bastırmayı öğretebilir.
4. İlişkili örnekleri bul, kopyaları kaldır ve çeşitli arka planları, bakış açılarını ve koşulları koru.
5. Yeniden eğit, ardından bilgisayarlı görü modeli test iş akışını kullanarak hem tam test kümesindeki hem de özel bir zor negatif alt kümesindeki performansı karşılaştır.

Ultralytics Explorer benzerlik araması, bilinen bir yanlış pozitife benzeyen görüntüleri ortaya çıkarmaya yardımcı olabilir:

from ultralytics import Explorer

# Build an embedding index for the example dataset
explorer = Explorer(data="coco128.yaml", model="yolo26n.pt")
explorer.create_embeddings_table()

# Retrieve visually similar candidates for human review
candidates = explorer.get_similar(
    img="https://ultralytics.com/images/bus.jpg",
    limit=12,
)
print(candidates.head())

Tek başına benzerlik, bir adayın zor negatif olduğunu kanıtlamaz; bir incelemeci gerçek referans etiketini doğrulamalıdır. Ekipler aday görüntüleri düzenlemek, bunlara anotasyon eklemek veya düzeltmek, güncellenmiş modelleri eğitmek ve dağıtımları izlemek için Ultralytics Platform kullanabilir.

Yalnızca mutlak olarak en zor örnekleri seçmekten kaçın. Bazıları yanlış etiketlenmiş, belirsiz veya eğitimi istikrarsızlaştıran aşırı aykırı örnekler olabilir. Kolay, orta zorluktaki ve zor negatiflerin dengeli bir karışımı, genellikle geniş kapsamı korurken modele mevcut sınırının nerede başarısız olduğunu öğretir.