Bilgisayarlı göruda aşırı öğrenme nedir ve nasıl önlenir?

Computer vision modelleri kalıpları tanımak, nesneleri tespit etmek ve görüntüleri analiz etmek için tasarlanmıştır. Ancak bunların performansı, daha önce görülmemiş verilere ne kadar iyi generalize olduklarına bağlıdır. Genelleştirme, modelin yalnızca eğitildiği görüntülerde değil, yeni görüntülerde de iyi çalışabilme yeteneğidir. Bu modellerin eğitiminde yaygın görülen bir sorun, modelin anlamlı kalıpları belirlemek yerine eğitim verilerinden gereksiz gürültü dahil çok fazla şey öğrendiği overfitting durumudur.

Bu durum gerçekleştiğinde model eğitim verilerinde iyi performans gösterir ancak yeni görüntülerle çalışırken zorlanır. Örneğin, yalnızca yüksek çözünürlüklü ve iyi aydınlatılmış görüntüler üzerinde eğitilmiş bir object detection modeli, gerçek dünya koşullarında bulanık veya gölgeli görüntülerle karşılaşıldığında başarısız olabilir. Overfitting, bir modelin uyarlanabilirliğini kısıtlayarak otonom sürüş, tıbbi görüntüleme ve güvenlik sistemleri gibi gerçek dünya uygulamalarındaki kullanımını sınırlar.

Bu makalede overfitting'in ne olduğunu, neden gerçekleştiğini ve bunun nasıl önleneceğini inceleyeceğiz. Ayrıca Ultralytics YOLO11 gibi computer vision modellerinin overfitting'i azaltmaya ve genelleştirmeyi geliştirmeye nasıl yardımcı olduğuna bakacağız.

Aşırı öğrenme nedir?#

Aşırı öğrenme, model yeni girdilere geniş çapta uygulanan desenleri öğrenmek yerine eğitim verilerini ezberlediğinde gerçekleşir. Model eğitim verilerine çok fazla odaklandığı için, daha önce görmediği yeni görüntüler veya durumlarla karşılaştığında zorlanır.

Bilgisayarlı görüde aşırı öğrenme farklı görevleri etkileyebilir. Yalnızca parlak ve net görüntüler üzerinde eğitilmiş bir sınıflandırma modeli, düşük ışık koşullarında zorlanabilir. Mükemmel görüntülerden öğrenen bir nesne algılama modeli, kalabalık veya karmaşık sahnelerde başarısız olabilir. Benzer şekilde, bir örnek bölümleme modeli kontrollü ayarlarda iyi çalışabilir ancak gölgeler veya üst üste binen nesnelerle sorun yaşayabilir.

Bu durum, modellerin kontrollü eğitim koşullarının ötesinde genelleştirme yapabilmesi gereken gerçek dünya yapay zeka uygulamalarında bir sorun haline gelir. Örneğin, sürücüsüz araçlar yayaları farklı aydınlatma koşullarında, hava durumlarında ve ortamlarda tespit edebilmelidir. Eğitim setine aşırı uyum sağlayan (overfit olan) bir model, bu tür tahmin edilemez senaryolarda güvenilir bir şekilde performans gösteremez.

Aşırı öğrenme ne zaman ve neden olur?#

Aşırı öğrenme genellikle dengesiz veri kümeleri, aşırı model karmaşıklığı ve aşırı eğitim nedeniyle meydana gelir. İşte temel nedenler:

• Sınırlı eğitim verisi: Küçük veri kümeleri, modellerin desenleri genelleştirmek yerine ezberlemesine neden olur. Sadece 50 kuş görüntüsü üzerinde eğitilmiş bir model, o veri kümesinin dışındaki kuş türlerini tespit etmekte zorlanabilir.
• Çok fazla parametreye sahip karmaşık modeller: Aşırı katmana ve nörona sahip derin ağlar, temel özelliklere odaklanmak yerine ince ayrıntıları ezberleme eğilimindedir.
• Data augmentation eksikliği: Kırpma, döndürme veya çevirme gibi dönüşümler olmadan bir model yalnızca tam olarak eğitim görüntüleri üzerinden öğrenebilir.
• Uzun süreli eğitim: Bir model epochs olarak bilinen süreçte eğitim verilerinden çok fazla kez geçerse, genel kalıpları öğrenmek yerine detayları ezberler ve bu da onu daha az uyumlu hale getirir.
• Tutarsız veya gürültülü etiketler: Yanlış etiketlenmiş veriler, modelin yanlış desenleri öğrenmesine neden olur. Bu, manuel olarak etiketlenmiş veri kümelerinde yaygındır.

Model karmaşıklığına, veri kümesi kalitesine ve eğitim tekniklerine yönelik iyi dengelenmiş bir yaklaşım, daha iyi genelleştirme sağlar.

Aşırı öğrenme vs. yetersiz öğrenme#

Aşırı öğrenme ve yetersiz öğrenme, derin öğrenmede birbirine tamamen zıt iki sorundur.

Şekil 1. Computer vision modellerinde az öğrenme (underfitting), optimal öğrenme ve aşırı öğrenmenin (overfitting) karşılaştırması.

Aşırı öğrenme, model çok karmaşık olduğunda gerçekleşir ve bu da onu eğitim verilerine aşırı odaklı hale getirir. Genel desenleri öğrenmek yerine, arka plan gürültüsü gibi alakasız olanlar da dahil olmak üzere küçük ayrıntıları ezberler. Bu durum, modelin eğitim verilerinde iyi performans göstermesine ancak yeni görüntülerle zorlanmasına neden olur; yani farklı durumlarda uygulanan desenleri nasıl tanıyacağını tam olarak öğrenememiştir.

Yetersiz öğrenme, model çok basit olduğunda gerçekleşir, bu yüzden verideki önemli desenleri kaçırır. Bu, modelin çok az katmana, yeterli eğitim süresine sahip olmaması veya verilerin sınırlı olması durumunda ortaya çıkabilir. Sonuç olarak, önemli desenleri tanıyamaz ve hatalı tahminler yapar. Bu da model görevi anlamak için yeterince şey öğrenmediğinden hem eğitim hem de test verilerinde düşük performansa yol açar.

İyi eğitilmiş bir model, karmaşıklık ve genelleştirme arasında denge kurar. İlgili desenleri öğrenecek kadar karmaşık olmalı, ancak veriyi altta yatan ilişkileri tanımak yerine ezberleyecek kadar karmaşık olmamalıdır.

Aşırı öğrenme nasıl tanımlanır#

Bir modelin aşırı öğrenme yaşadığını gösteren bazı işaretler şunlardır:

• Eğitim doğruluğu doğrulama doğruluğundan önemli ölçüde yüksekse, model büyük olasılıkla aşırı öğrenme yapıyordur.
• Eğitim kaybı ile doğrulama kaybı arasındaki boşluğun giderek açılması bir diğer güçlü göstergedir.
• Model yanlış cevaplar konusunda çok kendine güveniyordur, bu da desenleri anlamak yerine ayrıntıları ezberlediğini gösterir.

Bir modelin iyi genelleştirme yapmasını sağlamak için gerçek dünya koşullarını yansıtan çeşitli veri kümeleri üzerinde test edilmesi gerekir.

Bilgisayarlı görüde aşırı öğrenme nasıl önlenir#

Aşırı öğrenme kaçınılmaz değildir ve önlenebilir. Doğru tekniklerle bilgisayarlı görü modelleri, eğitim verilerini ezberlemek yerine genel desenleri öğrenebilir ve bu da onları gerçek dünya uygulamalarında daha güvenilir kılar.

Bilgisayarlı görüde aşırı öğrenmeyi önlemek için beş temel strateji şunlardır.

Artırma ve sentetik verilerle veri çeşitliliğini artırın#

Bir modelin yeni veriler üzerinde iyi çalışmasına yardımcı olmanın en iyi yolu, veri setini data augmentation ve synthetic data kullanarak genişletmektir. Sentetik veriler gerçek dünya görüntülerinden toplanmak yerine bilgisayar tarafından üretilir. Yeterli gerçek veri olmadığında boşlukları doldurmaya yardımcı olur.

Şekil 2. Gerçek dünya verileri ile sentetik verilerin birleştirilmesi overfitting'i azaltır ve nesne tespit doğruluğunu artırır.

Veri artırma, mevcut görüntüleri çevirerek, döndürerek, kırparak veya parlaklığı ayarlayarak hafifçe değiştirir, böylece model sadece ayrıntıları ezberlemekle kalmaz, aynı zamanda nesneleri farklı durumlarda tanımayı da öğrenir.

Sentetik veriler, gerçek görüntüler elde etmenin zor olduğu durumlarda kullanışlıdır. Örneğin, sürücüsüz araç modelleri, farklı hava ve aydınlatma koşullarında nesneleri nasıl tespit edeceklerini öğrenmek için bilgisayar tarafından oluşturulan yol sahneleri üzerinde eğitilebilir. Bu, modelin binlerce gerçek dünya görüntüsüne ihtiyaç duymadan daha esnek ve güvenilir olmasını sağlar.

Model karmaşıklığını ve mimarisini optimize edin#

Tek bir katman yerine verileri işleyen birçok katmana sahip bir machine learning modeli türü olan derin neural network her zaman daha iyi değildir. Bir modelin çok fazla katmanı veya parametresi olduğunda, daha geniş kalıpları tanımak yerine eğitim verilerini ezberler. Gereksiz karmaşıklığı azaltmak overfitting'i önlemeye yardımcı olabilir.

Bunu başarmak için yaklaşımlardan biri, gereksiz nöronları ve bağlantıları kaldıran ve modeli daha yalın ve verimli hale getiren pruning yöntemidir.

Diğeri ise katman veya nöron sayısını azaltarak mimariyi basitleştirmektir. Ultralytics YOLO11 gibi önceden eğitilmiş modeller, daha az parametreyle görevler arasında iyi genelleşme sağlayacak şekilde tasarlandığından, derin bir modeli sıfırdan eğitmenize kıyasla aşırı öğrenmeye karşı çok daha dirençlidir.

Model derinliği ve verimliliği arasında doğru dengeyi bulmak, modelin eğitim verilerini ezberlemek yerine yararlı desenleri öğrenmesine yardımcı olur.

Düzenlileştirme teknikleri uygulayın#

Regularization techniques, modellerin eğitim verilerindeki belirli özelliklere aşırı bağımlı hale gelmesini önler. İşte yaygın olarak kullanılan birkaç teknik:

• Dropout, eğitim sırasında modelin rastgele bölümlerini kapatır, böylece model birkaç özelliğe çok fazla güvenmek yerine farklı desenleri tanımayı öğrenir.
• Ağırlık azalması (L2 düzenlileştirme), aşırı ağırlık değerlerini engeller ve modelin karmaşıklığını kontrol altında tutar.
• Batch normalization, modelin veri kümesindeki varyasyonlara karşı daha az duyarlı olmasını sağlayarak eğitimi stabilize etmeye yardımcı olur.

Bu teknikler, modelin esnekliğini ve uyarlanabilirliğini korumaya yardımcı olurken, doğruluğu koruyarak aşırı öğrenme riskini azaltır.

Eğitimi doğrulama ve erken durdurma ile izleyin#

Aşırı öğrenmeyi önlemek için modelin nasıl öğrendiğini takip etmek ve yeni verilere iyi genelleştirme yaptığından emin olmak önemlidir. Buna yardımcı olacak birkaç teknik şunlardır:

• Erken durdurma: Model iyileşmeyi bıraktığında eğitimi otomatik olarak sonlandırır, böylece gereksiz ayrıntıları öğrenmeye devam etmez.
• Çapraz doğrulama: Verileri parçalara ayırır ve modeli her birinde eğitir. Bu, modelin belirli görüntüleri ezberlemek yerine desenleri öğrenmesine yardımcı olur.

Bu teknikler, modelin dengede kalmasına yardımcı olur, böylece yalnızca eğitim verilerine çok odaklanmadan doğru olacak kadar çok şey öğrenir.

Önceden eğitilmiş modeller kullanın ve veri kümesi etiketlemeyi iyileştirin#

Sıfırdan eğitmek yerine Ultralytics YOLO11 gibi önceden eğitilmiş modelleri kullanmak aşırı öğrenmeyi azaltabilir. YOLO11, büyük ölçekli veri kümeleri üzerinde eğitildiği için farklı koşullar altında iyi bir genelleme yapmana olanak tanır.

Şekil 3. Önceden eğitilmiş computer vision modelleri doğruluğu artırır ve overfitting'i önler.

Önceden eğitilmiş bir modeli ince ayarlamak (fine-tuning), yeni görevleri öğrenirken zaten bildiklerini korumasına yardımcı olur, böylece sadece eğitim verilerini ezberlemez.

Ek olarak, yüksek kalitede veri seti etiketlemesi sağlamak esastır. Yanlış etiketlenmiş veya dengesiz veriler, modelleri yanlış kalıpları öğrenmeleri konusunda yanıltabilir. Veri setlerini temizlemek, yanlış etiketlenmiş görüntüleri düzeltmek ve sınıfları dengelemek doğruluğu artırır ve overfitting riskini azaltır. Bir diğer etkili yaklaşım da modelin sınırlarını test etmek için tasarlanmış hafifçe değiştirilmiş veya daha zorlu örneklerle karşılaştırıldığı adversarial training yöntemidir.

Öne çıkanlar#

Aşırı öğrenme, bilgisayarlı görüde yaygın bir sorundur. Bir model eğitim verilerinde iyi çalışabilir ancak gerçek dünya görüntüleriyle çalışırken zorlanabilir. Bunu önlemek için veri artırımı, düzenlileştirme ve Ultralytics YOLO11 gibi önceden eğitilmiş modelleri kullanma gibi teknikler doğruluk ve uyarlanabilirliği artırmaya yardımcı olur.

Bu yöntemleri uygulayarak, yapay zeka modelleri güvenilir kalabilir ve farklı ortamlarda iyi performans gösterebilir. Derin öğrenme geliştikçe, modellerin düzgün bir şekilde genelleştirildiğinden emin olmak, gerçek dünya yapay zeka başarısı için anahtar olacaktır.

Büyüyen topluluğumuza katılın! Yapay zeka hakkında daha fazla bilgi edinmek için GitHub depomuzu keşfedin. Kendi computer vision projelerinize başlamaya hazır mısınız? Lisanslama seçeneklerimize göz atın. Çözüm sayfalarımızı ziyaret ederek kendi kendine giden araçlarda yapay zekayı ve sağlık sektöründe yapay zekayı keşfedin!