18 Ağustos 2025
Gözlemciler arası güvenilirliği, Cohen's Kappa'yı, ICC'yi, oran eğitimini ve yüzde uyumunu anlayın. Bu istatistiksel ölçümlerin araştırma ve veri analizinde gözlemciler arasındaki tutarlılığı ve uyumu nasıl sağladığını öğrenin.
Bir yapay zeka modeli oluştururken, verilerinizin kalitesi arkasındaki algoritmalar kadar önemlidir. Birden fazla kişi aynı veriyi etiketlediğinde veya incelediğinde, anlaşmazlıklar yaşanması kaçınılmazdır. Bu, araştırma, sağlık hizmetleri ve eğitim dahil olmak üzere birçok alanda geçerlidir.
Özellikle, görüntü veya videolar gibi görsel verileri yorumlamak için Ultralytics YOLO11 gibi modellerin eğitilmesini içeren bir yapay zeka dalı olan bilgisayarlı görüde, etiketlenmiş örnekler çok önemli bir rol oynar. Bu etiketler tutarsızsa, bilgisayarlı görü modelleri doğru kalıpları öğrenmekte zorlanabilir.
Derecelendirmeciler arası güvenilirlik (IRR), farklı bireylerin veya etiketleyicilerin bir görev üzerinde ne kadar tutarlı bir şekilde anlaştığını ölçer. Tutarlılığı izlemeye ve eğitim, yönergeler veya yorumlamadaki boşlukları belirlemeye yardımcı olur. Bu, özellikle belirli bir amaç için özel veriler kullanılarak oluşturulan yapay zeka modellerinin özel model eğitiminde önemlidir.
Bu makalede, gözlemciler arası güvenilirliğin ne olduğunu, nasıl ölçüldüğünü ve gerçek dünya projelerinde nasıl geliştirilebileceğini inceleyeceğiz. Hadi başlayalım!
Derecelendirmeciler arası güvenilirlik, aynı içeriği etiketlerken, derecelendirirken veya incelerken iki veya daha fazla kişinin (derecelendiriciler olarak da bilinir) ne sıklıkla aynı fikirde olduğunu ölçer. Farklı derecelendiricilerin belirli kriterleri ne kadar tutarlı kullandığını kontrol etmek için kullanılır. Derecelendiriciler arasındaki yüksek uyum, bir görevin iyi tanımlandığı ve açıkça anlaşıldığı anlamına gelir.
Bu kavram farklı alanlarda kullanılmaktadır. Alana bağlı olarak, kişiler arası uyum, gözlemciler arası güvenilirlik veya kodlayıcılar arası güvenilirlik gibi farklı isimlerle bilinir. Ancak, temel prensip aynı kalır.
Görüntü İşleme Yapay Zekasında, gözlemciler arası güvenilirlik, veri etiketleme sürecinin önemli bir parçasıdır. Bilgisayar görüşü modellerini eğitmek genellikle büyük görüntü veya video karesi veri kümelerinin etiketlenmesini gerektirir, bu nedenle birden fazla yapay zeka geliştiricisi aynı veriler üzerinde birlikte çalışır.
Doğru sonuçlar elde etmek için, aynı etiketleme yönergelerini izlemeleri gerekir. Örneğin, hayvanları etiketlerken, herkesin neyin köpek sayıldığı, etrafına sınırlayıcı kutunun nasıl çizileceği ve bulanık nesnelerin etiketlenip etiketlenmeyeceği veya yok sayılacağı konusunda net bir anlaşmaya ihtiyacı vardır.
İnsanlar verileri etiketleme veya puanlama işlemine dahil olduğunda, dikkate alınması gereken üç ana güvenilirlik türü vardır. Her biri, sonuçların ne kadar tutarlı olduğunu ölçmede farklı bir amaca hizmet eder. İşte her birine daha yakından bir bakış:
Bu önlemler birlikte, hem insanların hem de süreçlerin istikrarlı, güvenilir sonuçlar ürettiğini doğrulamaya yardımcı olur.
Büyük ölçekli Görüntü Yapay Zeka projelerinde, etiketlenmiş verilerin kalitesi, bir modelin ne kadar iyi performans gösterdiğini doğrudan etkiler. Etiketleyicilerin yönergeleri uygulama biçimindeki küçük farklılıklar bile, eğitim sırasında modeli şaşırtan tutarsızlıklar ortaya çıkarabilir. Zamanla bu, yanlış tahminlere, boşa harcanan kaynaklara ve maliyetli yeniden etiketleme ihtiyacına yol açabilir.
Derecelendiriciler arası güvenilirliği ölçmek, bu sorunları erken tespit etmeye yardımcı olur. Yüksek uyum, etiketleyicilerin uyumlu olduğu, daha temiz ve daha güvenilir veri kümeleri ürettiği anlamına gelir. Düşük uyum, projenin ilerlemeden önce talimatların, örneklerin veya eğitimin iyileştirilmesi gerekebileceğinin sinyalini verir. Etiketleyicilerin senkronize çalışmasını sağlayarak, ekipler daha etkili öğrenen ve gerçek dünya uygulamalarında daha iyi sonuçlar veren yapay zeka modelleri oluşturabilir.
Birden fazla derecelendiriciyle çalışırken ve yüksek derecelendiriciler arası güvenilirliği korumayı hedeflerken akılda tutulması gereken bazı önemli pratik hususlar şunlardır:
Derecelendirmeler arası güvenilirliği ölçmenin çeşitli yolları vardır ve en iyi seçim veri ve görev türüne bağlıdır. Bazı yöntemler, basit evet-hayır sorularını ele alan tek derecelendirme uzmanı için iyi sonuç verirken, diğerleri birden fazla derecelendirme uzmanının dahil olduğu durumlar için tasarlanmıştır.
Yaygın yaklaşımlar arasında yüzde anlaşması, Cohen’s Kappa, Fleiss’ Kappa ve sınıf içi korelasyon katsayısı bulunur. Her yöntem, değerlendiriciler arasındaki anlaşma düzeyini ölçer ve bazı anlaşmaların şans eseri meydana gelebileceği olasılığını hesaba katar.
Cohen’s Kappa, iki değerlendirici arasındaki değerlendiriciler arası güvenilirliği ölçmek için yaygın olarak kullanılan bir yöntemdir. Bazı anlaşmaların şans eseri meydana gelebileceği olasılığını hesaba katarak, bir görev üzerinde ne sıklıkla anlaştıklarını hesaplar. Puanlar -1 ile 1 arasında değişir; 1 mükemmel anlaşmayı, 0 ise anlaşmanın rastgele tahminlerden daha iyi olmadığını gösterir.
Benzer şekilde, Fleiss'in Kappa'sı ikiden fazla derecelendirici olduğunda kullanılır. Grubun ne kadar tutarlı olduğunu gösteren genel bir puan sağlar. Her iki yöntem de görüntüleri etiketleme veya duyguları etiketleme gibi belirlenmiş kategorilere sahip görevler için kullanılır. Hesaplaması kolaydır ve çoğu etiketleme aracı tarafından desteklenir.
Derecelendirmeciler arası güvenilirliği ölçmenin bir başka yolu da, derecelendirmecilerin aynı kararı verme yüzdesini hesaplayan yüzde uyumudur. Kullanımı basit olmakla birlikte, şansa bağlı olarak ortaya çıkabilecek uyumu hesaba katmaz.
Bu arada, sınıfiçi korelasyon katsayısı, sürekli veya ölçek tabanlı veriler için kullanılan daha gelişmiş bir yöntemdir. Birden fazla derecelendirici arasındaki derecelendirmelerin ne kadar tutarlı olduğunu ölçer ve genellikle sabit kategorilerin ötesinde puanlar, ölçümler veya diğer veri türlerini içeren araştırmalarda uygulanır.
Derecelendirmeler arası güvenilirliği nasıl ölçeceğimiz konusunda daha iyi bir anlayışa sahip olduğumuza göre, bu yöntemlerin gerçek dünya uygulamalarında nasıl kullanılabileceğini inceleyelim.
Tıbbi görüntüleme söz konusu olduğunda, yorumlamadaki küçük farklılıklar bile sonuçlarda önemli değişikliklere yol açabilir. Örneğin, radyologlardan genellikle ince, belirsiz veya tanımlanması zor kalıpları tanımlamaları istenir. Bu kalıplar yapay zeka sistemleri için eğitim verisi haline geldiğinde, riskler daha da artar. Uzmanlar aynı taramayı farklı şekilde etiketlerse, model yanlış kalıpları öğrenebilir veya hiç öğrenemeyebilir.
Derecelendirmeciler arası güvenilirlik, bu tür verilerle uğraşan ekiplerin uzman kararlarının gerçekte ne kadar tutarlı olduğunu değerlendirmesine yardımcı olur. Örneğin, retina OCT taramalarına odaklanan yakın tarihli bir çalışmada, iki derecelendirici 500 görüntüyü etiketledi.
Drusen (retina altında sarı tortular) gibi belirgin özellikler için uyum yüksek çıktı ve kappa skoru 0,87 oldu. Ancak hiperreflektif odaklar (retina taramalarında görülen küçük, parlak noktalar) gibi tanımlanması daha zor öğeler için skor 0,33'e düştü. Bu, daha net, daha iyi tanımlanmış özelliklerin daha tutarlı uzman kararları üretme eğiliminde olduğunu, belirsiz olanların ise yorumlama için daha fazla alan bıraktığını göstermektedir.
Bir otonom sürüş sistemi için yapay zeka modellerini eğitmek, çok çeşitli yol koşullarında doğru, tutarlı etiketlere bağlıdır. Bu tür projelerde çalışan etiketleyicilerden, genellikle yetersiz aydınlatma veya kalabalık sahnelerde yayaları, araçları, trafik işaretlerini ve şerit işaretlerini tanımlamaları istenir.
Bu kararlar, modelin zorlu gerçek dünya ortamlarında nasıl yanıt vermeyi öğrendiğini şekillendirir. Derecelendirmeler arası güvenilirlik, ekiplerin bu etiketlerin açıklayıcılar arasında aynı şekilde uygulanıp uygulanmadığını kontrol etmesini mümkün kılar.
Derecelendirmeler arası güvenilirliği ölçmek bir yapay zeka çözümü oluşturmada çok önemli bir adım olsa da, daha geniş bir kalite güvence sürecinin bir parçasıdır. İşte ekipler ve projeler genelinde veri kalitesini iyileştirmeye yardımcı olabilecek diğer bazı uygulamalar:
Derecelendirmeciler arası güvenilirlik, insanların etiketleri ne kadar tutarlı uyguladığını veya kararlar aldığını ölçer. Cohen's Kappa, Fleiss' Kappa ve ICC gibi yöntemler, bu anlaşmayı ölçmeye yardımcı olur. Açık yönergeler, eğitim ve önyargı kontrolü ile güvenilir etiketlemeler daha güçlü verilere ve daha iyi model sonuçlarına yol açar.
Topluluğumuza katılın ve yapay zeka hakkında daha fazla bilgi edinmek için GitHub depomuzu keşfedin. Kendi Görüntü İşleme Yapay Zeka projenize başlamak istiyorsanız, başlamak için lisanslama seçeneklerimize göz atın. Ayrıca, çözüm sayfalarımızı ziyaret ederek sağlık hizmetlerinde yapay zeka ve perakende sektöründe görüntü işleme yapay zekasının nasıl bir etki yarattığını da görebilirsiniz.
