Gözlemciler arası güvenirlik: Tanım, örnekler, hesaplamalar

Bir yapay zekâ modeli geliştirirken verilerinin kalitesi, modelin arkasındaki algoritmalar kadar önemlidir. Birden fazla kişi aynı verileri etiketlediğinde veya incelediğinde görüş ayrılıklarının ortaya çıkması kaçınılmazdır. Bu durum araştırma, sağlık ve eğitim dâhil birçok alanda geçerlidir.

Özellikle, görüntü veya video gibi görsel verileri yorumlamak üzere Ultralytics YOLO11 gibi modellerin eğitilmesini içeren yapay zekâ dalı olan bilgisayarlı görüde, etiketli örnekler kritik bir rol oynar. Etiketler tutarsızsa bilgisayarlı görü modelleri doğru örüntüleri öğrenmekte zorlanabilir.

Değerlendiriciler arası güvenilirlik (IRR), farklı kişilerin veya etiketleyicilerin bir görevde ne ölçüde tutarlı biçimde uzlaştığını ölçer. Tutarlılığın izlenmesine ve eğitimde, yönergelerde veya yorumlamada eksiklerin belirlenmesine yardımcı olur. Bu, özellikle belirli bir amaç için özel veriler kullanılarak yapay zekâ modellerinin oluşturulduğu özel model eğitiminde önemlidir.

Bu makalede değerlendiriciler arası güvenilirliğin ne olduğunu, nasıl ölçüleceğini ve gerçek dünya projelerinde nasıl iyileştirileceğini inceleyeceğiz. Hadi başlayalım!

Değerlendiriciler arası güvenilirlik nedir?#

Değerlendiriciler arası güvenilirlik, aynı içeriği etiketlerken, puanlarken veya incelerken iki ya da daha fazla kişinin (değerlendiriciler olarak da bilinir) ne sıklıkla uzlaştığını ölçer. Farklı değerlendiricilerin verilen ölçütleri ne kadar tutarlı kullandığını denetlemek için kullanılır. Değerlendiriciler arasındaki yüksek uzlaşma, görevin iyi tanımlandığını ve açıkça anlaşıldığını gösterir.

Bu kavram farklı alanlarda kullanılır. Alana bağlı olarak değerlendiriciler arası uzlaşma, gözlemciler arası güvenilirlik veya kodlayıcılar arası güvenilirlik gibi farklı adlarla anılır. Ancak temel ilke değişmez.

Görsel yapay zekâda değerlendiriciler arası güvenilirlik, veri etiketleme sürecinin önemli bir parçasıdır. Bilgisayarlı görü modellerinin eğitimi çoğu zaman büyük görüntü veya video karesi veri kümelerinin etiketlenmesini gerektirir; bu nedenle aynı veriler üzerinde genellikle birden fazla açıklayıcı çalışır.

Doğru sonuçlar elde etmek için herkesin aynı etiketleme yönergelerini izlemesi gerekir. Örneğin hayvanları etiketlerken herkesin neyin köpek sayılacağı, etrafına sınırlayıcı kutunun nasıl çizileceği ve bulanık nesnelerin etiketlenip etiketlenmeyeceği konusunda net bir uzlaşmaya varması gerekir.

Şekil 1. Değerlendiriciler arası güvenilirliği anlama (Görselin sahibi: yazar)

Değerlendiriciler arası ve değerlendirici içi güvenilirlik ile test-tekrar test güvenilirliği#

Verileri etiketleme veya puanlama sürecine insanlar dâhil olduğunda dikkate alınması gereken üç temel güvenilirlik türü vardır. Her biri sonuçların ne kadar tutarlı olduğunu ölçerken farklı bir amaca hizmet eder. Her birine yakından bakalım:

• Değerlendiriciler arası güvenilirlik: Aynı görevi yerine getiren farklı kişiler arasındaki uzlaşma düzeyine bakar. Birden fazla etiketleyicinin yer aldığı görüntü etiketleme, duygu analizi veya tıbbi inceleme gibi projelerde özellikle yararlıdır.
• Değerlendirici içi güvenilirlik: Odağı tek bir kişiye çevirir. Değerlendirici içi güvenilirlik, değerlendiricinin aynı görevi farklı zamanlarda tekrarlarken tutarlı kalıp kalmadığını denetler. Etiketler çok değişiyorsa bunun nedeni belirsiz yönergeler veya görevin yeterince açık olmaması olabilir.
• Test-tekrar test güvenilirliği: Test-tekrar test güvenilirliği, değerlendiriciye değil, kullanılan araca veya yönteme odaklanır. Test benzer koşullarda tekrarlandığında aynı sonucun elde edilip edilmediğini ölçer. Çıktı tutarlı kalıyorsa yöntem güvenilir kabul edilir.

Bu ölçümler birlikte, hem insanların hem de süreçlerin istikrarlı ve güvenilir sonuçlar ürettiğini doğrulamaya yardımcı olur.

Şekil 2. Değerlendiriciler arası, değerlendirici içi ve test-tekrar test güvenilirliğine genel bakış (Görselin sahibi yazar)

Değerlendiriciler arası güvenilirlik neden önemlidir?#

Büyük ölçekli görüntü işleme yapay zekâ projelerinde etiketli verilerin kalitesi, bir modelin performansını doğrudan etkiler. Değerlendiricilerin yönergeleri uygulama biçimlerindeki küçük farklılıklar bile modelin eğitim sırasında kafasını karıştıran tutarsızlıklara yol açabilir. Zamanla bu durum hatalı tahminlere, kaynak israfına ve maliyetli yeniden etiketleme çalışmalarına neden olabilir.

Değerlendiriciler arası güvenilirliği ölçmek, bu sorunları erken fark etmeye yardımcı olur. Yüksek uyum, değerlendiricilerin aynı doğrultuda çalıştığını ve daha temiz, daha güvenilir veri kümeleri oluşturduğunu gösterir. Düşük uyum ise proje ilerlemeden önce talimatların, örneklerin veya eğitimin iyileştirilmesi gerekebileceğine işaret eder. Ekipler, etiketleyicilerin uyum içinde çalışmasını sağlayarak daha etkili öğrenen ve gerçek dünya uygulamalarında daha iyi sonuçlar veren yapay zekâ modelleri geliştirebilir.

Değerlendiriciler arası güvenilirliğe ilişkin pratik noktalar#

Birden fazla değerlendiriciyle çalışırken ve değerlendiriciler arası güvenilirliği yüksek tutmayı hedeflerken göz önünde bulundurman gereken bazı önemli pratik noktalar şunlardır:

• Belirsiz veya öznel görevler: Etiketleme, bulanık bir nesnenin yaya olup olmadığına karar vermek veya bir görüntünün kalitesini değerlendirmek gibi yorum gerektirdiğinde, birden fazla değerlendirici kararların tutarlı olmasını ve bireysel önyargılardan aşırı etkilenmemesini sağlamaya yardımcı olur.
• Basit, nesnel görevler: Bir görüntüdeki araba sayısını saymak veya bir nesnenin varlığını doğrulamak gibi basit görevlerde, süreç açıkça tanımlandıktan sonra uyum genellikle yüksek olduğundan, iyi eğitim almış tek bir değerlendirici yeterli olabilir.
• Açık etiketleme yönergeleri: Ayrıntılı ve kolay anlaşılır talimatlar, etiketlerin nasıl uygulanacağına ilişkin belirsizliği azaltarak değerlendiriciler arasındaki uyumu artırır. Tutarsız yorumları önlemek için yönergeler uç durumları açıkça ele almalıdır.
• Düzenli eğitim ve kalibrasyon: Deneyimli değerlendiricilerin bile zaman içinde yargıları değişebilir. Düzenli eğitim oturumları ve kalibrasyon kontrolleri tutarlılığı korumaya ve deneyci önyargısını en aza indirmeye yardımcı olur.

Değerlendiriciler arası güvenilirlik ölçütleri#

Değerlendiriciler arası güvenilirliği ölçmenin çeşitli yolları vardır ve en uygun yöntem verinin ve görevin türüne bağlıdır. Bazı yöntemler basit evet-hayır sorularını ele alan iki değerlendirici için işe yararken diğerleri birden fazla değerlendiricinin bulunduğu durumlar için tasarlanmıştır.

Yaygın yaklaşımlar arasında yüzde uyumu, Cohen Kappa, Fleiss Kappa ve sınıf içi korelasyon katsayısı bulunur. Her yöntem değerlendiriciler arasındaki uyum düzeyini ölçer ve çoğu, uyumun tesadüfen ortaya çıkma olasılığını da hesaba katar.

Cohen Kappa ve Fleiss Kappa#

Cohen Kappa, iki değerlendirici arasındaki değerlendiriciler arası güvenilirliği ölçmek için yaygın olarak kullanılan bir yöntemdir. Görev üzerinde ne sıklıkla aynı kararı verdiklerini hesaplar ve olası tesadüfi uyumu hesaba katar. Puanlar -1 ile 1 arasında değişir; 1 mükemmel uyumu, 0 ise uyumun rastgele tahminden daha iyi olmadığını gösterir.

Benzer şekilde, ikiden fazla değerlendirici olduğunda Fleiss' Kappa kullanılır. Grubun ne kadar tutarlı olduğunu gösteren genel bir puan sağlar. Her iki yöntem de görüntü etiketleme veya duygu etiketleme gibi sabit kategorileri olan görevlerde kullanılır. Hesaplanmaları kolaydır.

Yüzde uyum ve sınıf içi korelasyon katsayısı (ICC)#

Değerlendiriciler arası güvenilirliği ölçmenin bir diğer yolu, değerlendiricilerin aynı kararı verdiği durumların yüzdesini hesaplayan yüzde uyumdur. Kullanımı kolay olsa da tesadüfen ortaya çıkabilecek uyumu hesaba katmaz.

Sınıf içi korelasyon katsayısı ise sürekli veya ölçeğe dayalı veriler için kullanılan daha gelişmiş bir yöntemdir. Birden fazla değerlendiricinin verdiği puanların ne kadar tutarlı olduğunu ölçer ve puanlar, ölçümler veya sabit kategorilerin dışındaki veri türlerini içeren araştırmalarda sıkça kullanılır.

Değerlendiriciler arası güvenilirliğe ilişkin örnekler ve uygulamalar#

Değerlendiriciler arası güvenilirliğin nasıl ölçüldüğünü artık daha iyi anladığımıza göre, bu yöntemlerin gerçek dünya uygulamalarında nasıl kullanılabileceğine bakalım.

Tıbbi görüntü anotasyonunda değerlendiriciler arası güvenilirlik#

Tıbbi görüntüleme söz konusu olduğunda, yorumlamadaki küçük farklılıklar bile sonuçları önemli ölçüde değiştirebilir. Örneğin radyologlardan genellikle belirsiz, yoruma açık veya tanımlaması zor örüntüleri belirlemeleri istenir. Bu örüntüler yapay zekâ sistemleri için eğitim verisine dönüştüğünde riskler artar. Uzmanlar aynı taramayı farklı biçimlerde etiketlerse model yanlış örüntüleri öğrenebilir ya da hiç öğrenemeyebilir.

Değerlendiriciler arası güvenilirlik, bu tür verilerle çalışan ekiplerin uzman yargılarının gerçekte ne kadar tutarlı olduğunu değerlendirmesine yardımcı olur. Örneğin, retina OCT taramalarına odaklanan yakın tarihli bir çalışmada iki değerlendirici 500 görüntüyü etiketledi.

Retinanın altındaki sarı birikintiler olan drusen gibi belirgin özelliklerde uyum yüksekti ve kappa puanı 0,87 olarak ölçüldü. Ancak retina taramalarında görülen küçük, parlak noktalar olan hiperreflektif odaklar gibi tanımlanması daha zor öğelerde puan 0,33'e düştü. Bu, daha açık ve iyi tanımlanmış özelliklerin uzmanlar arasında daha tutarlı yargılar doğurduğunu, belirsiz özelliklerin ise yoruma daha fazla alan bıraktığını gösteriyor.

Şekil 3. Retina hastalıklarıyla ilişkili farklı özelliklere ait etiket örnekleri (Kaynak)

Otonom araç veri kümeleri ve değerlendiriciler arası güvenilirlik#

Bir otonom sürüş sistemi için yapay zekâ modelleri eğitmek, çok çeşitli yol koşullarında doğru ve tutarlı etiketlere bağlıdır. Bu tür projelerde çalışan anotatörlerden genellikle yayaları, araçları, trafik işaretlerini ve şerit çizgilerini; çoğu zaman kötü aydınlatma veya kalabalık sahnelerde belirlemeleri istenir.

Bu kararlar, modelin zorlu gerçek dünya ortamlarında nasıl tepki vermeyi öğrendiğini şekillendirir. Değerlendiriciler arası güvenilirlik, ekiplerin bu etiketlerin farklı anotatörler tarafından aynı şekilde uygulanıp uygulanmadığını kontrol etmesini sağlar.

Şekil 4. Anotasyonlardaki anlaşmazlıklara bakış (Kaynak)

Değerlendiriciler arası güvenilirliğin ötesinde: Diğer kalite güvencesi önlemleri#

Değerlendiriciler arası güvenilirliği ölçmek bir yapay zekâ çözümü geliştirmenin önemli bir adımı olsa da bu, daha kapsamlı bir kalite güvencesi sürecinin parçasıdır. Ekipler ve projeler genelinde veri kalitesini artırmaya yardımcı olabilecek diğer uygulamalar şunlardır:

• Açık etiketleme yönergeleri: Herkesin aynı standardı izlemesi için talimatlar, etiketlerin nasıl uygulanacağını tam olarak açıklamalıdır.
• Eğitim ve kalibrasyon: Düzenli oturumlar anotatörlerin uyumlu çalışmasına, soru sormasına ve uç durumlara göre kendini ayarlamasına yardımcı olur.
• Sürekli kalite kontrolleri: Örneklem kontrolleri ve altın standart örnekler, proje büyüdükçe hataları erkenden yakalayabilir ve kaliteyi yüksek tutabilir.
• Anlaşmazlıkları çözme: Anotatörler anlaşmazlığa düştüğünde, bu durumları incelemek ve nihai kararları vermek için açık bir süreç bulunmalıdır.
• Çeşitlilik içeren anotatör havuzu: Farklı geçmişlere sahip kişileri sürece dahil etmek önyargıyı azaltabilir ve veri kümesinin gerçek dünyadaki çeşitliliği daha iyi temsil etmesini sağlayabilir.

Önemli çıkarımlar#

Değerlendiriciler arası güvenilirlik, kişilerin etiketleri ne kadar tutarlı uyguladığını veya kararları ne kadar tutarlı verdiğini ölçer. Cohen Kappa, Fleiss Kappa ve ICC gibi yöntemler bu uyumu sayısallaştırmaya yardımcı olur. Açık yönergeler, eğitim ve önyargı kontrolüyle güvenilir anotasyonlar daha güçlü veriler ve daha iyi model sonuçları sağlar.

Yapay zekâ hakkında daha fazla bilgi edinmek için topluluğumuza katıl ve GitHub depomuzu incele. Kendi görüntü işleme yapay zekâ projenize başlamak istiyorsan lisanslama seçeneklerimize göz at. Ayrıca çözüm sayfalarımızı ziyaret ederek sağlık hizmetlerinde yapay zekânın ve perakendede görüntü işleme yapay zekâsının nasıl etki yarattığını görebilirsin.