İnsan katılımlı etiketlemenin neden önemli olduğunu anlama

Yirmi yıl önce biri ev işlerine yardımcı olması için bir robot edinmeyi düşündüğünü söyleseydi, bu kulağa oldukça gerçek dışı gelirdi. Ancak şu anda yapay zekâ patlamasının ortasındayız ve robotlar benzer senaryolarda test ediliyor.

Bu ilerlemeyi yönlendiren önemli yapay zekâ alanlarından biri, makinelerin görüntüleri ve videoları anlamasını sağlayan bilgisayarlı görü alanıdır. Başka bir deyişle, Ultralytics YOLO11 ve yakında çıkacak Ultralytics YOLO26 gibi bilgisayarlı görü modelleri, görsel verilerden ve açıklamalardan oluşan veri kümeleriyle eğitilebilir.

Bu açıklamalar, modelin görsel verileri anlamasına yardımcı olur. Örneğin, nesne algılama veri kümelerinde ilgi duyulan nesnelerin çevresine dikdörtgenler çizmek için sınırlayıcı kutular kullanılır. Bu, modelin karmaşık bir sahnede veya nesne kısmen gizlenmiş olsa bile yeni görüntülerde bu nesneleri algılayıp konumlandırmasını sağlar.

Diğer bilgisayarlı görü görevleri farklı açıklama türlerine dayanır. Segmentasyon veri kümeleri, bir nesnenin tam ana hatlarını piksel düzeyinde etiketlerken anahtar nokta veri kümeleri, bir insanın eklemleri gibi belirli referans noktalarını işaretler.

Ancak tüm bu formatlarda kritik bir faktör, etiketlerin kalitesi ve tutarlılığıdır. Modeller doğrudan eğitildikleri verilerden öğrenir; bu nedenle etiketler tutarsız veya hatalıysa model, bu hataları çoğu zaman tahminlerine taşır.

Otomasyon kullanılsa bile insanlar tarafından açıklanmış veri kümeleri, özellikle tıbbi görüntüleme gibi yüksek riskli alanlarda hâlâ kritik öneme sahiptir. Belirsiz bir tümör sınırı veya gözden kaçırılan bir anormallik gibi küçük etiketleme hataları, modele yanlış örüntüyü öğretebilir ve ileride güvenli olmayan tahminlere yol açabilir. İnsan uzmanlar, bu uygulamaların gerektirdiği doğru temel gerçeği ve muhakemeyi sağlar.

Şekil 1. İnsanlar tarafından açıklanmış veri kümelerine ihtiyaç var. Görselin sahibi: yazar.

Bu makalede, yapay zekâ ilerlemeye devam ederken insanlar tarafından açıklanmış verilerin neden vazgeçilmez olduğuna daha yakından bakacağız.

Görüntü ve video açıklamasına duyulan ihtiyaç#

Bilgisayarlı görü modelleri, tıpkı bizim gibi birçok örneği görerek öğrenir. Aradaki fark, modellerin önceden insanlar tarafından etiketlenmiş büyük görüntü veri kümeleri ve videolar üzerinde eğitim alarak öğrenmesidir. Bu etiketler temel gerçeği temsil eder ve modele bunun bir yaya, burada bir tümörün sınırı veya şu nesnenin bir araba olduğunu öğretir.

Gerçek dünya görselleri nadiren temiz veya tutarlıdır. Aydınlatma değişebilir ve aynı nesnenin farklı görünmesine neden olabilir. İnsanlar ve araçlar üst üste binebilir veya kısmen gizlenebilir. Arka planlar karmaşık ve dikkat dağıtıcı olabilir. Veri kümeleri bu durumlar boyunca dikkatli ve tutarlı etiketler içerdiğinde, modeller kontrollü ortamların dışında karşılaşacakları koşullara çok daha iyi hazırlanır.

Veri açıklama yalnızca kutular çizmekten veya ana hatları takip etmekten ibaret değildir. Yönergelerin uygulanmasını ve neyin nesne sayılacağı, nesnenin sınırının nerede olması gerektiği ve bir şey belirsiz olduğunda ne yapılacağı konusunda pratik kararlar verilmesini içerir. Bu insan muhakemesi, verilerin doğru ve kullanılabilir kalmasını sağlar.

Sonuç olarak bir bilgisayarlı görü sistemi, yalnızca öğrendiği etiketli veriler kadar iyi performans gösterir. Taramalarda kanser tespiti veya otonom araçlar için yol tehlikelerinin algılanması gibi yüksek etkili uygulamalarda, yetkin kişiler tarafından oluşturulan hassas etiketler doğruluk ve güvenlik açısından büyük fark yaratır.

Veri açıklamada otomasyonun yükselişi#

Bilgisayarlı görü ölçeklendikçe ve veri kümeleri büyüdükçe otomasyon, açıklamayı hızlandırmanın yaygın bir yolu hâline geliyor. Ekipler her şeyi elle etiketlemek yerine, ilk etiket taslağını oluşturmak için yapay zekâ modellerini kullanıyor.

Ardından insanlar sonuçları inceliyor, hataları düzeltiyor ve modelin güvenle etiketleyemediği durumları ele alıyor. Bu yaklaşım, kaliteyi yüksek tutarken açıklama sürecini hızlandırıyor.

Otomasyonun veri açıklamaya genellikle yardımcı olduğu birkaç yöntem şunlardır:

• Otomatik segmentasyon: Modeller nesne ana hatlarını veya piksel düzeyindeki maskeleri otomatik olarak önerebilir; bu da açıklama yapan kişilerin manuel olarak izleme yapması gereken miktarı azaltır.
• Optik akış takibi: Söz konusu videolar olduğunda takip yöntemleri, hareketli bir nesneyi kareler boyunca izleyebilir ve etiketini sonraki karelere taşıyarak açıklamaların zaman içinde tutarlı kalmasına yardımcı olabilir.
• Kare enterpolasyonu: Araçlar, hareket ve takip ipuçlarını kullanarak etiketli iki kare arasındaki karelerin etiketlerini doldurabilir; böylece açıklama yapan kişilerin her bir kareyi tek tek etiketlemesi gerekmez.
• Aktif öğrenme: Eğitim işlem hatları, modelin belirsiz veya sıra dışı bulduğu örnekleri belirleyip önce insanlara gönderebilir; böylece manuel çaba, performansı en çok artıran verilere yönlendirilir.

İnsanlar tarafından yapılan veri açıklama neden hâlâ bu kadar kritik?#

Otomasyon etiketlemeyi hızlandırabilse de yapay zekâ modellerinin doğru ve güvenilir kalabilmesi için hâlâ insan muhakemesine ihtiyacı vardır.

İnsan uzmanlığının veri açıklamada fark yarattığı bazı temel alanlar şunlardır:

• Bağlamı anlama: Gerçek görüntüler ve videolar çoğu zaman karmaşıktır. Gölgeler, yansımalar, hareket bulanıklığı ve üst üste binen nesneler otomatik araçların kafasını karıştırabilir. İnsan açıklama yapanlar gerçekte ne olduğunu yorumlayabilir; böylece etiketler daha doğru olur.
• Etiketleri tutarlı tutma: Veri kümeleri büyüdükçe otomatik etiketler partiler arasında kayabilir veya farklılık gösterebilir. İnsanlar, veri kümesinin baştan sona tutarlı kalması için etiketleri denetleyebilir, düzeltebilir ve uyumlu hâle getirebilir.
• Önyargıyı ve zararı azaltma: İnsanlar hassas içerikleri, kültürel nüansları ve önyargıya yol açabilecek örüntüleri fark etme konusunda daha başarılıdır. Denetimleri, veri kümelerinin daha adil olmasına yardımcı olur ve istenmeyen zararları önler.
• Konu uzmanlığını uygulama: Bazı görevler, tıbbi anormallikleri veya endüstriyel kusurları belirlemek gibi alan bilgisi gerektirir. Uzmanlar hassas etiketler sağlayabilir ve belirsiz durumları çözüme kavuşturarak modelin doğru ayrıntıları öğrenmesini sağlayabilir.

İnsan döngüsündeki açıklamaya genel bakış#

Roboflow gibi açıklama araçları ve platformları, etiketlemeyi hızlandırmak için genellikle Segment Anything Model 3 veya SAM3 gibi temel modelleri kullanarak otomasyonu entegre eder. SAM3, Meta AI'ın istemlerle yönlendirilebilen segmentasyon temel modelidir.

Basit tıklamalar, sınırlayıcı kutular veya kısa metin ifadeleri gibi istemlerden görüntü ve videolardaki nesneleri algılayabilir, segmentlere ayırabilir ve takip edebilir; her yeni kategori için göreve özel eğitim gerektirmeden eşleşen nesneler için segmentasyon maskeleri üretir.

Bu son teknoloji yaklaşımlarda bile insan uzmanların açıklamaları incelemesi ve son hâline getirmesi gerekir. Otomatik araçlar bir ilk taslak oluşturduğunda ve insanlar bunu doğrulayıp düzelterek iyileştirdiğinde, bu iş akışı insan döngüsündeki açıklama olarak adlandırılır. Bu yöntem, açıklamayı hızlı tutarken son etiketlerin güvenilir modelleri eğitmek için yeterince doğru ve tutarlı olmasını sağlar.

Şekil 2. İnsan döngüsündeki açıklamaya bir bakış. (Kaynak)

Açıklama otomasyonu ne zaman işe yarar, ne zaman yaramaz?#

Otomatik açıklama, kontrollü ortamlardan gelen verilerde en iyi sonucu verir. Fabrikalarda, depolarda veya mağaza koridorlarında toplanan görüntüler genellikle sabit aydınlatmaya ve nesnelerin net görünümlerine sahiptir; bu nedenle otomatik araçlar bunları doğru şekilde etiketleyebilir ve ekiplerin daha az manuel çalışmayla daha hızlı ölçeklenmesine yardımcı olabilir.

Daha az kontrollü ortamlardan gelen veriler daha karmaşıktır. Dış mekân görüntüleri günün saatine ve hava durumuna göre değişir; sokaklardan veya evlerden alınan sahnelerde ise genellikle karmaşa, hareket bulanıklığı, birbirini engelleyen nesneler ve çok fazla örtüşme bulunur. Küçük nesneler, hassas sınırlar veya nadir durumlar hata olasılığını daha da artırır. Temiz iç mekân verilerinde iyi performans gösteren bir model, karmaşık gerçek dünya görsellerinde yine de zorlanabilir.

İnsan katkısının hâlâ önemli olmasının nedeni budur. İnsanlar modelin kararsız kaldığı durumlarda devreye girebilir, zor bağlamları yorumlayabilir ve hatalar son veri kümesine girmeden önce bunları düzeltebilir. İnsan döngüsündeki açıklama, otomasyonun gerçek dünya koşullarına dayanmasını ve modellerin dağıtımdan sonra güvenilir kalmasını sağlar.

İnsan döngüsündeki açıklama nerede fark yaratabilir?#

Otomasyonun nerede iyi çalıştığını ve nerede yetersiz kaldığını gördüğümüze göre, insan döngüsündeki açıklamanın önemli bir rol oynadığı birkaç uygulamayı inceleyelim.

Üretimde kusur algılama#

Her dakika yüzlerce parçanın bir kameranın altından geçtiği bir fabrika konveyör bandını düşün. Kusurların çoğu belirgindir; ancak bazen garip bir açıda veya bir ışığın parıltısı altında ince bir çatlak ortaya çıkar. Otomatik bir sistem bunu gözden kaçırabilir veya zararsız bir yüzey dokusu olarak etiketleyebilir; ancak bir insan incelemeci kusuru fark edebilir, açıklamayı düzeltebilir ve modelin aradaki farkı öğrenmesini sağlayabilir.

Endüstriyel denetimde insan döngüsündeki açıklamanın rolü budur. Otomasyon yaygın kusur türlerini önceden etiketleyebilir ve büyük miktarlardaki görüntüyü hızla işleyebilir; ancak insanların sonuçları doğrulaması, sınırları hassaslaştırması ve eğitim sırasında sık görülmeyen nadir hataları ele alması gerekir.

Otonom araçlar ve akıllı ulaşım#

Benzer şekilde, otonom araçlar yayaları tespit etmek, tabelaları okumak ve trafikte ilerlemek için bilgisayarlı görü kullanır; ancak gerçek yollar öngörülemezdir. Örneğin gece park edilmiş bir arabanın arkasından çıkan bir yaya kısmen gizlenebilir ve parıltı altında görülmesi zor olabilir.

Şekil 3. Trafiği analiz etmek için bilgisayarlı görü kullanımına bir örnek. (Kaynak)

İnsan açıklama yapanlar, eğitim sırasında bu nadir ve güvenlik açısından kritik sınır durumlarını etiketleyerek modellerin yalnızca normal koşullarda değil, en önemli anlarda da doğru tepkiyi öğrenmesini sağlayabilir. Bu insan döngüsündeki adım, sistemlere yalnızca otomasyonla yakalanması zor olan düşük frekanslı olaylarla başa çıkmayı öğretmek için kritik öneme sahiptir.

İnsanlar tarafından açıklanmış veri kümelerinin geleceği#

Teknoloji ilerledikçe insan döngüsündeki açıklama daha işbirlikçi hâle geliyor. İlginç bir şekilde, hem görüntülerden hem de metinlerden öğrenen görüntü dil modelleri (VLM'ler) artık ilk etiket taslağını oluşturmak ve basit istemlerden düzeltmeler önermek için kullanılıyor.

Böylece bir açıklama yapan kişi, neyin etiketleneceğine karar vermek için her görüntüyü manuel olarak taramak yerine, bir VLM'ye “tüm yayaları, arabaları ve trafik ışıklarını etiketle” veya “bu parçadaki tüm kusurları segmente et” gibi bir ifadeyle istem gönderebilir ve incelemek üzere bir açıklama taslağı elde edebilir.

Şekil 4. Büyük çok modlu modeller, insan açıklama yapanlarla birlikte çalışabilir (Kaynak)

Model birçok basit durumu önceden ele alabildiği için bu, açıklama süresini azaltır; insanlar da sonuçları incelemeye, zor örnekleri düzeltmeye ve veri kümesini tutarlı tutmaya odaklanabilir. Büyük çok modlu modeller ayrıca açıklama yapanları en belirsiz örneklere yönlendirmeye başlıyor; böylece insan emeği daha hedefli kullanılıyor ve genel veri kümesi kalitesi iyileşiyor.

Önemli çıkarımlar#

Bilgisayarlı görü, makinelerin gördüklerini yorumlamasına ve bunlara tepki vermesine yardımcı olur; ancak insan uzmanlığının döngüde olduğu durumlarda en iyi şekilde çalışır. İnsanlar tarafından açıklanmış veriler, modellerin gerçek dünya koşullarına dayanmasını sağlar ve ne kadar güvenilir performans gösterdiklerini iyileştirir. Otomasyon ve insan muhakemesi yan yana çalıştığında ekipler etkili görü sistemleri geliştirebilir.

Aktif topluluğumuza katıl ve lojistikte yapay zekâ ile robotikte Görü Yapay Zekâsı gibi yenilikleri keşfet. Daha fazlasını öğrenmek için GitHub depomuzu ziyaret et. Bilgisayarlı görüye bugün başlamak için lisanslama seçeneklerimize göz at.