İnsan faktörünün dahil olduğu anotasyonun neden önemli olduğunu anlamak

Yirmi yıl önce, birisi ev işlerinde yardımcı olması için bir robot almayı düşündüğünü söyleseydi, bu gerçekten çok uzak bir ihtimal gibi gelirdi. Ancak, şu anda yapay zeka patlamasının ortasındayız ve robotlar benzer senaryolarda test ediliyor.

Bu ilerlemeyi sağlayan yapay zekanın önemli bir alanı, makinelere görüntüleri ve videoları anlama yeteneği kazandıran bilgisayar görmesidir. Diğer bir deyişle, Ultralytics YOLO11 ve yakında çıkacak olan Ultralytics gibi bilgisayar görme modelleri, görsel veriler ve açıklamalardan oluşan veri kümeleri üzerinde eğitilebilir. 

Bu açıklamalar, modelin görsel verileri anlamasına yardımcı olur. Örneğin, nesne algılama veri kümeleri, ilgi çekici nesnelerin etrafına dikdörtgenler çizmek için sınırlayıcı kutular kullanır. Bu, sahne dağınık veya nesne kısmen gizli olsa bile, modelin yeni görüntülerdeki bu nesneleri detect konumlandırmasını sağlar.

Diğer bilgisayar görme görevleri farklı türde açıklamalara bağlıdır. Segmentasyon veri kümeleri, bir nesnenin tam dış hatlarını piksel düzeyinde etiketlerken, kilit nokta veri kümeleri bir kişinin eklemleri gibi belirli referans noktalarını işaretler. 

Ancak, tüm bu formatlarda önemli bir faktör, etiketlerin kalitesi ve tutarlılığıdır. Modeller, eğitildikleri verilerden doğrudan öğrenirler, bu nedenle etiketler tutarsız veya yanlışsa, model genellikle bu hataları tahminlerine de taşır. 

Otomasyon olsa bile, insan tarafından etiketlenmiş veri kümeleri, özellikle tıbbi görüntüleme gibi riskli alanlarda hala çok önemlidir. Tümör sınırının belirsiz olması veya bir anormalliğin gözden kaçması gibi küçük etiketleme hataları, modele yanlış bir model öğretebilir ve daha sonra güvenli olmayan tahminlere yol açabilir. İnsan uzmanlar, bu uygulamaların gerektirdiği doğru temel bilgileri ve yargıları sağlar.

‍

Bu makalede, yapay zeka sürekli gelişmesine rağmen insan tarafından etiketlenmiş verilerin neden gerekli olduğunu daha yakından inceleyeceğiz.

Görüntü ve video açıklamalarına duyulan ihtiyaç

Bilgisayar görme modelleri, bizim gibi birçok örnek görerek öğrenir. Aradaki fark, bu modellerin önceden insanlar tarafından etiketlenmiş büyük resim ve video veri kümeleri üzerinde eğitim alarak öğrenmesidir. Bu etiketler temel gerçekler olarak işlev görür ve modele "bu bir yaya", "burası bir tümörün sınırı" veya "bu nesne bir araba" gibi bilgileri öğretir.

Gerçek dünyadaki görseller nadiren temiz veya tutarlıdır. Işık değişebilir ve aynı nesnenin farklı görünmesine neden olabilir. İnsanlar ve araçlar üst üste gelebilir veya kısmen gizlenebilir. Arka planlar karmaşık ve dikkat dağıtıcı olabilir. Veri kümeleri bu durumlar için dikkatli ve tutarlı etiketler içerdiğinde, modeller kontrollü ortamların dışında karşılaşacakları durumlara çok daha iyi hazırlanmış olurlar.

Veri açıklaması, sadece kutular çizmek veya ana hatları izlemekten daha fazlasıdır. Kılavuzlar uygulamak ve nesnenin ne olduğu, sınırlarının nerede olması gerektiği ve bir şey belirsiz olduğunda ne yapılması gerektiği konusunda pratik kararlar vermek de buna dahildir. Bu insan yargısı, verilerin doğru ve kullanılabilir olmasını sağlar.

Sonuç olarak, bir bilgisayar görme sistemi, öğrendiği etiketli veriler kadar iyi performans gösterir. Taramalarda kanseri tespit etmek veya otonom araçlar için yol tehlikelerini algılamak gibi yüksek etkili uygulamalarda, yetenekli kişiler tarafından yapılan hassas etiketlemeler, doğruluk ve güvenlik açısından gerçek bir fark yaratır.

Veri anotasyonunda otomasyonun yükselişi

Bilgisayar görüşü ölçeklendikçe ve veri kümeleri büyüdükçe, otomasyon, açıklama sürecini hızlandırmak için yaygın bir yöntem haline geliyor. Her şeyi elle etiketlemek yerine, ekipler AI modellerini kullanarak ilk etiketleme aşamasını gerçekleştiriyor. 

Daha sonra insanlar sonuçları inceler, hataları düzeltir ve modelin güvenle etiketleyemediği vakaları ele alır. Bu yaklaşım, kaliteyi yüksek tutarken anotasyonu hızlandırır.

Otomasyonun veri etiketlemede genellikle yardımcı olduğu birkaç yol şunlardır:

• Otomatik segmentasyon: Modeller , nesne konturlarını veya piksel düzeyinde maskeleri otomatik olarak önerebilir, bu da anotatörlerin yapması gereken manuel izleme miktarını azaltır.
• Optik akış izleme: Videolar söz konusu olduğunda , izleme yöntemleri hareketli bir nesneyi kareler boyunca takip edebilir ve etiketini ileriye taşıyarak zaman içinde açıklamaların tutarlı kalmasına yardımcı olabilir.
• Kare enterpolasyonu: Araçlar , hareket ve izleme ipuçlarını kullanarak iki etiketli kare arasındaki kareler için etiketleri doldurabilir, böylece etiketleyiciler her bir kareyi tek tek etiketlemek zorunda kalmaz.
• Aktif öğrenme: Eğitim boru hatları, modelin belirsiz veya olağandışı bulduğu örnekleri belirleyebilir ve bunları önce insanlara gönderebilir, böylece manuel çaba, performansı en çok artıran verilere yönlendirilir.

İnsan veri anotasyonu neden hala bu kadar önemli?

Otomasyon etiketlemeyi hızlandırabilirken, AI modelleri doğru ve güvenilir kalabilmek için hala insan yargısına ihtiyaç duymaktadır.

İnsan uzmanlığının veri anotasyonunda etkili olduğu bazı önemli alanlar şunlardır:

• Bağlamı anlamak: Gerçek görüntüler ve videolar genellikle dağınıktır. Gölgeler, yansımalar, hareket bulanıklığı ve üst üste binen nesneler otomatik araçları karıştırabilir. İnsanlar gerçekte neler olduğunu yorumlayabilir, böylece etiketler daha doğru olur.
  
• Etiketler tutarlı kalır: Veri kümeleri büyüdükçe , otomatik etiketler farklı gruplar arasında farklılık gösterebilir veya değişebilir. İnsanlar etiketleri denetleyebilir, düzeltebilir ve uyumlu hale getirebilir, böylece veri kümesi baştan sona tutarlı kalır.
  
• Önyargı ve zararı azaltma: İnsanlar , önyargıya yol açabilecek hassas içerikleri, kültürel nüansları ve kalıpları daha iyi tespit ederler. Onların gözetimi, veri kümelerinin daha adil olmasını sağlar ve istenmeyen zararları önler.
  
• Konu uzmanlığının uygulanması: Bazı görevler, tıbbi anormallikleri veya endüstriyel kusurları belirlemek gibi alan bilgisi gerektirir. Uzmanlar, modelin doğru ayrıntıları öğrenmesi için kesin etiketler sağlayabilir ve belirsiz durumları çözebilir.

İnsan-döngü içindeki anotasyonun genel bakışı

Roboflow gibi açıklama araçları ve platformları, genellikle Segment Anything Model 3 veya SAM3 gibi temel modeller kullanarak etiketlemeyi hızlandırmak için otomasyonu Roboflow . SAM3, Meta AI'nın hızlı segmentasyon temel modelidir. 

Tıklamalar, sınırlayıcı kutular veya kısa metin ifadeleri gibi basit komutlarla görüntü ve videolardaki track detect, segment ve track , her yeni kategori için göreve özel eğitim gerektirmeden eşleşen nesneler için segmentasyon maskeleri oluşturabilir.

Bu son teknoloji yaklaşımlara rağmen, açıklamaları incelemek ve son halini vermek için hala insan uzmanlara ihtiyaç vardır. Otomatik araçlar ilk taslağı oluşturduktan sonra, insanlar bunu doğrular, düzeltir ve iyileştirir. Bu iş akışı, insan dahil açıklaması olarak bilinir. Bu sayede açıklamalar hızlı bir şekilde yapılır ve nihai etiketler, güvenilir modellerin eğitimi için yeterince doğru ve tutarlı olur.

‍

‍

Anotasyon otomasyonu ne zaman işe yarar, ne zaman yaramaz?

Otomatik etiketleme, kontrollü yerlerden gelen veriler için en iyi sonucu verir. Fabrikalarda, depolarda veya perakende mağazalarında toplanan görüntüler genellikle sabit aydınlatmaya ve nesnelerin net görüntüsüne sahiptir, bu nedenle otomatik araçlar bunları doğru bir şekilde etiketleyebilir ve ekiplerin daha az manuel çalışma ile daha hızlı ölçeklendirmesine yardımcı olabilir.

Daha az kontrol edilen yerlerden elde edilen veriler daha karmaşıktır. Dış mekan çekimleri günün saatine ve hava durumuna göre değişir ve sokaklardan veya evlerden çekilen görüntülerde genellikle dağınıklık, hareket bulanıklığı, birbirini engelleyen nesneler ve çok sayıda örtüşme bulunur. Küçük nesneler, ince sınırlar veya nadir durumlar hataya daha da fazla yol açar. Temiz iç mekan verilerinde iyi performans gösteren bir model, dağınık gerçek dünya görsellerinde yine de zorlanabilir.

Bu nedenle insan girdisi hala önemlidir. İnsanlar, model belirsiz olduğunda devreye girebilir, karmaşık bağlamları yorumlayabilir ve hataları nihai veri kümesine girmeden önce düzeltebilir. İnsan döngüsü içindeki açıklama, otomasyonun gerçek dünya koşullarına dayalı kalmasına yardımcı olur ve modellerin dağıtımdan sonra güvenilirliğini korur.

İnsan müdahalesi içeren anotasyon nerede fark yaratabilir?

Otomasyonun nerede iyi çalıştığını ve nerede yetersiz kaldığını gördük, şimdi insan faktörünün önemli bir rol oynadığı birkaç uygulamayı inceleyelim.

Üretimde kusur tespiti

Her dakika yüzlerce parçanın kamera altından geçtiği bir fabrika konveyör bandını düşünün. Çoğu kusur belirgindir, ancak ara sıra, garip bir açıda veya ışığın parlaması altında ince bir çatlak belirir. Otomatik bir sistem bunu gözden kaçırabilir veya zararsız bir yüzey dokusu olarak etiketleyebilir, ancak bir insan gözden geçiren bu kusuru tespit edebilir, açıklamayı düzeltebilir ve modelin farkı öğrenmesini sağlayabilir.

Bu, endüstriyel denetimde insan faktörünün rolünü ifade eder. Otomasyon, yaygın kusur türlerini önceden etiketleyebilir ve büyük hacimli görüntüleri hızlı bir şekilde inceleyebilir, ancak insanlar yine de sonuçları doğrulamak, sınırları daraltmak ve eğitimde sık görülmeyen nadir arızaları ele almak zorundadır. 

Otonom araçlar ve akıllı ulaşım

Benzer şekilde, otonom araçlar bilgisayar görüşünü kullanarak yayaları tespit eder, işaretleri okur ve trafikte yolunu bulur, ancak gerçek yollar öngörülemez. Örneğin, gece park halindeki bir arabanın arkasından çıkan bir yaya, parlak ışık altında kısmen gizlenebilir ve görülmesi zor olabilir.

‍

‍

İnsan anotatörler, eğitim sırasında bu nadir görülen, güvenlik açısından kritik olan sınır durumları etiketleyebilir, böylece modeller sadece normal koşullarda değil, en önemli anlarda da doğru tepkiyi öğrenebilir. Bu insan müdahalesi adımı, sistemlere otomasyonla tek başına yakalanması zor olan düşük sıklıklı olayları ele almayı öğretmek için çok önemlidir.

İnsanlar tarafından etiketlenmiş veri kümelerinin önündeki yol

Teknolojinin ilerlemesiyle birlikte insan faktörünün dahil olduğu anotasyon daha işbirlikçi hale geliyor. İlginç bir şekilde, hem görüntülerden hem de metinlerden öğrenen görsel dil modelleri (VLM'ler) artık etiketlerin ilk geçişini oluşturmak ve basit komutlarla düzeltmeler önermek için kullanılıyor. 

Böylece, etiketlenecek öğeleri belirlemek için her görüntüyü manuel olarak taramak yerine, bir anotasyoncu VLM'ye "tüm yayaları, arabaları ve trafik ışıklarını etiketle" veya "bu parçadakisegment kusurlarısegment " gibi bir ifadeyle komut verebilir ve incelenmek üzere bir anotasyon taslağı seti alabilir.

‍

‍

Bu, modelin birçok basit durumu önceden halledebilmesi sayesinde açıklama süresini kısaltır, böylece insanlar sonuçları gözden geçirme, zor örnekleri düzeltme ve veri setinin tutarlılığını sağlama işlerine odaklanabilirler. Büyük multimodal modeller ayrıca, açıklayıcıları en belirsiz örnekler yönünde yönlendirmeye başlamışlardır, böylece insanların çabaları daha hedefli hale gelmekte ve veri setinin genel kalitesi artmaktadır.

Önemli çıkarımlar

Bilgisayar görüşü, makinelerin gördüklerini yorumlamasına ve buna tepki vermesine yardımcı olur, ancak insan uzmanlığı devreye girdiğinde en iyi şekilde çalışır. İnsanlar tarafından etiketlenen veriler, modelleri gerçek dünya koşullarına dayandırır ve performanslarının güvenilirliğini artırır. Otomasyon ve insan yargısının bir arada çalışmasıyla ekipler, etkili görüş sistemleri oluşturabilir.

Aktif topluluğumuza katılın ve lojistikte yapay zeka ve robotikte görsel yapay zeka gibi yenilikleri keşfedin. Daha fazla bilgi için GitHub deposunu ziyaret edin. Bilgisayar görüşü ile hemen başlamak için lisans seçeneklerimizi inceleyin.