"Tüm Çerezleri Kabul Et" seçeneğine tıklayarak, sitede gezinmeyi geliştirmek, site kullanımını analiz etmek ve pazarlama çabalarımıza yardımcı olmak için cihazınızda çerezlerin saklanmasını kabul edersiniz. Daha fazla bilgi
Çerez Ayarları
"Tüm Çerezleri Kabul Et" seçeneğine tıklayarak, sitede gezinmeyi geliştirmek, site kullanımını analiz etmek ve pazarlama çabalarımıza yardımcı olmak için cihazınızda çerezlerin saklanmasını kabul edersiniz. Daha fazla bilgi
Bilgisayar görüşü uygulamalarında takviyeli öğrenmenin, sistemlerin çeşitli sektörlerdeki gerçek dünya uygulamalarında görmelerine, karar vermelerine ve iyileşmelerine nasıl yardımcı olduğunu keşfedin.
Yapay zekayı (YZ) açıklamanın basit bir yolu, onun insanların nasıl düşündüğünü ve öğrendiğini yeniden yaratmaya odaklanan bir alan olduğudur. YZ'deki öğrenme teknikleri fikri buradan gelir ve bunlar, makinelerin tıpkı insanlar gibi zaman içinde performanslarını artırmalarına olanak tanıyan farklı yöntemlerdir.
Daha önce, denetimli, denetimsiz, takviyeli ve transfer öğrenimi dahil olmak üzere temel YZ öğrenme tekniklerini ve her birinin YZ modellerinin bilgiyi işlemesine ve karar vermesine yardımcı olmada nasıl önemli bir rol oynadığını inceledik.
Bugün, bir ortamla etkileşim kurarak ve geri bildirimlere göre gelişerek YZ sistemlerine deneyim yoluyla öğrenmeyi öğreten bir teknik olan takviyeli öğrenmeye daha yakından bakacağız. Özellikle, takviyeli öğrenmenin bilgisayarlı görü uygulamalarına (makinelerin dünyadan görsel bilgileri yorumlamasını ve anlamasını sağlayan sistemler) nasıl uygulanabileceğini keşfedeceğiz.
Takviyeli öğrenme ve bilgisayarlı görü gibi kavramları bir araya getirmek, heyecan verici yeni olasılıkların önünü açıyor ve aktif bir araştırma alanı. YZ sistemlerinin ne gördüklerini tanımasını ve bu görsel bilgilere dayanarak bilinçli kararlar vermesini sağlıyor.
Takviyeli öğrenme nedir?
Takviyeli öğrenme, bir YZ aracısının eylemlerde bulunarak ve ödüller veya cezalar şeklinde geri bildirim alarak öğrendiği bir makine öğrenimi dalıdır. Amaç, zaman içinde hangi eylemlerin en iyi sonuçlara yol açtığını bulmaktır.
Takviyeli öğrenmeyi bir köpeği eğitmek gibi düşünebilirsiniz. Bir köpek komut üzerine oturduğunda, ona bir ödül verirsiniz. Bir süre sonra köpek, oturmanın bir ödüle yol açtığını öğrenir. Takviyeli öğrenmede, YZ aracısı veya modeli köpek gibidir; ortam onun etrafındaki dünyadır ve ödül, doğru hamleyi yapıp yapmadığını anlamasına yardımcı olur.
Bu, YZ modeline doğru cevapların birçok örneğinin gösterildiği denetimli öğrenmeden farklıdır. Örneğin, modele bir köpek resmi gösterilebilir ve "Bu bir köpek" denilebilir.
Takviyeli öğrenme ise etiketlenmiş verilere dayanmaz. Bunun yerine, farklı eylemleri deneyerek ve sonuçlardan öğrenmeyi içerir, tıpkı bir oyun oynamak ve hangi hamlelerin kazanmanıza yardımcı olduğunu anlamak gibi.
Şekil 1. Takviyeli öğrenme ve denetimli öğrenmenin karşılaştırılması.
Takviyeli öğrenme, kararların adım adım verildiği ve her seçimin bir sonraki adımı değiştirdiği görevler için çok önemlidir. Bu tür öğrenme, oyuncular için oyunu daha zorlu ve ilgi çekici hale getirmek için strateji video oyunlarında kullanılır.
YZ çözümlerinde takviyeli öğrenme nasıl çalışır?
Bisiklete binmeyi nasıl öğrendiğinizi düşünün. İlk başta düşebilirsiniz. Ancak pratikle, dengede kalmanıza neyin yardımcı olduğunu anlamaya başlarsınız. Ne kadar çok sürerseniz, o kadar iyi olursunuz. Sadece ne yapmanız gerektiği söylenerek değil, yaparak öğrenirsiniz.
Takviyeli öğrenme, YZ için benzer bir şekilde çalışır. Deneyim yoluyla öğrenir; farklı eylemleri deneyerek, ne olduğunu gözlemleyerek ve zaman içinde doğru seçimleri yapma yeteneğini kademeli olarak geliştirerek.
Şekil 2. Takviyeli öğrenmenin nasıl çalıştığını anlama.
İşte takviyeli öğrenmenin bazı temel bileşenlerine bir bakış:
Aracı: Aracı, öğrenen veya karar verendir. Eylemlerde bulunarak ortamla etkileşim kurar ve belirli bir hedefe ulaşmayı amaçlar.
Ortam: Ortam, aracının etkileşimde bulunduğu her şeyi içerir. Aracının eylemlerine yanıt olarak değişir ve sonuçlara göre geri bildirim sağlar.
Durum: Bir durum, ortamdaki mevcut durumun bir anlık görüntüsünü temsil eder. Aracı, çevresini anlamak ve bir sonraki eylemi belirlemek için durumu gözlemler.
Eylem: Bir eylem, aracının ortamı etkileyen bir hamlesi veya kararıdır. Her eylem yeni bir duruma yol açar ve gelecekteki ödülleri etkileyebilir.
Ödül: Bir ödül, aracısına eyleminin faydalı olup olmadığını söyleyen ortamdan gelen basit bir geri bildirimdir. Olumlu ödüller, aracıyı iyi eylemleri tekrarlamaya teşvik ederken, olumsuz ödüller kötü olanları caydırır.
Politika: Bir politika, aracının mevcut duruma göre eylemleri seçme stratejisidir. Zamanla, aracı kazanabileceği toplam ödülleri en üst düzeye çıkarmak için politikasını iyileştirir.
Takviyeli öğrenme, bu bileşenleri birlikte kullanarak YZ sistemlerinin sürekli deneme yanılma yoluyla etkili davranışlar öğrenmesini mümkün kılar. Her denemede, aracı daha iyi hale gelir ve daha yüksek ödüllere ve daha iyi sonuçlara yol açan eylemleri seçer.
Bilgisayar görüşü, görüntülerdeki nesneleri tespit etme, bir resimde ne olduğunu sınıflandırma ve bir görüntüyü farklı parçalara ayırma gibi görevler için kullanılır. Ultralytics YOLO11 gibi bilgisayar görüşü modelleri bu tür görevleri destekler ve görsel içgörüler toplayabilen etkili uygulamalar oluşturmak için kullanılabilir.
Ancak, bu Görüntüleme Yapay Zeka görevleri, takviyeli öğrenme ile birleştirildiğinde, sonuç sadece gören değil, aynı zamanda görsel içgörülere dayanarak nasıl hareket edeceğini öğrenen ve zamanla daha iyi hale gelen bir yapay zeka çözümüdür.
Bilgisayar görüşü uygulamalarında takviyeli öğrenmenin ilginç bir örneği, depolarda robotların kullanılmasıdır. Kameralar ve bilgisayar görüşü sistemleri ile donatılmış robotlar, çevrelerini analiz edebilir, her bir öğenin nerede bulunduğunu tespit edebilir, şeklini ve boyutunu belirleyebilir ve rafta nasıl konumlandırıldığını anlayabilir.
Robot bir öğeyi her almaya çalıştığında, geri bildirim alır: öğe doğru şekilde alınırsa başarı, düşürülürse başarısızlık. Zamanla robot, hangi eylemlerin farklı öğeler için en iyi sonucu verdiğini öğrenir. Sabit bir talimat kümesini izlemek yerine, deneyim yoluyla sürekli olarak gelişir.
Şekil 3. Nesneleri almak için görüntüleme yapay zekası ve takviyeli öğrenme kullanan bir robot kol.
Bilgisayar görüşünde takviyeli öğrenme uygulamaları
Takviyeli öğrenmenin ne olduğunu ve bilgisayar görüşündeki rolünü daha iyi anladığımıza göre, takviyeli öğrenme ve bilgisayar görüşünün birlikte kullanıldığı bazı örneklere daha yakından bakalım.
Daha akıllı araçlar için Görüntüleme Yapay Zekası ve takviyeli öğrenmeyi entegre etmek
Otonom araçlar, çevrelerini anlamak için hem Görüntüleme Yapay Zekasına hem de gördüklerine dayanarak karar vermek için takviyeli öğrenmeye güvenebilir. Bunun iş başındayken harika bir örneği AWS DeepRacer'dır.
AWS DeepRacer, bir kamera ve takviyeli öğrenme kullanarak nasıl sürüleceğini öğrenen, tamamen otonom 1/18 ölçekli bir yarış arabasıdır. Ne yapması gerektiği söylenmek yerine, deneyerek, hata yaparak ve onlardan ders çıkararak işleri kendi başına çözer.
Bu minik arabanın kamerası, önündeki pisti yakalayan bir çift göz gibi çalışır. Gördüklerine dayanarak, araba nasıl direksiyon çevireceğini ve ne kadar hızlı gideceğini öğrenir. Her turda daha iyi olur. Örneğin, geçmiş denemelerden ders çıkararak daha geniş dönüşler yapmayı veya keskin virajlardan önce yavaşlamayı öğrenebilir.
DeepRacer için eğitim, modelin sürüş becerilerini uyguladığı ve geliştirdiği sanal bir ortamda başlar. Belirli bir performans seviyesine ulaştığında, bu beceriler fiziksel arabalarla gerçek dünya pistlerine aktarılır.
Şekil 4. AWS DeepRacer, otonom olarak sürmek için görüntüleme ve takviyeli öğrenmeyi kullanır. Görüntü kaynağı: Amazon.
Otonom cerrahi robotlara doğru ilerleme
Dikkat çeken heyecan verici bir araştırma alanı, robotik cerrahide Görüntüleme Yapay Zekası ve takviyeli öğrenmenin entegrasyonudur. Şu anda, bu uygulama hala büyük ölçüde teoriktir. Araştırmacılar sanal ortamlarda simülasyonlar yürütüyorlar.
Ancak, erken deneyler umut verici sonuçlar gösteriyor ve cerrahi robotların sonunda karmaşık, hassas prosedürleri daha yüksek hassasiyet, uyarlanabilirlik ve minimum insan müdahalesi ile gerçekleştirebileceğini gösteriyor.
Şekil 5. Cerrahi robotlar giderek daha gelişmiş hale geliyor.
Örneğin, bir gazlı bez parçasının cerrahi bir alandan dikkatlice kaldırılması gereken bir durumu hayal edin. Görüntüleme Yapay Zekası ile donatılmış bir robot, önce sahneyi analiz edecek ve gazlı bezi ve çevredeki dokuları tanımlamak için segmentasyon kullanacaktır.
Takviyeli öğrenme daha sonra cerrahi robotun göreve nasıl yaklaşacağına karar vermesine, gazlı bezi kavramak için en iyi açıyı, ne kadar basınç uygulanacağını ve yakındaki hassas alanları rahatsız etmeden nasıl kaldırılacağını belirlemesine yardımcı olacaktır. Zamanla ve simüle edilmiş ortamlarda tekrarlanan uygulama yoluyla, robot bu ince, kritik hareketleri artan beceri ve güvenle gerçekleştirmeyi öğrenebilir.
Görüntüleme yapay zekasında takviyeli öğrenmenin artıları ve eksileri
Takviyeli öğrenme, Görüntüleme Yapay Zeka sistemlerinin basit tanımayı aşmasına ve gördüklerine dayanarak kararlar almaya başlamasına olanak tanır. Bu, robotik, otomasyon ve gerçek zamanlı etkileşim gibi alanlarda yeni olanaklar sunar.
Takviyeli öğrenmeyi Görüntüleme Yapay Zeka iş akışlarına entegre etmenin temel avantajlarından bazıları şunlardır:
Etiketlenmiş verilere daha az bağımlılık: Bu sistemler etkileşimden öğrenebilir, bu nedenle başlamak için büyük etiketli veri kümelerine ihtiyaç duymazlar.
Belirsizliği daha iyi ele alır: Takviyeli öğrenme, yalnızca mükemmel verilere güvenmek yerine, geri bildirime dayalı eylemleri ayarlayarak eksik veya gürültülü görsel bilgilerle başa çıkabilir.
Uzun vadeli öğrenmeyi destekler: Modellerin yalnızca tek adımlı kararlar değil, eylem dizilerinden öğrenerek zamanla gelişmesine yardımcı olur.
Öte yandan, pekiştirmeli öğrenmenin dikkate alınması gereken bazı sınırlamaları şunlardır:
Kredi atama sorunu: Özellikle uzun karar dizilerinde, aracının nihai bir sonuca hangi belirli eylemlerin katkıda bulunduğunu anlaması zor olabilir.
Güvenli olmayan keşif riski: Eğitim sırasında, aracı sağlık hizmetleri veya otonom sürüş gibi gerçek dünya uygulamalarında kabul edilemez olan güvenli olmayan veya istenmeyen eylemleri deneyebilir.
Yavaş yakınsama: Modelin özellikle karmaşık görevler için iyi bir performansa ulaşması uzun zaman alabilir.
Önemli çıkarımlar
Bilgisayarlı görü projelerinde pekiştirmeli öğrenme, yapay zeka sistemlerinin çevrelerini anlamalarını ve deneyim yoluyla nasıl hareket edeceklerini öğrenmelerini sağlar. Ultralytics YOLO11 gibi gerçek zamanlı nesne tespiti sağlayan modellerle, sistem gördüklerine dayanarak bilinçli kararlar verebilir.
Bu yaklaşım, yapay zekanın yalnızca etiketlenmiş verilere güvenmek yerine deneme ve geri bildirim yoluyla gelişmesine izin vererek geleneksel yöntemlerin ötesine geçer. Sürekli öğrenmeyi destekler ve zamanla daha iyi hale gelen daha esnek, uyarlanabilir ve akıllı Görüntü İşleme Yapay Zeka sistemleri oluşturmaya yardımcı olur.
