Bilgisayarla görme projelerinde pekiştirmeli öğrenmeden yararlanma

Yapay zekâyı (AI) açıklamanın basit bir yolu, onun insanların nasıl düşündüğünü ve öğrendiğini yeniden oluşturmaya odaklanan bir alan olduğunu söylemektir. Yapay zekâdaki öğrenme teknikleri fikri de buradan gelir; bunlar, insanların yaptığı gibi makinelerin de zaman içinde performanslarını geliştirmesini sağlayan farklı yöntemlerdir.

Daha önce, denetimli, denetimsiz, pekiştirmeli ve aktarım öğrenmesi de dâhil olmak üzere temel AI öğrenme tekniklerini ve her birinin AI modellerinin bilgileri işlemesine ve karar vermesine nasıl önemli katkı sağladığını inceledik.

Bugün, AI sistemlerine bir ortamla etkileşime girerek deneyim yoluyla öğrenmeyi ve geri bildirimlere dayanarak gelişmeyi öğreten bir teknik olan pekiştirmeli öğrenmeye daha yakından bakacağız. Özellikle, pekiştirmeli öğrenmenin makinelerin dünyadaki görsel bilgileri yorumlamasını ve anlamasını sağlayan sistemler olan bilgisayarlı görü uygulamalarında nasıl kullanılabileceğini inceleyeceğiz.

Pekiştirmeli öğrenme ve bilgisayarlı görü gibi kavramları bir araya getirmek, heyecan verici yeni olasılıkların önünü açıyor ve aktif bir araştırma alanı oluşturuyor. Bu yaklaşım, AI sistemlerinin gördüklerini tanımasını ve bu görsel bilgilere dayanarak bilinçli kararlar vermesini sağlıyor.

Pekiştirmeli öğrenme nedir?#

Pekiştirmeli öğrenme, bir AI aracısının eylemlerde bulunarak ve ödül ya da ceza biçiminde geri bildirim alarak öğrendiği bir makine öğrenmesi dalıdır. Amaç, zaman içinde hangi eylemlerin en iyi sonuçlara yol açtığını bulmaktır.

Pekiştirmeli öğrenmeyi bir köpek eğitmeye benzetebilirsin. Bir köpek komut üzerine oturduğunda ona ödül olarak bir ikram verirsin. Bir süre sonra köpek, oturmanın bir ödüle yol açtığını öğrenir. Pekiştirmeli öğrenmede AI aracısı veya model köpek gibidir; ortam onun etrafındaki dünyadır ve ödül, doğru hamleyi yapıp yapmadığını anlamasına yardımcı olur.

Bu, AI modeline doğru cevapların birçok örneğinin gösterildiği denetimli öğrenmeden farklıdır. Örneğin modele bir köpek resmi gösterilebilir ve ona "Bu bir köpek." denebilir.

Öte yandan pekiştirmeli öğrenme, etiketli verilere dayanmaz. Bunun yerine farklı eylemleri deneyerek ve sonuçlardan öğrenerek ilerler; tıpkı bir oyun oynayıp kazanmanı sağlayan hamleleri keşfetmek gibi.

Şekil 1. Pekiştirmeli öğrenme ve denetimli öğrenme karşılaştırması.

Pekiştirmeli öğrenme, kararların adım adım verildiği ve her seçimin bundan sonra ne olacağını değiştirdiği görevler için çok önemlidir. Bu öğrenme türü, oyuncular için oynanışı daha zorlu ve ilgi çekici hâle getirmek amacıyla strateji video oyunlarında kullanılır.

AI çözümlerinde pekiştirmeli öğrenme nasıl çalışır?#

Bisiklete binmeyi nasıl öğrendiğini düşün. Başta düşebilirsin. Ancak pratik yaptıkça dengede kalmana neyin yardımcı olduğunu anlamaya başlarsın. Ne kadar çok binersen o kadar iyi olursun. Ne yapman gerektiğinin yalnızca söylenmesiyle değil, yaparak öğrenirsin.

Pekiştirmeli öğrenme de AI için benzer şekilde çalışır. Deneyim yoluyla; farklı eylemleri deneyerek, ne olduğunu gözlemleyerek ve zaman içinde doğru seçimleri yapma becerisini kademeli olarak geliştirerek öğrenir.

Şekil 2. Pekiştirmeli öğrenmenin nasıl çalıştığını anlama.

Pekiştirmeli öğrenmenin temel bileşenlerinden bazılarına göz atalım:

• Ajan: Ajan, öğrenen veya karar verendir. Eylemlerde bulunarak ortamla etkileşime girer ve belirli bir hedefe ulaşmayı amaçlar.
• Ortam: Ortam, ajanın etkileşime girdiği her şeyi kapsar. Ajanın eylemlerine yanıt olarak değişir ve sonuçlara göre geri bildirim sağlar.
• Durum: Durum, ortamdaki mevcut durumun bir anlık görüntüsünü temsil eder. Ajan, çevresini anlamak ve sırada hangi eylemi gerçekleştireceğini belirlemek için durumu gözlemler.
• Eylem: Eylem, ajan tarafından gerçekleştirilen ve ortamı etkileyen bir hamle veya karardır. Her eylem yeni bir duruma yol açar ve gelecekteki ödülleri etkileyebilir.
• Ödül: Ödül, ajana eyleminin yararlı olup olmadığını bildiren, ortamdan gelen basit bir geri bildirimdir. Pozitif ödüller ajanı iyi eylemleri tekrarlamaya teşvik ederken negatif ödüller kötü eylemleri caydırır.
• Politika: Politika, ajanın mevcut duruma göre eylemleri seçme stratejisidir. Ajan, zaman içinde kazanabileceği toplam ödülü en üst düzeye çıkarmak için politikasını geliştirir.

Pekiştirmeli öğrenme, bu bileşenleri birlikte kullanarak AI sistemlerinin sürekli deneme yanılma yoluyla etkili davranışlar öğrenmesini mümkün kılar. Her denemede ajan, daha yüksek ödüllere ve daha iyi sonuçlara götüren eylemleri seçme konusunda gelişir.

Bilgisayarlı görü inovasyonlarında pekiştirmeli öğrenme#

Bilgisayarlı görü; görüntülerde nesneleri tespit etmek, bir resimde ne olduğunu sınıflandırmak ve görüntüyü farklı bölümlere ayırmak gibi görevlerde kullanılır. Ultralytics YOLO11 gibi bilgisayarlı görü modelleri bu tür görevleri destekler ve görsel içgörüler toplayabilen etkili uygulamalar geliştirmek için kullanılabilir.

Ancak bu Vision AI görevleri pekiştirmeli öğrenmeyle birleştirildiğinde sonuç, yalnızca gören değil, aynı zamanda görsel içgörülere dayanarak nasıl hareket edeceğini öğrenen ve zaman içinde gelişen bir AI çözümüdür.

Bilgisayarlı görü uygulamalarında pekiştirmeli öğrenmeye ilginç bir örnek, depolarda robotların kullanılmasıdır. Kameralarla ve bilgisayarlı görü sistemleriyle donatılmış robotlar çevrelerini analiz edebilir, her bir öğenin nerede bulunduğunu tespit edebilir, şekli ve boyutunu belirleyebilir ve rafta nasıl konumlandığını anlayabilir.

Robot bir öğeyi her alma girişiminde geri bildirim alır: öğe doğru şekilde alındıysa başarı, düşürüldüyse başarısızlık. Zaman içinde robot, farklı öğeler için hangi eylemlerin en iyi sonucu verdiğini öğrenir. Sabit bir talimat dizisini izlemek yerine deneyim yoluyla sürekli gelişir.

Şekil 3. Nesneleri almak için görsel AI ve pekiştirmeli öğrenme kullanan robotik kol.

Bilgisayarlı görüde pekiştirmeli öğrenme uygulamaları#

Artık pekiştirmeli öğrenmenin ne olduğunu ve bilgisayarlı görüdeki rolünü daha iyi anladığımıza göre, pekiştirmeli öğrenme ile bilgisayarlı görünün birlikte kullanıldığı bazı örneklere daha yakından bakalım.

Daha akıllı araçlar için Vision AI ve pekiştirmeli öğrenmeyi entegre etme#

Otonom araçlar, çevrelerini anlamak için Vision AI'a ve gördüklerine göre karar vermek için pekiştirmeli öğrenmeye birlikte güvenebilir. Bunun uygulamadaki iyi bir örneği AWS DeepRacer'dır.

AWS DeepRacer, bir kamera ve pekiştirmeli öğrenme kullanarak nasıl araç süreceğini öğrenen, tamamen otonom 1/18 ölçekli bir yarış arabasıdır. Ona ne yapması gerektiği söylenmek yerine deneyerek, hatalar yaparak ve bunlardan öğrenerek kendi başına çözüm bulur.

Bu küçük arabanın kamerası, önündeki pisti yakalayarak bir çift göz gibi çalışır. Araba gördüklerine göre nasıl yön vereceğini ve ne kadar hızlı gideceğini öğrenir. Her turda daha iyi hâle gelir. Örneğin geçmiş denemelerinden öğrenerek daha geniş dönüşler yapmayı veya keskin virajlardan önce yavaşlamayı öğrenebilir.

DeepRacer eğitimi, modelin sürüş becerilerini pratik yaptığı ve geliştirdiği sanal bir ortamda başlar. Belirli bir performans düzeyine ulaştığında bu beceriler fiziksel araçların bulunduğu gerçek dünya pistlerine aktarılır.

Şekil 4. AWS DeepRacer, otonom sürüş yapmak için görme ve pekiştirmeli öğrenmeyi kullanır. Görsel kaynağı: Amazon.

Otonom cerrahi robotlara doğru ilerleme#

Giderek daha fazla ilgi gören heyecan verici bir araştırma alanı, robotik cerrahide Vision AI ve pekiştirmeli öğrenmenin entegrasyonudur. Şu anda bu uygulama hâlâ büyük ölçüde teoriktir. Araştırmacılar sanal ortamlarda simülasyonlar yürütüyor.

Ancak ilk deneyler umut verici sonuçlar gösteriyor ve cerrahi robotların sonunda karmaşık, hassas işlemleri daha yüksek doğruluk ve uyarlanabilirlikle, minimum insan müdahalesiyle gerçekleştirebileceğini düşündürüyor.

Şekil 5. Cerrahi robotlar giderek daha gelişmiş hâle geliyor.

Örneğin, bir gazlı bez parçasının cerrahi bölgeden dikkatlice kaldırılması gereken bir durumu düşün. Vision AI ile donatılmış bir robot, gazlı bezi ve çevresindeki dokuları belirlemek için önce sahneyi analiz eder ve segmentasyon kullanır.

Ardından pekiştirmeli öğrenme, cerrahi robotun göreve nasıl yaklaşacağına karar vermesine yardımcı olur; gazlı bezi kavramak için en iyi açıyı, ne kadar basınç uygulayacağını ve yakındaki hassas bölgelere zarar vermeden nasıl kaldıracağını belirler. Robot, simüle edilmiş ortamlarda zaman içinde ve tekrarlanan pratik yoluyla bu incelikli ve kritik hareketleri giderek daha yüksek beceri ve güvenle gerçekleştirmeyi öğrenebilir.

Vision AI'da pekiştirmeli öğrenmenin artıları ve eksileri#

Pekiştirmeli öğrenme, Vision AI sistemlerinin basit tanımanın ötesine geçerek gördüklerine göre karar vermeye başlamasını sağlar. Bu, robotik, otomasyon ve gerçek zamanlı etkileşim gibi alanlarda yeni olasılıkların önünü açar.

Pekiştirmeli öğrenmeyi Vision AI iş akışlarına entegre etmenin temel avantajlarından bazıları şunlardır:

• Etiketli verilere daha az bağımlılık: Bu sistemler etkileşimden öğrenebilir; dolayısıyla başlamak için çok büyük etiketli veri kümelerine ihtiyaç duymaz.
• Belirsizliği daha iyi ele alır: Pekiştirmeli öğrenme, yalnızca kusursuz verilere güvenmek yerine eylemleri geri bildirimlere göre ayarlayarak eksik veya gürültülü görsel bilgilerle başa çıkabilir.
• Uzun vadeli öğrenmeyi destekler: Modellerin yalnızca tek adımlı kararlardan değil, eylem dizilerinden öğrenerek zaman içinde gelişmesine yardımcı olur.

Öte yandan, pekiştirmeli öğrenmenin dikkate alman gereken bazı sınırlamaları şunlardır:

• Katkı atama problemi: Özellikle uzun karar dizilerinde, ajanın hangi belirli eylemlerin nihai sonuca katkıda bulunduğunu anlaması zor olabilir.
• Güvenli olmayan keşif riski: Eğitim sırasında ajan, sağlık hizmetleri veya otonom sürüş gibi gerçek dünya uygulamalarında kabul edilemeyecek güvenli olmayan ya da istenmeyen eylemleri deneyebilir.
• Yavaş yakınsama: Özellikle karmaşık görevlerde modelin gerçekten iyi bir performansa ulaşması uzun zaman alabilir.

Önemli çıkarımlar#

Bilgisayarlı görü projelerinde pekiştirmeli öğrenme, AI sistemlerinin çevrelerini anlamasını ve deneyim yoluyla nasıl hareket edeceklerini öğrenmesini sağlar. Ultralytics YOLO11 gibi modeller gerçek zamanlı nesne tespiti sunduğunda sistem, gördüklerine dayanarak bilinçli kararlar verebilir.

Bu yaklaşım, AI'ın yalnızca etiketli verilere güvenmek yerine deneme ve geri bildirim yoluyla gelişmesine izin vererek geleneksel yöntemlerin ötesine geçer. Sürekli öğrenmeyi destekler ve zaman içinde gelişen daha esnek, uyarlanabilir ve akıllı Vision AI sistemleri oluşturmaya yardımcı olur.

Büyüyen topluluğumuza katıl. AI'ı daha derinlemesine incelemek için GitHub depomuzu ziyaret et. Kendi bilgisayarlı görü projene başlamaya mı çalışıyorsun? Lisans seçeneklerimizi keşfet. Çözüm sayfalarımızda üretimde AI ve otomotiv sektöründe Vision AI hakkında daha fazla bilgi edin.