Bilgisayarlı görü projelerinde pekiştirmeli öğrenmeden yararlanmak

Yapay zekayı (YZ) açıklamanın en basit yolu, insanların düşünme ve öğrenme şeklini yeniden yaratmaya odaklanan bir alan olduğudur. YZ'deki öğrenme teknikleri fikri buradan gelir; bunlar, tıpkı insanlar gibi makinelerin de zamanla performanslarını artırmalarını sağlayan farklı yöntemlerdir.

Daha önce, denetimli, denetimsiz, pekiştirmeli ve aktarımlı öğrenme dahil olmak üzere temel YZ öğrenme tekniklerini ve her birinin YZ modellerinin bilgiyi işlemesine ve kararlar almasına yardımcı olmada nasıl önemli bir rol oynadığını incelemiştik.

Bugün, YZ sistemlerine bir ortamla etkileşime girerek ve geri bildirime dayalı olarak gelişerek deneyim yoluyla öğrenmeyi öğreten bir teknik olan pekiştirmeli öğrenmeye daha yakından bakacağız. Özellikle, pekiştirmeli öğrenmenin, makinelerin dünyadan gelen görsel bilgileri yorumlamasını ve anlamasını sağlayan sistemler olan bilgisayarlı görü uygulamalarına nasıl uygulanabileceğini keşfedeceğiz.

Pekiştirmeli öğrenme ve bilgisayarlı görü gibi kavramları bir araya getirmek, heyecan verici yeni olanaklar açıyor ve aktif bir araştırma alanı olmaya devam ediyor. Bu, YZ sistemlerinin gördüklerini tanımasını ve bu görsel bilgilere dayanarak bilinçli kararlar almasını sağlıyor.

Link to this sectionPekiştirmeli öğrenme nedir?#

Pekiştirmeli öğrenme, bir YZ aracısının eylemlerde bulunarak ve ödüller ya da cezalar şeklinde geri bildirim alarak öğrendiği bir makine öğrenmesi dalıdır. Amaç, zaman içinde hangi eylemlerin en iyi sonuçlara yol açtığını çözmektir.

Pekiştirmeli öğrenmeyi bir köpek eğitmek gibi düşünebilirsin. Bir köpek komutla oturduğunda ona bir ödül maması verirsin. Bir süre sonra köpek, oturmanın bir ödüle yol açtığını öğrenir. Pekiştirmeli öğrenmede YZ aracısı veya modeli köpek gibidir; ortam çevresindeki dünyadır ve ödül, doğru hamleyi yapıp yapmadığını anlamasına yardımcı olur.

Bu, YZ modeline doğru cevapların birçok örneğinin gösterildiği denetimli öğrenmeden farklıdır. Örneğin, modele bir köpek resmi gösterilip "Bu bir köpektir" denebilir.

Pekiştirmeli öğrenme ise etiketli verilere dayanmaz. Bunun yerine, tıpkı bir oyun oynayıp kazanmana yardımcı olan hamleleri çözmek gibi, farklı eylemleri deneyerek ve sonuçlardan öğrenerek ilerler.

Şekil 1. Pekiştirmeli öğrenme ve denetimli öğrenme karşılaştırması.

Pekiştirmeli öğrenme, kararların adım adım alındığı ve her seçimin bir sonrakini değiştirdiği görevler için çok önemlidir. Bu öğrenme türü, oyun deneyimini oyuncular için daha zorlu ve ilgi çekici hale getirmek amacıyla strateji video oyunlarında kullanılır.

Link to this sectionYZ çözümlerinde pekiştirmeli öğrenme nasıl çalışır#

Bisiklete binmeyi nasıl öğrendiğini düşün. İlk başta düşebilirsin. Ancak pratikle dengede kalmana neyin yardımcı olduğunu çözmeye başlarsın. Ne kadar çok sürersen o kadar iyi olursun. Sadece ne yapman gerektiğinin söylenmesiyle değil, yaparak öğrenirsin.

Pekiştirmeli öğrenme YZ için de benzer şekilde çalışır. Deneyim yoluyla öğrenir; farklı eylemleri deneyerek, ne olduğuna gözlemleyerek ve zaman içinde doğru seçimleri yapma yeteneğini kademeli olarak geliştirerek ilerler.

Şekil 2. Pekiştirmeli öğrenmenin nasıl çalıştığını anlama.

İşte pekiştirmeli öğrenmenin bazı temel bileşenlerine bir bakış:

• Aracı (Agent): Aracı, öğrenen veya karar verendir. Eylemlerde bulunarak ortamla etkileşime girer ve belirli bir hedefe ulaşmayı amaçlar.
• Ortam (Environment): Ortam, aracının etkileşimde bulunduğu her şeyi içerir. Aracının eylemlerine yanıt olarak değişir ve sonuçlara göre geri bildirim sağlar.
• Durum (State): Durum, ortamdaki mevcut durumun bir anlık görüntüsünü temsil eder. Aracı, çevresini anlamak ve bir sonraki eylemin ne olacağına karar vermek için durumu gözlemler.
• Eylem (Action): Eylem, aracının ortamı etkileyen bir hamlesi veya kararıdır. Her eylem yeni bir duruma yol açar ve gelecekteki ödülleri etkileyebilir.
• Ödül (Reward): Ödül, sadece ortamdan gelen ve aracıya eyleminin yararlı olup olmadığını söyleyen geri bildirimdir. Pozitif ödüller aracıyı iyi eylemleri tekrarlamaya teşvik ederken, negatif ödüller kötü olanları caydırır.
• Politika (Policy): Politika, aracının mevcut duruma göre eylemleri seçme stratejisidir. Zamanla aracı, kazanabileceği toplam ödülü maksimize etmek için politikasını iyileştirir.

Bu bileşenleri birlikte kullanarak, pekiştirmeli öğrenme, YZ sistemlerinin sürekli deneme yanılma yoluyla etkili davranışlar öğrenmesini mümkün kılar. Her denemeyle aracı, daha yüksek ödüllere ve daha iyi sonuçlara yol açan eylemleri seçme konusunda daha yetenekli hale gelir.

Link to this sectionBilgisayarlı görü inovasyonlarında pekiştirmeli öğrenme#

Bilgisayarlı görü; resimlerdeki nesneleri algılama, resimde ne olduğunu sınıflandırma ve bir resmi farklı parçalara bölme gibi görevler için kullanılır. Ultralytics YOLO11 gibi bilgisayarlı görü modelleri bu tür görevleri destekler ve görsel içgörüler toplayabilen etkili uygulamalar oluşturmak için kullanılabilir.

Ancak bu Vision AI görevleri pekiştirmeli öğrenme ile birleştirildiğinde, sonuç sadece görmekle kalmayıp aynı zamanda görsel içgörülere dayanarak nasıl hareket edeceğini de öğrenen ve zamanla daha iyi hale gelen bir YZ çözümü olur.

Bilgisayarlı görü uygulamalarında pekiştirmeli öğrenmenin ilginç bir örneği, depolardaki robot kullanımıdır. Kameralar ve bilgisayarlı görü sistemleriyle donatılmış robotlar, çevrelerini analiz edebilir, her öğenin nerede olduğunu tespit edebilir, şeklini ve boyutunu belirleyebilir ve rafta nasıl konumlandığını anlayabilir.

Robot her bir öğeyi almaya çalıştığında bir geri bildirim alır; öğe doğru bir şekilde alındıysa başarı, düşürüldüyse hata. Zamanla robot hangi eylemlerin farklı öğeler için en iyi sonucu verdiğini öğrenir. Sabit bir talimat dizisini takip etmek yerine, deneyim yoluyla sürekli gelişir.

Şekil 3. Nesneleri almak için Vision AI ve pekiştirmeli öğrenme kullanan robotik bir kol.

Link to this sectionBilgisayarlı görüde pekiştirmeli öğrenme uygulamaları#

Artık pekiştirmeli öğrenmenin ne olduğuna ve bilgisayarlı görüdeki rolüne daha iyi hakim olduğumuza göre, pekiştirmeli öğrenme ve bilgisayarlı görünün birlikte kullanıldığı örneklerden bazılarına daha yakından bakalım.

Link to this sectionDaha akıllı araçlar için Vision AI ve pekiştirmeli öğrenmeyi entegre etme#

Otonom araçlar, çevrelerini anlamak için Vision AI'ya ve gördüklerine dayalı kararlar almak için pekiştirmeli öğrenmeye güvenebilirler. Bunun iş başındaki harika bir örneği AWS DeepRacer'dır.

AWS DeepRacer, kamera ve pekiştirmeli öğrenme kullanarak nasıl sürüleceğini öğrenen, tamamen otonom 1/18 ölçekli bir yarış arabasıdır. Ne yapması gerektiği söylenmek yerine, deneyerek, hata yaparak ve bunlardan öğrenerek her şeyi kendi başına çözer.

Bu küçük arabanın kamerası, ilerideki pisti yakalayan bir çift göz gibi çalışır. Gördüklerine dayanarak, araba nasıl direksiyon kıracağını ve ne kadar hızlı gideceğini öğrenir. Her turda daha iyi hale gelir. Örneğin, geçmiş denemelerden öğrenerek daha geniş dönüşler yapmayı veya keskin virajlardan önce yavaşlamayı öğrenebilir.

DeepRacer için eğitim, modelin sürüş becerilerini pratik edip geliştirdiği sanal bir ortamda başlar. Belirli bir performans düzeyine ulaştığında, bu beceriler fiziksel arabalarla gerçek dünya pistlerine aktarılır.

Şekil 4. AWS DeepRacer, otonom sürüş için görüş ve pekiştirmeli öğrenme kullanır. Görsel kaynağı: Amazon.

Link to this sectionOtonom cerrahi robotlara doğru ilerleme#

İlgi gören heyecan verici bir araştırma alanı, Vision AI ve pekiştirmeli öğrenmenin robotik cerrahideki entegrasyonudur. Şu an için bu uygulama büyük ölçüde teoriktir. Araştırmacılar sanal ortamlarda simülasyonlar yürütmektedir.

Ancak erken deneyler, cerrahi robotların sonunda karmaşık, hassas prosedürleri daha yüksek doğruluk, uyarlanabilirlik ve minimum insan müdahalesiyle gerçekleştirebileceğini düşündüren umut verici sonuçlar göstermektedir.

Şekil 5. Cerrahi robotlar giderek daha gelişmiş hale geliyor.

Örneğin, bir parça gazlı bezin cerrahi bir alandan dikkatlice kaldırılması gereken bir durumu hayal et. Vision AI ile donatılmış bir robot, gazlı bezi ve çevre dokuları tanımlamak için segmentasyonu kullanarak sahneyi analiz ederdi.

Pekiştirmeli öğrenme, cerrahi robotun göreve nasıl yaklaşacağına karar vermesine yardımcı olur; gazlı bezi tutmak için en iyi açıyı, ne kadar basınç uygulanacağını ve yakındaki hassas bölgeleri rahatsız etmeden nasıl kaldırılacağını belirler. Zamanla ve simüle edilmiş ortamlarda tekrarlanan pratikle robot, bu hassas ve kritik hareketleri artan bir beceri ve güvenle gerçekleştirmeyi öğrenebilir.

Link to this sectionVision AI'da pekiştirmeli öğrenmenin artıları ve eksileri#

Pekiştirmeli öğrenme, Vision AI sistemlerinin basit tanımanın ötesine geçmesini ve gördüklerine dayalı kararlar almaya başlamasını sağlar. Bu; robotik, otomasyon ve gerçek zamanlı etkileşim gibi alanlarda yeni olanaklar açar.

Pekiştirmeli öğrenmeyi Vision AI iş akışlarına entegre etmenin temel avantajlarından bazıları şunlardır:

• Etiketli verilere daha az bağımlılık: Bu sistemler etkileşimden öğrenebilir, bu nedenle başlamak için büyük etiketli veri kümelerine ihtiyaç duymazlar.
• Belirsizliği daha iyi yönetir: Pekiştirmeli öğrenme, sadece mükemmel verilere güvenmek yerine geri bildirime dayalı eylemleri ayarlayarak eksik veya gürültülü görsel bilgileri işleyebilir.
• Uzun vadeli öğrenmeyi destekler: Sadece tek adımlı kararlardan değil, eylem dizilerinden öğrenerek modellerin zamanla iyileşmesine yardımcı olur.

Diğer yandan, dikkate alınması gereken pekiştirmeli öğrenme kısıtlamalarından bazıları şunlardır:

• Kredi atama sorunu: Aracı için, özellikle uzun karar dizilerinde nihai sonuca hangi spesifik eylemlerin katkıda bulunduğunu çözmek zor olabilir.
• Güvensiz keşif riski: Eğitim sırasında aracı, sağlık hizmetleri veya otonom sürüş gibi gerçek dünya uygulamalarında kabul edilemeyecek güvensiz veya istenmeyen eylemleri deneyebilir.
• Yavaş yakınsama: Modelin özellikle karmaşık görevler için gerçek performansa ulaşması uzun zaman alabilir.

Link to this sectionÖne çıkanlar#

Bilgisayarlı görü projelerinde pekiştirmeli öğrenme, YZ sistemlerinin çevrelerini anlamalarını ve deneyim yoluyla nasıl hareket edeceklerini öğrenmelerini sağlar. Ultralytics YOLO11 gibi modellerin gerçek zamanlı nesne algılama sağlamasıyla, sistem gördüklerine dayalı bilinçli kararlar alabilir.

Bu yaklaşım, YZ'nin sadece etiketli verilere güvenmek yerine deneme ve geri bildirim yoluyla gelişmesine olanak tanıyarak geleneksel yöntemlerin ötesine geçer. Sürekli öğrenmeyi destekler ve zamanla daha iyi hale gelen daha esnek, uyarlanabilir ve akıllı Vision AI sistemleri oluşturulmasına yardımcı olur.

Büyüyen topluluğumuza katıl. YZ'nin derinliklerine inmek için GitHub depomuzu ziyaret et. Kendi bilgisayarlı görü projelerini başlatmak mı istiyorsun? Lisanslama seçeneklerimizi keşfet. Üretimde YZ ve otomotiv endüstrisinde Vision AI hakkında daha fazla bilgiyi çözüm sayfalarımızda bulabilirsin.