Bilgisayarlı görü projelerinde pekiştirmeli öğrenmeden yararlanmak

Yapay zekayı (YZ) açıklamanın en basit yolu, insanların düşünme ve öğrenme şeklini yeniden yaratmaya odaklanan bir alan olduğudur. YZ'deki öğrenme teknikleri fikri buradan gelir; bunlar, tıpkı insanlar gibi makinelerin de zamanla performanslarını artırmalarını sağlayan farklı yöntemlerdir.

Daha önce, gözetimli, gözetimsiz, pekiştirmeli ve aktarımlı öğrenme dahil olmak üzere temel AI learning techniques tekniklerini ve her birinin AI modellerinin bilgiyi işlemesinde ve karar almasında nasıl önemli bir rol oynadığını inceledik.

Bugün, bir ortama etki ederek ve geri bildirimlere dayanarak gelişip yapay zeka sistemlerine deneyim yoluyla öğrenmeyi öğreten bir teknik olan reinforcement learning konusunu daha yakından ele alacağız. Özellikle, pekiştirmeli öğrenmenin makinelerin dünyadaki görsel bilgileri yorumlamasını ve anlamasını sağlayan sistemler olan computer vision uygulamalarına nasıl uygulanabileceğini keşfedeceğiz.

Pekiştirmeli öğrenme ve bilgisayarlı görü gibi kavramları bir araya getirmek, heyecan verici yeni olanaklar açıyor ve aktif bir araştırma alanı olmaya devam ediyor. Bu, YZ sistemlerinin gördüklerini tanımasını ve bu görsel bilgilere dayanarak bilinçli kararlar almasını sağlıyor.

Pekiştirmeli öğrenme nedir?#

Pekiştirmeli öğrenme, bir AI agent öğesinin eylemlerde bulunarak ve ödül veya ceza şeklinde geri bildirim alarak öğrendiği bir makine öğrenmesi dalıdır. Amaç, zaman içinde hangi eylemlerin en iyi sonuçlara yol açacağını bulmaktır.

Pekiştirmeli öğrenmeyi bir köpek eğitmek gibi düşünebilirsin. Bir köpek komutla oturduğunda ona bir ödül maması verirsin. Bir süre sonra köpek, oturmanın bir ödüle yol açtığını öğrenir. Pekiştirmeli öğrenmede YZ aracısı veya modeli köpek gibidir; ortam çevresindeki dünyadır ve ödül, doğru hamleyi yapıp yapmadığını anlamasına yardımcı olur.

Bu, YZ modeline doğru cevapların birçok örneğinin gösterildiği denetimli öğrenmeden farklıdır. Örneğin, modele bir köpek resmi gösterilip "Bu bir köpektir" denebilir.

Pekiştirmeli öğrenme ise etiketli verilere dayanmaz. Bunun yerine, tıpkı bir oyun oynayıp kazanmana yardımcı olan hamleleri çözmek gibi, farklı eylemleri deneyerek ve sonuçlardan öğrenerek ilerler.

Fig 1. Pekiştirmeli öğrenme ile gözetimli öğrenmenin karşılaştırması.

Pekiştirmeli öğrenme, kararların adım adım alındığı ve her seçimin bir sonraki adımı değiştirdiği görevler için çok önemlidir. Bu öğrenme türü, oyuncular için oynanışı daha zorlu ve ilgi çekici hale getirmek amacıyla stratejik video games oyunlarında kullanılır.

YZ çözümlerinde pekiştirmeli öğrenme nasıl çalışır#

Bisiklete binmeyi nasıl öğrendiğini düşün. İlk başta düşebilirsin. Ancak pratikle dengede kalmana neyin yardımcı olduğunu çözmeye başlarsın. Ne kadar çok sürersen o kadar iyi olursun. Sadece ne yapman gerektiğinin söylenmesiyle değil, yaparak öğrenirsin.

Pekiştirmeli öğrenme YZ için de benzer şekilde çalışır. Deneyim yoluyla öğrenir; farklı eylemleri deneyerek, ne olduğuna gözlemleyerek ve zaman içinde doğru seçimleri yapma yeteneğini kademeli olarak geliştirerek ilerler.

Fig 2. Pekiştirmeli öğrenmenin nasıl çalıştığını anlamak.

İşte pekiştirmeli öğrenmenin bazı temel bileşenlerine bir bakış:

• Aracı (Agent): Aracı, öğrenen veya karar verendir. Eylemlerde bulunarak ortamla etkileşime girer ve belirli bir hedefe ulaşmayı amaçlar.
• Ortam (Environment): Ortam, aracının etkileşimde bulunduğu her şeyi içerir. Aracının eylemlerine yanıt olarak değişir ve sonuçlara göre geri bildirim sağlar.
• Durum (State): Durum, ortamdaki mevcut durumun bir anlık görüntüsünü temsil eder. Aracı, çevresini anlamak ve bir sonraki eylemin ne olacağına karar vermek için durumu gözlemler.
• Eylem (Action): Eylem, aracının ortamı etkileyen bir hamlesi veya kararıdır. Her eylem yeni bir duruma yol açar ve gelecekteki ödülleri etkileyebilir.
• Ödül (Reward): Ödül, sadece ortamdan gelen ve aracıya eyleminin yararlı olup olmadığını söyleyen geri bildirimdir. Pozitif ödüller aracıyı iyi eylemleri tekrarlamaya teşvik ederken, negatif ödüller kötü olanları caydırır.
• Politika (Policy): Politika, aracının mevcut duruma göre eylemleri seçme stratejisidir. Zamanla aracı, kazanabileceği toplam ödülü maksimize etmek için politikasını iyileştirir.

Bu bileşenleri birlikte kullanarak pekiştirmeli öğrenme, AI sistemlerinin sürekli deneme yanılma yoluyla etkili davranışlar öğrenmesini mümkün kılar. Her denemede agent becomes better öğesi, daha yüksek ödüllere ve daha iyi sonuçlara yol açan eylemleri seçme konusunda daha iyi hale gelir.

Bilgisayarlı görü inovasyonlarında pekiştirmeli öğrenme#

Bilgisayarlı görü; görüntülerdeki detecting objects nesneleri algılama, bir resmin içinde ne olduğunu sınıflandırma ve bir görüntüyü farklı parçalara bölme gibi görevler için kullanılır. Ultralytics YOLO11 gibi computer vision modelleri bu tür görevleri destekler ve görsel içgörüler toplayabilen etkili uygulamalar oluşturmak için kullanılabilir.

Ancak bu Vision AI görevleri pekiştirmeli öğrenme ile birleştirildiğinde, sonuç sadece görmekle kalmayıp aynı zamanda görsel içgörülere dayanarak nasıl hareket edeceğini de öğrenen ve zamanla daha iyi hale gelen bir YZ çözümü olur.

Pekiştirmeli öğrenmenin bilgisayarlı görü uygulamalarındaki ilginç bir örneği, warehouses depolarında robotların kullanılmasıdır. Kameralar ve bilgisayarlı görü sistemleriyle donatılmış robotlar çevrelerini analiz edebilir, her öğenin nerede bulunduğunu tespit edebilir, şeklini ve boyutunu belirleyebilir ve rafa nasıl yerleştirildiğini anlayabilir.

Robot her bir öğeyi almaya çalıştığında bir geri bildirim alır; öğe doğru bir şekilde alındıysa başarı, düşürüldüyse hata. Zamanla robot hangi eylemlerin farklı öğeler için en iyi sonucu verdiğini öğrenir. Sabit bir talimat dizisini takip etmek yerine, deneyim yoluyla sürekli gelişir.

Fig 3. Nesneleri toplamak için Vision AI ve pekiştirmeli öğrenme kullanan bir robot kol.

Bilgisayarlı görüde pekiştirmeli öğrenme uygulamaları#

Artık pekiştirmeli öğrenmenin ne olduğuna ve bilgisayarlı görüdeki rolüne daha iyi hakim olduğumuza göre, pekiştirmeli öğrenme ve bilgisayarlı görünün birlikte kullanıldığı örneklerden bazılarına daha yakından bakalım.

Daha akıllı araçlar için Vision AI ve pekiştirmeli öğrenmeyi entegre etme#

Autonomous vehicles çevrelerini anlamak için Vision AI sistemlerine ve gördüklerine dayanarak kararlar almak için pekiştirmeli öğrenmeye güvenebilir. Bunun çalışırken harika bir örneği AWS DeepRacer'dır.

AWS DeepRacer, bir kamera ve pekiştirmeli öğrenme kullanarak nasıl araç kullanılacağını öğrenen, tamamen otonom 1/18 ölçekli bir yarış arabasıdır. Ne yapması gerektiğinin söylenmesi yerine, deneyerek, hata yaparak ve bunlardan ders çıkararak işleri kendi başına çözer.

Bu küçük arabanın kamerası, ilerideki pisti yakalayan bir çift göz gibi çalışır. Gördüklerine dayanarak, araba nasıl direksiyon kıracağını ve ne kadar hızlı gideceğini öğrenir. Her turda daha iyi hale gelir. Örneğin, geçmiş denemelerden öğrenerek daha geniş dönüşler yapmayı veya keskin virajlardan önce yavaşlamayı öğrenebilir.

DeepRacer için eğitim, modelin sürüş becerilerini pratik edip geliştirdiği sanal bir ortamda başlar. Belirli bir performans düzeyine ulaştığında, bu beceriler fiziksel arabalarla gerçek dünya pistlerine aktarılır.

Fig 4. AWS DeepRacer otonom olarak araç sürmek için görüşü ve pekiştirmeli öğrenmeyi kullanır. Görsel kaynağı: Amazon.

Otonom cerrahi robotlara doğru ilerleme#

İlgi gören heyecan verici bir araştırma alanı, Vision AI ve pekiştirmeli öğrenmenin robotik cerrahideki entegrasyonudur. Şu an için bu uygulama büyük ölçüde teoriktir. Araştırmacılar sanal ortamlarda simülasyonlar yürütmektedir.

Ancak erken deneyler, cerrahi robotların sonunda karmaşık, hassas prosedürleri daha yüksek doğruluk, uyarlanabilirlik ve minimum insan müdahalesiyle gerçekleştirebileceğini düşündüren umut verici sonuçlar göstermektedir.

Fig 5. Cerrahi robotlar giderek daha gelişmiş hale geliyor.

Örneğin, bir cerrahi alandan bir gazlı bez parçasının dikkatlice kaldırılması gereken bir durum hayal edin. Vision AI ile donatılmış bir robot, gazlı bezi ve çevre dokuları tanımlamak için segmentation kullanarak önce sahneyi analiz eder.

Pekiştirmeli öğrenme daha sonra surgical robot robotunun göreve nasıl yaklaşacağına karar vermesine yardımcı olur; gazlı bezi kavrayacak en iyi açıyı, ne kadar basınç uygulanacağını ve yakındaki hassas bölgeleri rahatsız etmeden nasıl kaldırılacağını belirler. Zamanla ve simüle edilmiş ortamlarda tekrarlanan pratiklerle robot, bu ince ve kritik hareketleri artan bir beceri ve özgüvenle gerçekleştirmeyi öğrenebilir.

Vision AI'da pekiştirmeli öğrenmenin artıları ve eksileri#

Pekiştirmeli öğrenme, Vision AI sistemlerinin basit tanımanın ötesine geçmesini ve gördüklerine dayalı kararlar almaya başlamasını sağlar. Bu; robotik, otomasyon ve gerçek zamanlı etkileşim gibi alanlarda yeni olanaklar açar.

Pekiştirmeli öğrenmeyi Vision AI iş akışlarına entegre etmenin temel avantajlarından bazıları şunlardır:

• Etiketlenmiş verilere daha az bağımlılık: Bu sistemler etkileşim yoluyla öğrenebilir, bu nedenle başlamak için devasa etiketlenmiş datasets veri setlerine ihtiyaç duymazlar.
• Belirsizliği daha iyi yönetir: Pekiştirmeli öğrenme, sadece mükemmel verilere güvenmek yerine geri bildirime dayalı eylemleri ayarlayarak eksik veya gürültülü görsel bilgileri işleyebilir.
• Uzun vadeli öğrenmeyi destekler: Sadece tek adımlı kararlardan değil, eylem dizilerinden öğrenerek modellerin zamanla iyileşmesine yardımcı olur.

Diğer yandan, dikkate alınması gereken pekiştirmeli öğrenme kısıtlamalarından bazıları şunlardır:

• Kredi atama sorunu: Aracı için, özellikle uzun karar dizilerinde nihai sonuca hangi spesifik eylemlerin katkıda bulunduğunu çözmek zor olabilir.
• Güvensiz keşif riski: Eğitim sırasında aracı, sağlık hizmetleri veya otonom sürüş gibi gerçek dünya uygulamalarında kabul edilemeyecek güvensiz veya istenmeyen eylemleri deneyebilir.
• Yavaş yakınsama: Modelin özellikle karmaşık görevler için iyi bir performance performansa ulaşması uzun sürebilir.

Öne çıkanlar#

Bilgisayarlı görü projelerinde pekiştirmeli öğrenme, YZ sistemlerinin çevrelerini anlamalarını ve deneyim yoluyla nasıl hareket edeceklerini öğrenmelerini sağlar. Ultralytics YOLO11 gibi modellerin gerçek zamanlı nesne algılama sağlamasıyla, sistem gördüklerine dayalı bilinçli kararlar alabilir.

Bu yaklaşım, YZ'nin sadece etiketli verilere güvenmek yerine deneme ve geri bildirim yoluyla gelişmesine olanak tanıyarak geleneksel yöntemlerin ötesine geçer. Sürekli öğrenmeyi destekler ve zamanla daha iyi hale gelen daha esnek, uyarlanabilir ve akıllı Vision AI sistemleri oluşturulmasına yardımcı olur.

Büyüyen community topluluğumuza katılın. Yapay zekanın derinliklerine inmek için GitHub repository depomuzu ziyaret edin. Kendi bilgisayarlı görü projelerinizi başlatmak mı istiyorsunuz? our licensing options lisanslama seçeneklerimizi inceleyin. Çözüm sayfalarımızda AI in manufacturing üretimde yapay zeka ve Vision AI in the automotive industry otomotiv endüstrisinde Vision AI hakkında daha fazla bilgi edinin.