Ensemble learning’i ve yapay zekâ ile ML’deki rolünü keşfetme

Bu makalede ele alınan kavramları görsel olarak adım adım incelemek için aşağıdaki videoyu izle.

Öneri motorları ve dolandırıcılık tespit sistemleri gibi yapay zekâ yenilikleri, verilere dayalı tahminler ve kararlar yapmak için makine öğrenmesi algoritmalarına ve modellerine güvenir. Bu modeller kalıpları belirleyebilir, eğilimleri öngörebilir ve karmaşık görevlerin otomatikleştirilmesine yardımcı olabilir.

Ancak tek bir model, gerçek dünya verilerindeki tüm ayrıntıları yakalamakta zorlanabilir. Bazı durumlarda iyi performans gösterirken, diğerlerinde yetersiz kalabilir; örneğin bir dolandırıcılık tespit modeli yeni işlem türlerini gözden kaçırabilir.

Bu sınırlama, makine öğrenmesi modelleri geliştiren ve dağıtan yapay zekâ mühendislerinin sıkça karşılaştığı bir durumdur. Bazı modeller eğitim verilerini fazla yakından öğrenerek aşırı uyum sağlarken, diğerleri önemli kalıpları kaçırarak yetersiz uyum gösterir. Ensemble öğrenmesi, temel öğreniciler olarak bilinen birden çok modeli tek ve daha güçlü bir sistemde birleştirerek bu zorlukların ele alınmasına yardımcı olan bir yapay zekâ tekniğidir.

Bunu, bir sorunu çözmek için birlikte çalışan uzmanlardan oluşan bir ekip gibi düşünebilirsin. Bu makalede ensemble öğrenmesinin ne olduğunu, nasıl çalıştığını ve nerelerde kullanılabileceğini inceleyeceğiz. Hadi başlayalım!

Ensemble öğrenmesi nedir?#

Ensemble öğrenmesi, aynı sorunu çözmek ve tek, iyileştirilmiş bir sonuç üretmek için birden çok modeli birleştiren teknikler bütünüdür. Hem denetimli öğrenmede (modellerin etiketli verilerden öğrendiği) hem de denetimsiz öğrenmede (modellerin etiketsiz verilerde kalıplar bulduğu) uygulanabilir.

Tahmin yapmak için tek bir modele güvenmek yerine ensemble, her biri verilere kendi yöntemiyle bakan birkaç model kullanır. Çıktıları birleştirildiğinde sonuç, genellikle herhangi bir tek modelin kendi başına elde edebileceğinden daha doğru, kararlı ve genellenebilirdir.

Bunu, aynı sorunu ele alan bir analist paneline benzetebilirsin. Her analist veya bireysel model, verileri farklı şekilde yorumlar.

Biri kalıplara, diğeri anormalliklere, bir başkası da bağlama odaklanabilir. Grup, bu bakış açılarını bir araya getirerek herhangi bir bireysel yargıdan daha dengeli ve güvenilir bir karar verebilir.

Bu yaklaşım, makine öğrenmesindeki en büyük iki zorluğun ele alınmasına da yardımcı olur: yanlılık ve varyans. Yüksek yanlılığa sahip bir model fazla basittir ve önemli kalıpları gözden kaçırır; yüksek varyansa sahip bir model ise aşırı duyarlıdır ve eğitim verilerine fazla yakından uyar. Ensemble öğrenmesi, modelleri birleştirerek bu ikisi arasında denge kurar ve sistemin yeni, daha önce görülmemiş verilerdeki performansını iyileştirir.

Ensemble öğrenmesinin nasıl çalıştığını anlama#

Bir ensemble içindeki her model, temel öğrenici veya temel model olarak bilinir. Kullanılan ensemble tekniğine bağlı olarak bunlar aynı tür algoritmalar olabilir veya farklı algoritmaların bir karışımından oluşabilir.

Ensemble öğrenmesinde kullanılan farklı model türlerine dair bazı yaygın örnekler şunlardır:

• Karar ağaçları: Bu modeller, karar vermek için özellik değerlerine göre verileri dallara ayırır. Örneğin, bir müşterinin ürün satın alıp almayacağını tahmin etme gibi sınıflandırma problemlerinde yaş, gelir ve gezinme geçmişi gibi faktörleri değerlendirir.
• Sinir ağları: İnsan beyninin bilgiyi işleme biçiminden esinlenen bu ağlar, modern yapay zekâ ve makine öğrenmesi modellerinin çoğunun temel mimarisini oluşturur.
• Destek vektör makineleri (SVMs): Bu algoritmalar, farklı sınıflar arasındaki marjı en üst düzeye çıkaran ve hiper düzlem olarak adlandırılan en uygun karar sınırını bularak verileri sınıflandırır. Başka bir deyişle SVM, grupları aralarında mümkün olan en geniş boşluğu bırakarak ayıran en iyi çizgiyi çizer. Örneğin bir e-postanın, kelime sıklığı ve yapı gibi kalıplara dayanarak istenmeyen posta olup olmadığını belirlemek için kullanılabilir.
• Lojistik regresyon modelleri: Olasılıkları tahmin eder ve genellikle ikili sınıflandırma görevlerinde kullanılır. Tipik bir örnek, bir işlemin hileli mi yoksa meşru mu olduğunu tahmin etmektir.

Birleştirilmiş model ensemble'ı, temel öğrenicilerin (zayıf modeller olarak da adlandırılır) güçlü yönlerini bir araya getirirken zayıflıklarını en aza indirdiği için genellikle güçlü öğrenici olarak adlandırılır. Bunu, her modelin tahminlerini yapılandırılmış bir şekilde birleştirerek yapar; sınıflandırma görevlerinde çoğunluk oylamasını, regresyon görevlerinde ise daha doğru bir nihai sonuç üretmek için ağırlıklı ortalamayı kullanır.

Şekil 1. Ensemble öğrenmesine bir örnek (Kaynak)

Ensemble öğrenmesi ne zaman kullanılmalı?#

Çeşitli ensemble öğrenmesi tekniklerine geçmeden önce bir adım geriye çekilip bu yaklaşım türünün bir makine öğrenmesi veya yapay zekâ projesinde ne zaman kullanılması gerektiğini anlayalım.

Ensemble öğrenmesi, tek bir modelin doğru veya tutarlı tahminler yapmakta zorlandığı durumlarda en etkili yöntemdir. Verilerin karmaşık, gürültülü veya öngörülemez olduğu durumlarda da kullanılabilir.

Ensemble yöntemlerinin özellikle etkili olduğu bazı yaygın durumlar şunlardır:

• Düşük model doğruluğu: Tek bir modelin tahminleri yeterince güvenilir olmadığında birden çok modeli birleştirmek doğruluğu ve performansı önemli ölçüde artırabilir. Örneğin kredi puanlamada veya tıbbi tanıda tahmin doğruluğundaki küçük iyileştirmeler bile büyük fark yaratabilir.
• Gürültülü veya tutarsız veriler: Bir veri kümesi aykırı değerler, hatalar veya rastgele dalgalanmalar içeriyorsa ensemble öğrenmesi, birden çok modelin ortalamasını alarak veya oylarını birleştirerek bu düzensizlikleri yumuşatmaya yardımcı olur.
• Sağlamlık ihtiyacı: Ensemble modelleri küçük veri değişikliklerine karşı daha az duyarlıdır; bu da onları gerçek dünya girdilerinin değişebildiği üretim ortamlarında daha kararlı ve güvenilir kılar.
• Karmaşık tahmin görevleri: Görüntü tanıma, dolandırıcılık tespiti veya zaman serisi tahmini gibi görevlerde ensemble'lar, tek bir modelin kendi başına yakalayabileceğinden daha geniş bir kalıp ve ilişki yelpazesini yakalar.

Ayrıca eğitilmesi daha basit, yorumlanması daha kolay ve bakımı daha hızlıdır. Ensemble kullanmadan önce daha yüksek doğruluğun sağlayacağı faydayı, gerektireceği ek süre, işlem gücü ve karmaşıklıkla karşılaştırmak önemlidir.

Ensemble öğrenmesi tekniklerine genel bakış#

Şimdi ensemble öğrenmesinin makine öğrenmesi projelerinde uygulanabileceği başlıca yöntemlere bakalım. Modelleri birleştirmek için kullanılan ve her biri performansı kendi yöntemiyle iyileştiren birkaç temel teknik vardır. En yaygın ensemble yöntemleri bagging, boosting, stacking ve blending'dir.

Bagging#

Bootstrap aggregating ifadesinin kısaltması olan bagging, aynı modelin birden çok sürümünü verilerin farklı bölümleri üzerinde eğiterek model kararlılığını ve doğruluğunu iyileştirmeye yardımcı olan bir ensemble öğrenmesi yöntemidir.

Her alt küme, veri noktalarının yerine koymalı olarak rastgele seçildiği bootstrap örneklemesi adı verilen bir işlemle oluşturulur. Bu, bir veri noktası seçildikten sonra bir sonraki seçilmeden önce havuza geri konduğu anlamına gelir; böylece aynı nokta birden fazla kez görünebilirken diğerleri dışarıda kalabilir. Bu rastgelelik, her modelin veri kümesinin biraz farklı bir sürümü üzerinde eğitilmesini sağlar.

Çıkarım sırasında eğitilmiş tüm modeller, yeni ve daha önce görülmemiş veriler üzerinde tahmin yapmak için paralel olarak çalışır. Her model öğrendiklerine dayanarak kendi çıktısını üretir ve bu bireysel tahminler nihai sonucu oluşturmak üzere birleştirilir.

Ev fiyatlarını veya satış tahminlerini öngörme gibi regresyon görevlerinde bu genellikle daha yumuşak bir tahmin elde etmek için tüm modellerin çıktılarının ortalamasını almak anlamına gelir. Bir işlemin hileli olup olmadığını belirleme gibi sınıflandırma görevlerinde ise ensemble, nihai sınıfa karar vermek için çoğunluk oyunu kullanır.

Uygulamada bagging: Random Forest algoritması#

Bagging'in iyi çalıştığı yerlere güzel bir örnek, tek bir veri kümesi üzerinde eğitildiğinde kolayca aşırı uyum sağlayabilen karar ağaçlarıdır. Birçok ağacı biraz farklı örnekler üzerinde eğitip sonuçlarını birleştirmek, bagging'in aşırı uyumu azaltmasını ve güvenilirliği artırmasını sağlar.

Random Forest algoritmasını ele alalım. Bu algoritma, her ağacın eğitim veri kümesinin rastgele bir alt kümesi ve özelliklerin rastgele bir alt kümesi üzerinde eğitildiği bir karar ağaçları ensemble'ıdır.

Bu özellik rastgeleliği, ağaçların birbiriyle daha az ilişkili olmasını ve genel modelin daha kararlı ve doğru olmasını sağlar. Random Forest algoritması görüntüleri sınıflandırmak, dolandırıcılığı tespit etmek, müşteri kaybını tahmin etmek, satışları öngörmek veya mülk fiyatlarını tahmin etmek için kullanılabilir.

Şekil 2. Random Forest algoritmasına bakış (Kaynak)

Boosting#

Boosting, zayıf öğrenicileri (modelleri) paralel yerine art arda, birbiri ardına eğiterek iyileştirmeye odaklanan başka bir ensemble öğrenmesi tekniğidir. Boosting'in temel fikri, her yeni modelin önceki modellerin hatalarından öğrenerek genel model performansını kademeli olarak iyileştirmesidir.

Bağımsız modellerin ortalamasını alarak varyansı azaltan bagging'in aksine boosting, her yeni modelin önceki modellerin zorlandığı güç örneklere daha fazla odaklanmasını sağlayarak yanlılığı azaltır.

Boosting modelleri sıralı olarak eğitildiğinden, tahminlerinin sonunda birleştirilme biçimi diğer ensemble yöntemlerinden biraz farklıdır. Her model, eğitim sırasındaki performansıyla orantılı olarak nihai tahmine katkıda bulunur; daha doğru modellere daha yüksek ağırlık verilir.

Regresyon görevlerinde nihai sonuç genellikle tüm model tahminlerinin ağırlıklı toplamıdır. Sınıflandırma görevlerinde algoritma, nihai sınıfa karar vermek için modellerin ağırlıklı oylarını birleştirir. Bu yaklaşım, daha doğru modellere daha fazla ağırlık verirken diğerlerinden öğrenmeye devam ederek boosting'in genel olarak güçlü bir model oluşturmasına yardımcı olur.

Yaygın boosting algoritması türlerinden bazıları şunlardır:

• AdaBoost (Uyarlamalı Boosting): Bu yöntem, küçük bir karar ağacı gibi basit bir modeli eğiterek başlar ve ardından yanlış sınıflandırılan veri noktalarının ağırlığını artırır. Bu ağırlıklar, sonraki modelin zor örneklere daha fazla odaklanmasını sağlar. Birden çok yineleme boyunca modeller birbirlerinin üzerine inşa edilir ve birleştirilmiş tahminleri daha güçlü ve doğru bir sonuç oluşturur. Örneğin AdaBoost, istenmeyen posta tespitinin veya yüz tanıma doğruluğunun iyileştirilmesini sağlayabilir.
• Gradient Boosting: Gradient Boosting, örnekleri yeniden ağırlıklandırmak yerine her yeni modeli, önceki modellerin oluşturduğu artık hataları, yani gerçek ve tahmin edilen değerler arasındaki farkları düzeltmek üzere eğitir. Bu yinelemeli yaklaşım, satış tahmini ve kredi puanlama gibi hem regresyon hem de sınıflandırma görevlerinde etkili olmasını sağlar.
• XGBoost (Extreme Gradient Boosting): Gradient Boosting'in bu gelişmiş sürümü hem hızı hem de doğruluğu artırır. Eğitim sırasında aşırı karmaşık modelleri hafifçe cezalandıran düzenlileştirmeyi kullanır; böylece modeller verileri ezberlemek yerine anlamlı kalıplara odaklanır. Modeller hâlâ sıralı olarak eğitilse de XGBoost, ağaç oluşturma sırasında paralelleştirme kullanarak süreci hızlandırır. Farklı CPU çekirdeklerinde olası birçok bölme noktasını aynı anda değerlendirebilir. Bu, yüksek tahmin performansını korurken özellikle büyük veri kümelerinde eğitimi çok daha hızlı hâle getirir.

Şekil 3. Diyabet risk tahmini için boosting yaklaşımıyla eğitilmiş Karar Ağacı Tabanlı (DTB) sınıflandırıcı örneği. (Kaynak)

Stacking#

Stacked generalization olarak da adlandırılan stacking, birkaç modelin tahminlerini meta öğrenici olarak bilinen nihai bir model için girdi olarak kullanarak işi bir adım ileri taşır. Bunu, her biri fikrini paylaşan bir uzman grubuna ve ardından bu fikirleri en iyi şekilde nasıl ağırlıklandıracağını öğrenen nihai bir karar vericiye sahip olmak gibi düşünebilirsin.

Örneğin bir model dolandırıcılığı tespit etmede çok başarılıyken başka bir model müşteri kaybını tahmin etmede daha iyi olabilir. Meta öğrenici, her modelin performansını inceler ve daha doğru bir nihai tahmin yapmak için güçlü yönlerini birlikte kullanır.

Blending#

Blending, nihai bir karar vermek için birkaç modelin tahminlerini birleştirdiğinden stacking'e benzer şekilde çalışır, ancak daha basit ve hızlı bir yaklaşım kullanır. Stacking'de olduğu gibi çapraz doğrulama (verileri birkaç bölüme ayırıp modeli daha güvenilir hâle getirmek için bu bölümleri eğitim ve test arasında dönüşümlü olarak kullanan bir yöntem) kullanmak yerine blending, verilerin holdout seti adı verilen küçük bir bölümünü ayırır.

Temel modeller kalan veriler üzerinde eğitilir ve ardından daha önce görmedikleri holdout seti üzerinde tahmin yapar. Bu işlem iki temel bilgi parçası üretir: gerçek yanıtlar veya gerçek etiketler ve her temel model tarafından yapılan tahminler.

Bu tahminler daha sonra blending modeli veya meta model olarak adlandırılan başka bir modele aktarılır. Bu nihai model, her temel modelin tahminlerinin ne kadar doğru olduğunu inceler ve bunları mümkün olan en iyi şekilde nasıl birleştireceğini öğrenir.

Blending, işlemi birkaç kez tekrarlamak yerine yalnızca tek bir eğitim ve test bölmesine dayandığından daha hızlı çalışır ve kurulumu daha kolaydır. Bunun karşılığında öğrenebileceği bilgi biraz daha azdır; bu da yöntemi biraz daha az kesin kılabilir.

Ensemble algoritmalarını değerlendirme#

Ensemble öğrenmesinin önemli bir bölümü, bir modelin daha önce görmediği veriler üzerindeki performansını değerlendirmektir. Bir teknik ne kadar gelişmiş olursa olsun, genelleme yapabildiğinden emin olmak için test edilmelidir; yani yalnızca eğitim verilerini ezberlemek yerine yeni, gerçek dünya örnekleri üzerinde doğru tahminler yapabilmelidir.

Yapay zekâ modellerini değerlendirmek için kullanılan bazı yaygın performans metrikleri şunlardır:

• Doğruluk: Bu metrik, modelin yaptığı tüm tahminler içindeki doğru tahminlerin oranını ölçer. Genel performansa hızlı bir bakış sağlar.
• Kesinlik: Pozitif olarak tahmin edilen örneklerin kaçının gerçekten pozitif olduğunu gösterir. Yüksek kesinlik, modelin az sayıda yanlış pozitif hatası yaptığı anlamına gelir.
• Duyarlılık: Bu ölçüm, gerçek pozitif vakaların kaçının model tarafından doğru şekilde belirlendiğine odaklanır. Hastalık tanısı gibi pozitif bir vakayı gözden kaçırmanın ciddi sonuçlar doğurabileceği sağlık hizmetleri gibi alanlarda özellikle önemlidir.

Ensemble öğrenmesinin gerçek dünya uygulamaları#

Şimdiye kadar ensemble öğrenmesinin nasıl çalıştığını ve arkasındaki teknikleri inceledik. Şimdi bu yaklaşımın nerelerde etkili olduğuna bakalım.

Ensemble öğrenmesinin yaygın olarak uygulandığı bazı temel alanlar şunlardır:

• Veri analizi ve tahmin: İş dünyası ve analitik alanında ensemble modelleri, birden çok modelden elde edilen içgörüleri birleştirerek kuruluşların daha iyi tahminler yapmasına yardımcı olur. Bu, daha doğru satış tahminleri, daha akıllı talep planlaması ve müşteri davranışının daha net anlaşılmasını sağlar.
• İkili sınıflandırma: İstenmeyen posta tespiti, dolandırıcılığın önlenmesi ve tıbbi tanı gibi görevlerde genellikle iki olası sonuç arasında ayrım yapılması gerekir. Ensemble modelleri yanlış pozitifleri ve yanlış negatifleri azaltmaya yardımcı olur; bu da siber güvenlik ve sağlık hizmetleri gibi alanlarda özellikle kritiktir.
• Regresyon problemleri: Ev fiyatları, satış geliri veya kredi riski gibi sürekli değerleri tahmin ederken ensemble yöntemleri verilerdeki karmaşık ilişkileri yakalar. Bunun sonucunda daha iyi finansal ve operasyonel kararları destekleyen, daha kesin tahminler elde edilir.

Ensemble öğrenmesiyle yapılandırılmış verilerin ötesine geçme#

Ensemble öğrenmesi en yaygın olarak elektronik tablolar gibi sayısal veya kategorik bilgiler içeren yapılandırılmış ya da tablo biçimindeki verilerle kullanılsa da metin, görüntü, ses ve video gibi yapılandırılmamış verilere de uygulanabilir.

Bu veri türleri daha karmaşıktır ve modellerin yorumlaması daha zordur, ancak ensemble yöntemleri doğruluğu ve güvenilirliği artırmaya yardımcı olur. Örneğin bilgisayarlı görü alanında ensemble'lar, görüntü sınıflandırma ve nesne algılama gibi görevleri iyileştirebilir.

Konvolüsyonel sinir ağları (CNNs) gibi birden çok görü modelinin tahminlerini birleştirerek sistem, nesneleri daha doğru tanıyabilir ve tek bir modeli yanıltabilecek aydınlatma, açı veya arka plan değişiklikleriyle başa çıkabilir.

Ultralytics YOLOv5 model ensemble'ına bakış#

Bilgisayarlı görüde ensemble öğrenmesinin kullanımına ilginç bir örnek, bir mühendisin doğruluğu artırmak için birden çok nesne algılama modelini birleştirmesidir. Aydınlatmanın, açıların ve nesne boyutlarının sürekli değiştiği bir inşaat sahası güvenlik izleme sistemi üzerinde çalışan bir mühendis düşün.

Tek bir model gölgelerdeki bir çalışanı gözden kaçırabilir veya hareket hâlindeki makineleri karıştırabilir. Her birinin farklı güçlü yönleri olan modellerden oluşan bir ensemble kullanıldığında sistem daha güvenilir hâle gelir ve bu hataları yapma olasılığı azalır.

Özellikle Ultralytics YOLOv5 gibi modeller, model ensemble'ıyla el ele çalışır. Mühendisler, tahminleri birlikte yapmak için YOLOv5x ve YOLOv5l6 gibi farklı YOLOv5 varyantlarını birleştirebilir. Her model aynı görüntüyü analiz eder ve kendi algılamalarını üretir; bunlar daha güçlü ve doğru bir nihai sonuç oluşturmak için ortalaması alınarak birleştirilir.

Şekil 4. YOLOv5 kullanarak bir görüntüde nesneleri algılama. (Kaynak)

Ensemble öğrenmesinin artıları ve eksileri#

Ensemble öğrenmesi kullanmanın bazı temel faydaları şunlardır:

• Gürültülü verilere dayanıklılık: Ensemble'lar birden çok modele dayandığından veri kümesindeki aykırı değerlerden veya rastgele gürültüden daha az etkilenir.
• Daha iyi genelleme: Ensemble'lar aşırı uyumu azaltarak modellerin yalnızca eğitim örneklerini ezberlemek yerine daha önce görülmemiş verilerde iyi performans göstermesine yardımcı olur.
• Algoritmalar arasında esneklik: Benzersiz güçlü yönlerinden yararlanmak için karar ağaçları, sinir ağları ve doğrusal modeller gibi farklı model türlerini birleştirebilirsin.

Ensemble öğrenmesi çeşitli avantajlar sunsa da dikkate alınması gereken bazı zorluklar da vardır. Akılda tutulması gereken birkaç faktör şunlardır:

• Daha yüksek hesaplama maliyeti: Birden çok modeli eğitmek ve sürdürmek, tek bir modele kıyasla daha fazla bellek, işlem gücü ve zaman gerektirir.
• Azaltılmış yorumlanabilirlik: Nihai çıktı birden çok modelin birleştirilmesiyle elde edildiğinden belirli bir kararın neden verildiğini anlamak zor olabilir. Ancak bu durum kullanılan modellere bağlıdır; karar ağaçları veya destek vektör makineleri gibi yorumlanabilir modeller kullandığında sonuçları anlamak genellikle daha kolaydır.
• Ensemble tasarımında dikkate alınması gerekenler: Bir ensemble oluşturmak, doğru model bileşimini seçmeyi ve bunların birlikte iyi çalışmasını sağlamayı gerektirir. Ancak bazı durumlarda daha basit de olabilir; çünkü her bir modelin hiperparametrelerini ayrı ayrı ince ayarlaman gerekmez.

Önemli çıkarımlar#

Ensemble öğrenmesi, birden çok modelin birleştirilmesinin yapay zekâ sistemlerini nasıl daha doğru ve güvenilir hâle getirebileceğini gösterir. Hataları azaltmaya ve farklı görev türlerinde performansı iyileştirmeye yardımcı olur. Makine öğrenmesi ve yapay zekâ büyümeye devam ettikçe bunun gibi teknikler, daha geniş bir benimsemeyi ve daha pratik, yüksek performanslı yapay zekâ çözümlerini desteklemektedir.

Görü yapay zekâsı hakkında daha fazla bilgi edinmek için büyüyen topluluğumuza ve GitHub depomuza katıl. Tarımda bilgisayarlı görü ve lojistikte yapay zekâ uygulamaları hakkında bilgi edinmek için çözümler sayfalarımızı keşfet. Kendi bilgisayarlı görü modelini bugün kullanmaya başlamak için lisanslama seçeneklerimize göz at!