Big Data

Büyük veri; boyutu, geliş hızı veya biçim çeşitliliği tek bir makinenin ve geleneksel veritabanı araçlarının depolayıp işleyebileceği sınırları aşan veridir. Bu nedenle büyük veri, üzerinde paralel çalışan makine kümelerine dağıtılır. META Group analisti Doug Laney, bu zorluğu 2001'de üç V ile tanımladı: hacim, veri miktarı; hız, verinin geliş ve işlenme sürati; çeşitlilik ise yapılandırılmış tabloların, günlüklerin, metinlerin, görüntülerin, seslerin ve videoların karışımıdır. Sonraki tanımlara, verinin ne kadar güvenilir olduğunu ifade eden doğruluk ve değer de eklendi. Makine öğrenimi için büyük veri hem ham madde hem de bir mühendislik sorunudur: modeller daha fazla eğitim verisiyle gelişir; bu verileri toplayan, temizleyen ve kullanıma sunan işlem hatları ise modelleri oluşturma çabasının büyük bölümünü oluşturur.

Yapay Zekâ ve Bilgisayarlı Görüde Büyük Veri#

Derin öğrenme, tek bir diske sığmayacak kadar büyük veri kümeleriyle birlikte gelişti. 2009'da tanıtılan ImageNet, 14 milyondan fazla etiketli görüntüye ulaştı; 1.000 sınıflı yarışmasının 1,28 milyon eğitim görüntüsü, 2012 yarışmasını kazanan AlexNet evrişimli sinir ağını eğitti. 2023'te Segment Anything Model ile yayımlanan Meta'nın SA-1B veri kümesi, 11 milyon görüntü ve 1,1 milyar bölümleme maskesi içeriyor; Meta, Llama 3'ü 15 trilyondan fazla metin belirteci üzerinde önceden eğitti. Ölçeklendirme yasaları, bu tür veri koleksiyonlarının neden işe yaradığını açıklar: veri, parametre ve işlem gücü birlikte arttıkça kayıp tahmin edilebilir biçimde düşer.

Bilgisayarlı görüde hacim, kamera ve sensör filolarından kaynaklanır. Tek bir otonom araç, her sürüş saatinde kamera, radar ve lidar akışlarını kaydeder; fabrikalar ve mağazalar da binlerce kesintisiz video akışı ekler. Trafik veya üretim hattı videolarında gerçek zamanlı çıkarım gibi sonuçların veri gelir gelmez gerektiği durumlarda hız önem kazanır. Çeşitlilik, görüntü ve videoların yanı sıra açıklamaları, sensör üst verilerini ve günlükleri kapsar. Veriler ancak etiketleri doğruysa fayda sağlar; bu nedenle büyük görüntü veri kümeleri, hangi yeni görüntülerin etiketlenmeye değer olduğunu seçmek için veri temizleme, tekilleştirme ve aktif öğrenmeye dayanır.

Büyük Veri Nasıl Depolanır ve İşlenir#

Büyük veri sistemleri ölçeği yatayda büyütür: verileri ve hesaplamaları tek bir büyük sunucu yerine çok sayıda standart makineye dağıtır. Google'ın 2004 tarihli MapReduce makalesi, açık kaynaklı Apache Hadoop'un yaygınlaştırdığı modeli tanımladı: girdiyi parçalara böl, her parçayı depolayan makinede her parçaya bir eşleme işlevini paralel olarak uygula ve kısmi sonuçları tek bir yanıt hâlinde birleştir. 2009'da UC Berkeley'de başlatılan Apache Spark, ara sonuçları bellekte tutar; bu da model eğitimi gibi yinelemeli işleri disk tabanlı MapReduce'dan çok daha hızlı kılar. Ham dosyalar genellikle veri gölü olarak düzenlenen bulut nesne depolama alanında tutulur; Apache Parquet gibi sütunlu biçimler sorguların yalnızca ihtiyaç duyduğu sütunları okumasını sağlar ve Apache Kafka gibi akış platformları yüksek hızlı olayları taşır.

Bu örnekte, Python'un standart kitaplığı kullanılarak görüntü etiketlerinden oluşan üç parçada eşleme ve indirgeme adımları çalıştırılır:

from collections import Counter
from multiprocessing import Pool

# # Görüntü etiketlerinden oluşan üç parça; bir küme her parçayı farklı bir makinede depolar
shards = [
    ["car", "person", "car", "bus"],
    ["person", "person", "bicycle"],
    ["car", "person", "dog", "car"],
]


def count_labels(shard):
    """Map step: count the labels in one shard."""
    return Counter(shard)


if __name__ == "__main__":
    with Pool(processes=3) as pool:
        partial_counts = pool.map(count_labels, shards)  # # Her parça için bir çalışan süreci

    # # İndirgeme adımı: kısmi sayımları tek bir toplamda birleştir
    totals = sum(partial_counts, Counter())
    print(totals.most_common())

Her parça kendi sürecinde sayılır ve indirgeme adımı kısmi sayımları [('car', 4), ('person', 4), ('bus', 1), ('bicycle', 1), ('dog', 1)] içinde birleştirir. Spark ve Hadoop aynı iki adımı binlerce makinede çalıştırır ve eşleme kodunu her parçayı barındıran makinelere gönderir.

Büyük Verilerle Model Eğitimi#

Bir eğitim çalıştırması, büyük verileri yığınlar hâlinde okur. Veri yükleyiciler, tüm veri kümesinin belleğe sığması gerekmeden, yerel diskten veya nesne depolama alanından birkaç düzine ile birkaç yüz arasında görüntüyü aynı anda birden fazla çalışan süreçte çözer; dağıtık eğitim ise her yığını çok sayıda GPU arasında böler. Nesne algılama için Google'ın Open Images V7 algılama kümesi, 601 sınıfa dağılmış 1,74 milyon eğitim görüntüsü içeren ve çoğu makinenin RAM'ine sığmayacak kadar büyük, 561 GB'lık bir indirmedir. Bir veri kümesini cache="ram" ile belleğe önbelleğe alması istendiğinde, Ultralytics YOLO eğitimi çözülen boyutu rastgele seçilmiş 30 görüntü üzerinden tahmin eder ve yalnızca tahminin iki katı kullanılabilir RAM'e sığıyorsa önbelleğe alır; daha büyük veri kümeleri her dönemde diskten okunup çözülür.

Büyük Veri ve İlgili Terimler#

• Veri madenciliği: Her boyuttaki veride örüntü, aykırı değer ve ilişki arama işi; bu işlem çoğunlukla büyük veri platformlarında yürütülür.
• Veri analitiği: Kararları desteklemek için verileri sorgulama, özetleme ve görselleştirme işi; büyük veri analitiği, dağıtık altyapı gerektiren bölümüdür.
• Veri odaklı yapay zekâ: Modelleri, verilerinin kalitesini ve kapsamını iyileştirerek geliştirme yaklaşımı; bir veri kümesi elle incelenemeyecek kadar büyük olduğunda bu yaklaşım en çok önem kazanır.