Data Lake

A data lake is a centralized storage repository that holds a vast amount of raw data in its native format until it is needed. Unlike traditional storage systems that require data to be structured before entry, a data lake accepts data "as is," including structured data (rows and columns), semi-structured data (CSV, logs, XML, JSON), and unstructured data (emails, documents, PDFs) and binary data (images, audio, video). This architectural flexibility makes data lakes a cornerstone of modern Big Data strategies, particularly for organizations leveraging Artificial Intelligence (AI) and Machine Learning (ML). By decoupling data capture from data use, organizations can store massive pools of information relatively cheaply and figure out the specific analysis questions later.

Link to this sectionYapay Zeka ve Makine Öğreniminde Veri Göllerinin Rolü#

Yapay Zeka geliştirme bağlamında, bir veri gölünün birincil değeri, Derin Öğrenme (DL) iş akışlarını destekleme yeteneğinde yatar. Gelişmiş sinir ağları, yüksek doğruluk elde etmek için çeşitli ve hacimli eğitim verilerine ihtiyaç duyar. Bir veri gölü, Bilgisayarlı Görü (CV) için milyonlarca yüksek çözünürlüklü görüntü veya Konuşma Tanıma için binlerce saatlik ses kaydı gibi ham varlıkların işlenmeden önce bulunduğu bir hazırlık alanı görevi görür.

Data scientists use "schema-on-read" methodologies within data lakes. This means the structure is applied to the data only when it is read for processing, rather than when it is written to storage. This allows for immense agility; the same raw dataset can be processed in multiple ways for different predictive modeling tasks without altering the original source. Furthermore, robust data lakes often integrate with cloud computing services like Amazon S3 or Azure Blob Storage, enabling scalable, parallel processing needed for training heavy models like YOLO26.

Link to this sectionVeri Gölü ve Veri Ambarı Karşılaştırması#

Sıklıkla karıştırılsa da, bir veri gölü veri ambarından farklıdır. Bir veri ambarı, verileri yapılandırılmış tablolarda depolar ve hızlı SQL sorguları ile iş zekası raporlaması için optimize edilmiştir. "Yazma anında şema" (schema-on-write) kullanır, yani veriler sisteme girmeden önce bir ETL (Ayıkla, Dönüştür, Yükle) süreciyle temizlenmeli ve dönüştürülmelidir.

Buna karşılık, bir veri gölü depolama hacmi ve çeşitliliği için optimize edilmiştir. Amacı henüz tanımlanmamış olabilecek denetimsiz öğrenme ve keşifsel analizleri destekler. Örneğin, bir veri ambarı sana geçen ay kaç ürün satıldığını söyleyebilirken, bir veri gölü bir yapay zeka modelinin bu ürünlerin neden satıldığını anlamasına yardımcı olan ham müşteri duygu günlüklerini ve görüntü verilerini tutar.

Link to this sectionGerçek Dünya Uygulamaları#

Veri gölleri, otomasyonun sınırlarını zorlayan çeşitli endüstrilerde önemli bir rol oynar:

• Otonom Araçlar: Sürücüsüz teknoloji geliştirmek, petabaytlarca sensör verisinin işlenmesini gerektirir. Otonom araçlar sürekli olarak LiDAR nokta bulutları, radar sinyalleri ve yüksek çözünürlüklü video akışları üretir. Bir veri gölü bu ham telemetriyi depolar ve mühendislerin Nesne Algılama modellerini farklı hava koşullarında yayaları ve engelleri tanımlayacak şekilde eğitmek için gerçek dünya senaryolarını yeniden oynatmasına olanak tanır.
• Sağlık Hizmetleri Tanıları: Modern tıbbi görüntü analizinde, hastaneler hasta geçmişini, genomik verileri ve görüntüleme dosyalarını (MRI, BT taramaları) güvenli bir veri gölünde birleştirir. Araştırmacılar daha sonra bu anonimleştirilmiş, yapılandırılmamış verilere erişerek tümör tespiti veya hastalık tahmini için modeller eğitebilir ve genellikle tıbbi görüntüler içindeki ilgi alanlarını izole etmek için segmentasyon tekniklerini kullanabilirler.

Link to this sectionVeri Göllerini Ultralytics ile Kullanma#

Ultralytics Platform ile çalışırken, kullanıcılar genellikle eğitim için açıklamalı veri kümeleri oluşturmak amacıyla kuruluşlarının veri gölünden ham veri alt kümelerini çekerler. Ham görüntüler alınıp etiketlendikten sonra, son teknoloji modelleri eğitmek için kullanılabilirler.

Aşağıdaki örnek, bir geliştiricinin bir algılama görevi için YOLO26 modelini eğitmek üzere yerel bir veri kümesini (bir veri gölünden veri almayı taklit ederek) nasıl yükleyebileceğini göstermektedir.

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Train the model using a dataset configuration file
# In a production pipeline, this data might be streamed or downloaded
# from a cloud-based data lake prior to this step.
results = model.train(data="coco8.yaml", epochs=5, imgsz=640)

# Run inference on a new image to verify performance
predictions = model("https://ultralytics.com/images/bus.jpg")