Synthetic Data

Sentetik veri; gerçek olaylardan ölçülmek yerine bir simülasyon, kural kümesi veya üretken yapay zekâ modeli tarafından üretilen ve temsil ettiği gerçek verinin istatistiksel örüntülerini yeniden oluşturmak üzere tasarlanan bilgidir. İşlenmiş bir sokak sahnesi, sütunları gerçek verilerdeki gibi korelasyon gösteren uydurma hasta kayıtlarından oluşan bir tablo ve bir dil modelinin yazdığı matematik alıştırması sentetik veriye örnektir. Üretici her örneği oluşturduğundan, her örneğin doğru yanıtını da bilir; böylece işlenmiş bir görüntü, etiketleme maliyeti olmadan kesin sınırlayıcı kutular, segmentasyon maskeleri ve derinlik değerleriyle birlikte gelir. Sentetik veri üretimi, oyun motorunda işleme almadan difüzyon modellerine kadar sentetik veriyi oluşturan süreçtir.

Sentetik Veri Türleri#

İstatistikçi Donald Rubin, nüfus sayımı kurumlarının gerçek katılımcıların yanıtlarını açıklamadan ayrıntılı kayıtlar yayımlayabilmesi için 1993'te tamamen sentetik veri kavramını önerdi; alan bugün de üç türü birbirinden ayırıyor:

• Tamamen sentetik veri: 3B sahnelerden işlenerek oluşturulmuş bir veri kümesi veya gerçek kayıtlara uydurulmuş bir modelden örneklenmiş bir tablo gibi her kayıt ya da görüntü bir üreticiden gelir.
• Kısmen sentetik veri: Anket dosyasındaki sentezlenmiş gelirler gibi yalnızca hassas alanlar değiştirilirken her kaydın geri kalanı gerçek olarak kalır.
• Hibrit veri kümeleri: Gerçek ve sentetik örnekler aynı eğitim kümesinde yer alırken, metriklerin gerçek dünya doğruluğunu yansıtması için doğrulama ve test kümeleri gerçek verilerden oluşur.

Sentetik veriler tüm kipleri kapsar: simülatörlerden alınan görüntüler ve videolar, LiDAR ve radar akışları, tablo kayıtları, zaman serileri ve büyük dil modellerinin yazdığı metinler.

Sentetik Veri Neden Kullanılır#

Sentetik veri, gerçek veri toplamanın kapatamadığı boşlukları doldurur. Çarpışmalar, nadir kusurlar ve aşırı hava koşulları kaydedilemeyecek kadar tehlikeli veya nadirdir; bu nedenle simülatörler bunları otomotiv algılama ve robotik için isteğe bağlı olarak işler. Hiçbir gerçek kişiye ait olmayan kayıtlar, hasta veya müşterilerin bilgilerinin açığa çıkması riskini azaltır; bu, sağlık ve finansta veri gizliliği kuralları kapsamında önemlidir. Üreticiler, veri kümesi yanlılığını azaltmak için az temsil edilen sınıflardan, cilt tonlarından veya bakış açılarından daha fazla örnek de üretebilir. Microsoft araştırmacıları, bu yaklaşımın bazı görevlerde gerçek görüntülerin yerini tamamen alabileceğini gösterdi: ICCV 2021 tarihli Gerçekmiş Gibi Yap, Olana Kadar Devam Et makalelerinde, yüz anahtar noktası konumlandırma ve yüz ayrıştırma modellerini yalnızca işlenmiş yüzlerle eğittiler ve gerçek fotoğraflarla eğitimdeki doğruluğu yakaladılar.

Yoğun geometri, sentetik verilere yönelmenin bir başka yaygın nedenidir. Ultralytics YOLO26 derinlik tahmin modelleri, yaklaşık 2,19 milyon görüntünün bir karışımıyla önceden eğitilir. Bu karışımda üç sentetik kaynak bulunur: Apple'ın ışın izlemeli iç mekân sahnelerini içeren Hypersim, AirSim ortamlarını içeren TartanAir ve farklı hava ve aydınlatma koşullarında yeniden oluşturulmuş KITTI sürüş sahnelerini içeren Virtual KITTI 2. Her kaynak her piksel için bir derinlik değeri sağlar; aynı karışımdaki gerçek KITTI LiDAR taramaları ise yalnızca dağınık noktaları kapsar.

Sentetik Veri Kalitesini Ölçme#

Sentetik veri kümeleri üç özelliğe göre değerlendirilir. Aslına uygunluk, tablolardaki sütun ortalamaları ve korelasyonlardan Fréchet Inception Distance (FID) gibi görüntü gerçekçiliği puanlarına kadar, verilerin gerçek dağılımlara ne kadar yaklaştığını ölçer. Fayda, sentetik veriyle eğitilmiş bir modelin gerçek verilerde işe yarayıp yaramadığını ölçer; bu genellikle sentetik veride eğitim ve gerçek veride test (TSTR) ile yapılır. Gizlilik ise gerçek kayıtların sızıp sızmadığını; en yakın gerçek kayda olan uzaklıklar, üyelik çıkarımı saldırıları veya üreticiye ilişkin biçimsel diferansiyel gizlilik garantileriyle ölçer.

Bu TSTR denetimi, gerçek bir tıbbi tablodaki her sınıfa bir Gauss dağılımı uydurur ve aynı sınıflandırıcıyı gerçek ve sentetik satırlarla eğitir:

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

# Real breast tumor measurements, split into training rows and a held-out real test set
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# Fully synthetic training set: 500 rows per class sampled from a Gaussian fit to that class's real rows
rng = np.random.default_rng(0)
classes = [X_train[y_train == c] for c in (0, 1)]
X_syn = np.vstack([rng.multivariate_normal(rows.mean(0), np.cov(rows.T), 500) for rows in classes])
y_syn = np.repeat([0, 1], 500)

# Train the same classifier on real or on synthetic rows, then test both on the same real rows
for name, (X_fit, y_fit) in {"real": (X_train, y_train), "synthetic": (X_syn, y_syn)}.items():
    model = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000)).fit(X_fit, y_fit)
    print(f"trained on {name} data: {model.score(X_test, y_test):.1%} accuracy on real test data")

Gerçek satırlarla eğitilen model %97,7, 1.000 sentetik satırla eğitilen model ise %95,9 puan alır. Aradaki 1,8 puanlık fark, basit Gauss üreticisinin yakalayamadığı sinyali ölçer ve sentetik satırların hiçbiri gerçek bir hastanın kaydının kopyası değildir.

Riskler ve Sınırlamalar#

Bir model, kusursuz kenarlar veya yinelenen dokular gibi bir işleyicinin kestirme yollarını öğrenip gerçek görüntülerde başarısız olabilir. Bu simülasyondan gerçeğe farkı alan randomizasyonu, gerçek verileri karışıma ekleme veya küçük bir gerçek veri kümesiyle ince ayar yapma yoluyla azaltılır. Üretici, eğitildiği verilerin kör noktalarını da devralır; bu nedenle açıkça belirtilmedikçe, kendisini gerekli kılan uzun kuyruklu örnekleri nadiren üretir. Üretken modelleri tekrar tekrar kendi çıktılarıyla eğitmek model çökmesine yol açar. Shumailov ve çalışma arkadaşlarının 2024 tarihli Nature makalesi, bunun önce özgün dağılımın nadir uçlarını sildiğini gösterdi.

Sentetik Veri ve İlgili Terimler#

• Veri artırma: Mevcut gerçek örnekleri çevirme, kırpma ve renk kaydırma gibi işlemlerle dönüştürür; böylece her yeni örnek belirli bir özgün örnekten türetilir.
• Dijital ikiz: Sensör verileriyle eşzamanlı tutulan, belirli bir gerçek varlığın sanal modelidir. İkizin görüntülerini işlemek, o varlığın sentetik verilerini üretmenin bir yoludur.
• Anonimleştirilmiş veri: Adları ve tanımlayıcıları kaldırılmış veya gizlenmiş gerçek kayıtlar; her satır yine de gerçek bir kişiyi tanımlar.