Machine Unlearning

Makine öğreniminde unutma, belirli eğitim verilerinin eğitilmiş bir makine öğrenimi modeli üzerindeki etkisini ortadan kaldırma sürecidir; böylece model, bu örnekleri hiç görmemiş gibi davranır. Amaç, veriler kullanılmadan sıfırdan yeniden eğitilmiş bir modelle aynı davranışı, tam yeniden eğitime kıyasla çok daha az hesaplama kaynağı kullanarak elde etmektir. Unutma talepleri, veri gizliliği mevzuatından (örneğin GDPR'ın 17. maddesindeki silme hakkından), telif hakkı iddialarından, sonradan yanlış etiketlendiği veya zehirlendiği anlaşılan verilerden ve büyük dil modellerinden (LLMs) zararlı bilgileri ayıklama çabalarından kaynaklanır.

Verileri Silmek Neden Yeterli Değil?#

Gradyan inişi, modelin her örnekten öğrendiklerini model ağırlıklarına yayar; bu nedenle özgün görüntüleri veya belgeleri depolamadan silmek öğrenilenleri ortadan kaldırmaz. Modeller, tekil örneklerin geri kazanılabilir izlerini de saklayabilir: üyelik çıkarımı saldırıları, belirli bir kaydın eğitim kümesinde bulunup bulunmadığını sınar; büyük dil modelleri ise ezberlenmiş pasajları kelimesi kelimesine yeniden üretebilir. Düzenleyici kurumlar, modelin kendisini verinin bir ürünü olarak değerlendirir. 2021'deki bir uzlaşma kapsamında ABD Federal Ticaret Komisyonu, fotoğraf uygulaması üreticisi Everalbum'a, kullanıcıların fotoğraflarıyla uygun izin almadan geliştirdiği yüz tanıma modellerini ve algoritmalarını silme şartı getirdi; bu çözüm artık algoritmik el koyma olarak adlandırılıyor.

Kesin ve Yaklaşık Unutma#

Kesin unutma, unutulması istenen veriler olmadan yeniden eğitilmiş modelle aynı dağılımdan bir model üretir. Sıfırdan yeniden eğitim temel yöntemdir; Bourtoule ve diğerlerinin SISA çerçevesi, eğitim kümesini parçalara Bölerek, her parçada Yalıtılmış bir model eğiterek, her parçayı kontrol noktaları içeren aşamalara Bölümleyerek ve parça modellerinin tahminlerini Birleştirerek bu yöntemin maliyetini düşürür. Silme talebi geldiğinde yalnızca örneği barındıran parça yeniden eğitilir:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

X, y = load_digits(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# SISA: split the training set into isolated shards and train one model per shard
shards = np.array_split(np.arange(len(X_train)), 5)
models = [LogisticRegression(max_iter=5000).fit(X_train[s], y_train[s]) for s in shards]

# Honor a deletion request for training sample 123 by retraining only the shard that held it
k = next(i for i, s in enumerate(shards) if 123 in s)
shards[k] = shards[k][shards[k] != 123]
models[k] = LogisticRegression(max_iter=5000).fit(X_train[shards[k]], y_train[shards[k]])

# Aggregate the shard models by majority vote
votes = np.stack([m.predict(X_test) for m in models])
pred = np.array([np.bincount(v).argmax() for v in votes.T])
print(f"Retrained {len(shards[k])} of {len(X_train)} samples, test accuracy {(pred == y_test).mean():.3f}")

Betik Retrained 251 of 1257 samples, test accuracy 0.957 çıktısını verir: unutulacak rakam, yeniden eğitilen parça modeline hiç girmemiştir ve silme işlemi tam yeniden eğitimin beşte birine mal olmuştur. Ancak bu maliyet önceden ödenir; çünkü her parça modeli daha az veri görür. ImageNet sınıflandırmasında makale, doğrulukta küçük bir kayıp karşılığında yeniden eğitimde 1.36x hızlanma ölçerken, daha basit Purchase veri kümesinde bu değer 4.63x olmuştur.

Yaklaşık unutma bunun yerine mevcut modeli düzenler ve sonucun yeniden eğitilmiş modele yalnızca benzemesini kabul eder. Yaygın yöntemler arasında unutulacak veri kümesinde kaybı artırmak için gradyan yükselişi, yan etkileri gidermek amacıyla saklanan veriler üzerinde ince ayar ve her örneğin ağırlıkları nasıl değiştirdiğini tahmin eden etki tabanlı güncellemeler bulunur. Microsoft araştırmacıları, büyük dil modelleri için Llama 2 7B'den Harry Potter bilgisini sildi: yaygın kıyaslamalardaki puanlar neredeyse hiç değişmeden, yaklaşık bir GPU saatlik ince ayar yaptılar.

Bir Modelin Unutup Unutmadığını Sınama#

İkna edici bir değerlendirme, unutma uygulanmış modeli, veriler olmadan yeniden eğitilmiş bir modelle karşılaştırır. Unutulacak veri kümesindeki doğruluk sıfıra değil, yeniden eğitilmiş modelin seviyesine düşmelidir; çünkü tam olarak silinen örneklerde bariz biçimde başarısız olan bir model, hangi örneklerin silindiğini açığa çıkarır. Saklanan veriler ve test verileri üzerindeki doğruluk korunmalı, unutulmuş örneklerdeki üyelik çıkarımı saldırısı da şanstan daha iyi sonuç vermemelidir. Hayalî yazar biyografileri üzerine kurulu TOFU ve zararlı biyoloji, kimya ve siber güvenlik bilgisini ölçen WMDP gibi kıyaslamalar bu testleri büyük dil modellerine uygular.

Yaklaşık yöntemler bilgiyi çoğu zaman silmek yerine gizler. Bir saldırı çalışması, RMU adlı öncü büyük dil modeli unutma yönteminin bastırdığı zararlı yeteneklerin çoğunu birbiriyle ilgisiz yalnızca 10 örnekle ince ayar yaparak geri getirdi. Yalnızca kesin yöntemler, tasarımları gereği silme garantisi verir.

Makine Unutma ve İlgili Terimler#

• Felaket düzeyinde unutma: Model yeni verilerle eğitilirken önceki bilgilerin istemeden kaybolmasıdır. Unutma ise seçilen bilgileri kasıtlı olarak siler.
• Sürekli öğrenme: Eskileri kaybetmeden zaman içinde yeni bilgiler eklemektir. Unutma bunun ters yönünde çalışır.
• Model düzenleme: Görevde kimin bulunduğunu güncellemek gibi belirli olguları veya davranışları değiştirmektir. Unutma, belirli eğitim örneklerinin etkisini hedefler ve başarısı yeniden eğitilmiş bir modelle karşılaştırılarak değerlendirilir.
• Diferansiyel gizlilik: Eğitim sırasında, herhangi bir tek örneğin modeli ne ölçüde etkileyebileceğini sınırlayan bir güvencedir; bu da daha sonra unutulması gereken bir kayıt hakkında saldırganın öğrenebileceklerini sınırlar.

Pratikte Makine Unutma#

Her silme işlemi, verilerle eğitilmiş modellerin bulunmasıyla başlar:

Silinecek verileri hiç görmemiş önceden eğitilmiş ağırlıklardan ince ayar yapılarak oluşturulan bilgisayarlı görü modelleri için tam yeniden eğitim genellikle karşılanabilir bir maliyettedir; bu iş, büyük dil modeli ön eğitiminden çok daha küçüktür. Ultralytics Platform içindeki her veri kümesinin Modeller sekmesi, bu veri kümesinde eğitilmiş her modeli ve sürümü kaydedilmiş çalıştırmalar için değiştirilemez veri kümesi sürümünü listeler. Böylece silme talebi, bir görüntüyü görmüş YOLO26 modellerine kadar izlenebilir; bu modeller daha sonra görüntünün çıkarıldığı yeni bir sürümle yeniden eğitilir. Aynı izleme ve yeniden eğitim adımları, tıbbi görüntü analizinde kullanılan taramalar için onayını geri çeken bir hastayı ve model sahibinin silmeyi kabul ettiği güvenlik kameralarının yakaladığı yüzleri veya plakaları da kapsar.