Machine Unlearning

Quên máy học là quá trình loại bỏ ảnh hưởng của dữ liệu huấn luyện cụ thể khỏi một model máy học đã huấn luyện, để model hoạt động như thể chưa từng thấy các mẫu đó. Mục tiêu là tạo ra model tương đương với model được huấn luyện lại từ đầu mà không có dữ liệu đó, đồng thời tiêu tốn ít tài nguyên tính toán hơn nhiều so với huấn luyện lại toàn bộ. Yêu cầu quên dữ liệu xuất phát từ luật quyền riêng tư dữ liệu, chẳng hạn quyền xóa dữ liệu theo Điều 17 của GDPR, khiếu nại bản quyền, dữ liệu sau đó được phát hiện là gán nhãn sai hoặc bị đầu độc, và nỗ lực loại bỏ kiến thức nguy hại khỏi mô hình ngôn ngữ lớn (LLM).

Vì sao chỉ xóa dữ liệu là chưa đủ#

Gradient descent phân tán những gì model học được từ mỗi mẫu lên các trọng số model, vì vậy xóa ảnh hoặc tài liệu gốc khỏi bộ lưu trữ không loại bỏ được kiến thức đã học. Model cũng có thể lưu giữ dấu vết của từng mẫu mà có thể khôi phục: tấn công suy luận tư cách thành viên kiểm tra xem một bản ghi cụ thể có nằm trong tập huấn luyện hay không, còn mô hình ngôn ngữ lớn có thể tái tạo nguyên văn các đoạn văn đã ghi nhớ. Cơ quan quản lý xem chính model là sản phẩm của dữ liệu. Trong một thỏa thuận dàn xếp năm 2021, Ủy ban Thương mại Liên bang Hoa Kỳ yêu cầu nhà sản xuất ứng dụng ảnh Everalbum xóa các model và thuật toán nhận diện khuôn mặt được xây dựng bằng ảnh người dùng mà không có sự đồng ý phù hợp; biện pháp này hiện được gọi là tước bỏ thuật toán.

Quên chính xác và quên xấp xỉ#

Quên chính xác tạo ra một model được lấy mẫu từ cùng phân phối với model được huấn luyện lại mà không có dữ liệu cần quên. Huấn luyện lại từ đầu là phương án cơ sở; framework SISA của Bourtoule và cộng sự giúp giảm chi phí bằng cách phân mảnh tập huấn luyện, huấn luyện model độc lập trên mỗi phân mảnh, chia mỗi phân mảnh thành các giai đoạn có checkpoint, rồi tổng hợp dự đoán của các model trên từng phân mảnh. Khi có yêu cầu xóa, chỉ cần huấn luyện lại phân mảnh chứa mẫu đó:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

X, y = load_digits(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# SISA: split the training set into isolated shards and train one model per shard
shards = np.array_split(np.arange(len(X_train)), 5)
models = [LogisticRegression(max_iter=5000).fit(X_train[s], y_train[s]) for s in shards]

# Honor a deletion request for training sample 123 by retraining only the shard that held it
k = next(i for i, s in enumerate(shards) if 123 in s)
shards[k] = shards[k][shards[k] != 123]
models[k] = LogisticRegression(max_iter=5000).fit(X_train[shards[k]], y_train[shards[k]])

# Aggregate the shard models by majority vote
votes = np.stack([m.predict(X_test) for m in models])
pred = np.array([np.bincount(v).argmax() for v in votes.T])
print(f"Retrained {len(shards[k])} of {len(X_train)} samples, test accuracy {(pred == y_test).mean():.3f}")

Script in ra Retrained 251 of 1257 samples, test accuracy 0.957: chữ số cần quên chưa từng được đưa vào model của phân mảnh được huấn luyện lại, và chi phí xóa bằng một phần năm chi phí huấn luyện lại toàn bộ. Chi phí được trả trước, vì mỗi model phân mảnh nhìn thấy ít dữ liệu hơn: với tác vụ phân loại ImageNet, bài báo đo được tốc độ huấn luyện lại nhanh hơn 1.36 lần với mức giảm độ chính xác nhỏ, so với 4.63 lần trên bộ dữ liệu Purchase đơn giản hơn.

Quên xấp xỉ chỉnh sửa model hiện có thay vì huấn luyện lại, và chấp nhận kết quả chỉ gần giống model được huấn luyện lại. Các phương pháp phổ biến gồm gradient ascent trên tập cần quên để tăng loss, fine-tuning trên dữ liệu được giữ lại để khắc phục ảnh hưởng ngoài ý muốn, và cập nhật dựa trên độ ảnh hưởng để ước tính mỗi mẫu đã làm thay đổi trọng số ra sao. Với LLM, các nhà nghiên cứu Microsoft đã xóa kiến thức về Harry Potter khỏi Llama 2 7B bằng khoảng một giờ fine-tuning trên GPU, trong khi điểm số trên các benchmark phổ biến hầu như không thay đổi.

Kiểm tra xem model đã quên hay chưa#

Một đánh giá đáng tin cậy so sánh model đã quên dữ liệu với model được huấn luyện lại mà không có dữ liệu đó. Độ chính xác trên tập cần quên nên giảm xuống mức của model được huấn luyện lại, thay vì về 0, bởi model thể hiện rõ ràng rằng nó thất bại đúng trên các mẫu bị xóa sẽ để lộ những mẫu nào đã bị xóa. Độ chính xác trên dữ liệu được giữ lại và dữ liệu kiểm thử cần được duy trì, còn tấn công suy luận tư cách thành viên trên các mẫu đã quên không được có kết quả tốt hơn đoán ngẫu nhiên. Các benchmark như TOFU, xây dựng từ tiểu sử tác giả hư cấu, và WMDP, đo lường kiến thức nguy hại về sinh học, hóa học và an ninh mạng, áp dụng những bài kiểm tra này cho LLM.

Các phương pháp xấp xỉ thường che giấu kiến thức thay vì loại bỏ nó. Một nghiên cứu đối kháng phát hiện rằng fine-tuning chỉ bằng 10 mẫu không liên quan đã khôi phục phần lớn năng lực nguy hại mà RMU, một phương pháp quên LLM hàng đầu, đã ngăn chặn. Chỉ các phương pháp chính xác mới đảm bảo loại bỏ theo thiết kế.

Quên máy học và các thuật ngữ liên quan#

• Quên thảm họa: Mất kiến thức đã học trước đó ngoài ý muốn khi model huấn luyện trên dữ liệu mới. Quên dữ liệu là chủ động loại bỏ kiến thức đã chọn.
• Học liên tục: Bổ sung kiến thức mới theo thời gian mà không làm mất kiến thức cũ. Quên dữ liệu hoạt động theo chiều ngược lại.
• Chỉnh sửa model: Thay đổi các sự kiện hoặc hành vi cụ thể, chẳng hạn cập nhật người đang giữ một chức vụ. Quên dữ liệu nhắm đến ảnh hưởng của các mẫu huấn luyện cụ thể và đánh giá thành công bằng cách so sánh với model được huấn luyện lại.
• Quyền riêng tư vi sai: Cam kết được đưa ra trong quá trình huấn luyện, giới hạn mức độ ảnh hưởng của bất kỳ mẫu đơn lẻ nào lên model, từ đó hạn chế những gì kẻ tấn công có thể suy ra về một bản ghi cần được quên sau này.

Quên dữ liệu trong thực tế#

Mọi yêu cầu xóa đều bắt đầu bằng việc xác định những model nào đã được huấn luyện trên dữ liệu đó:

Với các model thị giác máy tính được fine-tune từ trọng số pretrained chưa từng tiếp xúc với dữ liệu bị xóa, việc huấn luyện lại toàn bộ thường có chi phí hợp lý và nhẹ hơn nhiều so với pretraining LLM. Trong Ultralytics Platform, tab Models của mỗi dataset liệt kê mọi model được huấn luyện trên dataset đó, cùng phiên bản dataset bất biến cho các lần chạy đã lưu phiên bản; nhờ vậy có thể truy vết yêu cầu xóa đến các model YOLO26 đã thấy ảnh, rồi huấn luyện lại chúng trên phiên bản mới không chứa ảnh đó. Quy trình truy vết và huấn luyện lại tương tự áp dụng cho bệnh nhân rút lại sự đồng ý đối với ảnh chụp dùng trong phân tích ảnh y tế, cũng như khuôn mặt và biển số xe được camera an ninh ghi lại mà chủ sở hữu model đồng ý xóa.