Model Collapse

Sụp đổ model là quá trình suy thoái trong đó model tạo sinh được huấn luyện trên dữ liệu do các model trước đó tạo ra dần mất thông tin về phân phối dữ liệu gốc qua từng thế hệ. Các trường hợp hiếm ở phần đuôi của phân phối biến mất trước tiên; sau đủ nhiều vòng, đầu ra hội tụ thành phiên bản hẹp và lặp lại của những mẫu phổ biến nhất. Shumailov và cộng sự đã chứng minh hiện tượng này trong một bài báo trên Nature năm 2024 với mô hình ngôn ngữ lớn (LLM), autoencoder biến phân và mô hình hỗn hợp Gaussian. Rủi ro tăng lên khi văn bản do AI tạo và hình ảnh do AI tạo chiếm ngày càng nhiều dữ liệu web dùng để huấn luyện các model tương lai.

Nguyên nhân gây sụp đổ#

Mỗi thế hệ khớp một model với một mẫu hữu hạn, rồi tạo dữ liệu cho thế hệ tiếp theo bằng cách lấy mẫu từ model đã khớp. Shumailov và cộng sự xác định ba loại sai số tích lũy qua các thế hệ: sai số xấp xỉ thống kê, do mẫu hữu hạn bỏ sót các sự kiện hiếm; sai số về khả năng biểu đạt hàm, do model không thể biểu diễn chính xác phân phối thực; và sai số xấp xỉ hàm, do các quy trình huấn luyện như hạ gradient ngẫu nhiên không hoàn hảo. Khi một sự kiện hiếm biến mất khỏi dữ liệu của một thế hệ, model tiếp theo gán xác suất bằng không cho sự kiện đó và nó không bao giờ xuất hiện trở lại. Các tác giả phân biệt sụp đổ giai đoạn đầu, khi phần đuôi biến mất, với sụp đổ giai đoạn muộn, khi phân phối thu hẹp về một số ít đầu ra phổ biến với rất ít phương sai.

Mô phỏng dưới đây xem bảng tần suất từ như model. Mỗi thế hệ đếm 10.000 từ được lấy mẫu từ model của thế hệ trước, theo cách thay thế dữ liệu cũ hoặc bổ sung vào dữ liệu đó:

import torch

torch.manual_seed(0)
vocab = 1000
human = 1 / torch.arange(1, vocab + 1)  # Zipf-like word frequencies: a few common words, a long tail
human = human / human.sum()
real = torch.multinomial(human, 10_000, replacement=True)  # human-written training text
print(f"Human data: {real.unique().numel()} distinct words")

for mode in ("replace", "accumulate"):
    data = real
    for generation in range(20):
        # "Train" a model by counting word frequencies, then sample the next generation's text from it
        model = torch.bincount(data, minlength=vocab) / len(data)
        samples = torch.multinomial(model, 10_000, replacement=True)
        data = samples if mode == "replace" else torch.cat([data, samples])
    print(f"{mode}: {data.unique().numel()} distinct words after 20 generations")

Mẫu dữ liệu con người chứa 916 trong số 1.000 từ. Sau 20 thế hệ chỉ huấn luyện trên đầu ra của thế hệ trước, còn lại 302 từ; 614 từ kia, phần lớn thuộc đuôi dài, biến mất vĩnh viễn. Khi mẫu của mỗi thế hệ được bổ sung vào dữ liệu con người, cả 916 từ đều tồn tại vì dữ liệu thực luôn có mặt trong mọi tập huấn luyện.

Bằng chứng và giới hạn#

Sự khác biệt giữa thay thế và tích lũy cũng đúng với model thực tế. Gerstgrasser và cộng sự (2024) tiền huấn luyện các chuỗi model ngôn ngữ và phát hiện rằng việc thay dữ liệu thực bằng dữ liệu tổng hợp của mỗi thế hệ dẫn đến sụp đổ, trong khi tích lũy dữ liệu tổng hợp cùng với dữ liệu thực ban đầu giúp tránh hiện tượng này; kết quả tương tự cũng xuất hiện với model khuếch tán và autoencoder biến phân. Đối với model tạo ảnh, Alemohammad và cộng sự phát hiện rằng nếu mỗi thế hệ trong vòng lặp tự tiêu thụ không có đủ dữ liệu thực mới, chất lượng hoặc độ đa dạng sẽ giảm dần; việc thiên lệch mẫu về phía chất lượng, chẳng hạn chỉ chọn đầu ra tốt nhất, giữ được chất lượng nhưng phải đánh đổi độ đa dạng. Dữ liệu tổng hợp được tạo có chủ đích và lọc vẫn được sử dụng rộng rãi, chẳng hạn trong chưng cất tri thức từ model giáo viên mạnh hơn; sụp đổ xuất phát từ việc tái sử dụng đệ quy, không chọn lọc, các đầu ra chưa lọc của chính model.

Sụp đổ model và các khái niệm liên quan#

• Sụp đổ mode: Bộ sinh của một mạng đối sinh tạo sinh (GAN) học cách chỉ tạo ra một vài loại đầu ra trong một lần huấn luyện, chẳng hạn liên tục tạo cùng một khuôn mặt. Sụp đổ model diễn ra qua các model kế tiếp được huấn luyện trên dữ liệu của nhau.
• Quên thảm họa: Model mất một tác vụ đã học trước đó sau khi được huấn luyện trên tác vụ mới. Trong hiện tượng sụp đổ model, tác vụ không đổi mà dữ liệu huấn luyện suy giảm.
• Quá khớp: Model ghi nhớ tập huấn luyện và khái quát hóa kém. Model bị sụp đổ có thể khớp tốt với dữ liệu huấn luyện, nhưng dữ liệu đó không còn đại diện cho phân phối thực.
• Nội dung rác do AI tạo: Nội dung do AI tạo có chất lượng thấp được đăng trực tuyến; đây là một trong những nguồn có thể dẫn đến sụp đổ khi bị thu thập vào tập huấn luyện.

Ngăn ngừa sụp đổ model#

Huấn luyện trên quy mô web khép kín vòng lặp giữa model và dữ liệu dùng để huấn luyện chúng:

Các biện pháp phòng vệ chính bắt nguồn từ bằng chứng: giữ dữ liệu gốc do con người tạo trong mọi tập huấn luyện và bổ sung dữ liệu tổng hợp thay vì thay thế dữ liệu gốc; theo dõi nguồn gốc dữ liệu để nhận diện mẫu do máy tạo bằng các tín hiệu như đóng dấu chìm AI và thông tin xác thực nội dung C2PA; đồng thời lọc hoặc xác minh mẫu tổng hợp trước khi dùng để huấn luyện. Ultralytics Platform áp dụng cách tích lũy cho tập dữ liệu thị giác: thao tác Tạo ảnh tương tự tạo từ 1 đến 16 biến thể do máy tạo từ một ảnh hiện có; các biến thể mà người dùng giữ lại được thêm vào bên cạnh ảnh thật dưới dạng ảnh mới chưa gán nhãn, sẵn sàng để gán nhãn.