Synthetic Data

Dữ liệu tổng hợp là thông tin được tạo ra từ mô phỏng, một tập hợp quy tắc hoặc model AI tạo sinh, thay vì được đo lường từ các sự kiện thực tế; dữ liệu này được xây dựng để tái tạo các mẫu thống kê của dữ liệu thực mà nó đại diện. Cảnh đường phố được kết xuất, bảng hồ sơ bệnh nhân giả lập có các cột tương quan như dữ liệu thực và bài tập toán do model ngôn ngữ viết đều là dữ liệu tổng hợp. Vì bộ tạo tạo ra mọi mẫu, nó cũng biết đáp án của từng mẫu; do đó, ảnh được kết xuất đi kèm bounding box, mask phân đoạn và giá trị độ sâu chính xác mà không tốn chi phí gán nhãn. Tạo dữ liệu tổng hợp là quy trình tạo ra dữ liệu đó, từ kết xuất bằng game engine đến model khuếch tán.

Các loại dữ liệu tổng hợp#

Nhà thống kê Donald Rubin đề xuất dữ liệu tổng hợp hoàn toàn vào năm 1993 để các cơ quan điều tra dân số có thể công bố hồ sơ chi tiết mà không tiết lộ câu trả lời của bất kỳ người tham gia thực nào; lĩnh vực này hiện vẫn phân biệt ba loại:

• Dữ liệu tổng hợp hoàn toàn: Mọi bản ghi hoặc ảnh đều do bộ tạo sinh ra, chẳng hạn dataset được kết xuất từ cảnh 3D hoặc bảng được lấy mẫu từ model khớp với các bản ghi thực.
• Dữ liệu tổng hợp một phần: Chỉ các trường nhạy cảm được thay thế, chẳng hạn thu nhập tổng hợp trong tệp khảo sát, còn phần còn lại của mỗi bản ghi vẫn là dữ liệu thực.
• Dataset lai: Mẫu thực và mẫu tổng hợp cùng nằm trong một tập huấn luyện, còn tập validation và test vẫn dùng dữ liệu thực để các metric phản ánh độ chính xác trong thế giới thực.

Dữ liệu tổng hợp bao phủ mọi phương thức dữ liệu: ảnh và video từ trình mô phỏng, luồng LiDAR và radar, bản ghi dạng bảng, chuỗi thời gian và văn bản do model ngôn ngữ lớn viết.

Lý do sử dụng dữ liệu tổng hợp#

Dữ liệu tổng hợp lấp đầy những khoảng trống mà việc thu thập dữ liệu thực không thể giải quyết. Va chạm, lỗi hiếm gặp và thời tiết cực đoan quá nguy hiểm hoặc quá hiếm để ghi nhận với số lượng lớn, nên trình mô phỏng tạo chúng theo yêu cầu cho nhận thức trong lĩnh vực ô tô và robotics. Các bản ghi chưa từng thuộc về người thật giúp giảm nguy cơ làm lộ thông tin bệnh nhân hoặc khách hàng, điều quan trọng theo các quy định về quyền riêng tư dữ liệu trong y tế và tài chính. Bộ tạo cũng có thể lấy mẫu quá mức các lớp, tông màu da hoặc góc nhìn ít được đại diện để giảm thiên lệch dataset. Các nhà nghiên cứu Microsoft đã chứng minh phương pháp này có thể thay thế hoàn toàn ảnh thực trong một số tác vụ: bài báo ICCV 2021 Giả lập để thành công đã huấn luyện các model định vị keypoint khuôn mặt và phân tích khuôn mặt chỉ bằng khuôn mặt được kết xuất, đạt độ chính xác tương đương với huấn luyện trên ảnh thực.

Hình học dày đặc là một lý do phổ biến khác để sử dụng dữ liệu tổng hợp. Model ước lượng độ sâu Ultralytics YOLO26 được pretrained trên hỗn hợp khoảng 2,19 triệu ảnh, gồm ba nguồn tổng hợp: cảnh trong nhà ray-tracing của Apple trong Hypersim, môi trường AirSim trong TartanAir và cảnh lái xe KITTI được kết xuất lại với điều kiện thời tiết và ánh sáng đa dạng trong Virtual KITTI 2. Mỗi nguồn cung cấp giá trị độ sâu cho mọi pixel, trong khi các lần quét LiDAR KITTI thực trong cùng hỗn hợp chỉ bao phủ những điểm rải rác.

Đánh giá chất lượng dữ liệu tổng hợp#

Dataset tổng hợp được đánh giá theo ba thuộc tính. Độ trung thực đo mức độ khớp với phân phối dữ liệu thực, từ trung bình và tương quan giữa các cột trong bảng đến điểm số độ chân thực của ảnh như Khoảng cách Inception Fréchet (FID). Tính hữu ích đo xem model huấn luyện bằng dữ liệu tổng hợp có hoạt động trên dữ liệu thực hay không, thường bằng cách huấn luyện trên dữ liệu tổng hợp và kiểm thử trên dữ liệu thực (TSTR). Quyền riêng tư đo mức độ rò rỉ bản ghi thực, thông qua khoảng cách đến bản ghi thực gần nhất, tấn công suy luận thành viên hoặc các bảo đảm quyền riêng tư vi sai chính thức đối với bộ tạo.

Phép kiểm tra TSTR này khớp phân phối Gaussian với từng lớp trong một bảng dữ liệu y tế thực, rồi huấn luyện cùng một bộ phân loại trên các hàng dữ liệu thực và tổng hợp:

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

# Real breast tumor measurements, split into training rows and a held-out real test set
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# Fully synthetic training set: 500 rows per class sampled from a Gaussian fit to that class's real rows
rng = np.random.default_rng(0)
classes = [X_train[y_train == c] for c in (0, 1)]
X_syn = np.vstack([rng.multivariate_normal(rows.mean(0), np.cov(rows.T), 500) for rows in classes])
y_syn = np.repeat([0, 1], 500)

# Train the same classifier on real or on synthetic rows, then test both on the same real rows
for name, (X_fit, y_fit) in {"real": (X_train, y_train), "synthetic": (X_syn, y_syn)}.items():
    model = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000)).fit(X_fit, y_fit)
    print(f"trained on {name} data: {model.score(X_test, y_test):.1%} accuracy on real test data")

Model được huấn luyện trên các hàng dữ liệu thực đạt 97,7%, còn model được huấn luyện trên 1.000 hàng tổng hợp đạt 95,9%. Khoảng cách 1,8 điểm đo lượng tín hiệu mà bộ tạo Gaussian đơn giản không nắm bắt được; không hàng dữ liệu tổng hợp nào là bản sao hồ sơ của bệnh nhân thực.

Rủi ro và giới hạn#

Model có thể học các lối tắt của trình kết xuất, chẳng hạn cạnh hoàn hảo hoặc họa tiết lặp lại, rồi thất bại trên ảnh thực. Khoảng cách mô phỏng-thực tế này được thu hẹp bằng ngẫu nhiên hóa miền, trộn thêm dữ liệu thực hoặc tinh chỉnh trên một tập dữ liệu thực nhỏ. Bộ tạo cũng kế thừa các điểm mù của dữ liệu dùng để huấn luyện, nên hiếm khi tạo ra các trường hợp đuôi dài vốn là lý do cần đến nó, trừ khi các trường hợp đó được chỉ định rõ ràng. Việc liên tục huấn luyện model tạo sinh trên đầu ra của chính nó gây ra sụp đổ model; một bài báo Nature năm 2024 của Shumailov và cộng sự cho thấy hiện tượng này trước tiên xóa bỏ các trường hợp hiếm ở phần đuôi của phân phối ban đầu.

Dữ liệu tổng hợp và các thuật ngữ liên quan#

• Tăng cường dữ liệu: Biến đổi các mẫu thực có sẵn bằng cách lật, cắt và dịch chuyển màu sắc, nên mỗi mẫu mới đều bắt nguồn từ một mẫu gốc cụ thể.
• Bản sao số: Model ảo của một tài sản thực cụ thể, được đồng bộ liên tục với dữ liệu cảm biến của tài sản đó. Kết xuất bản sao số là một cách tạo dữ liệu tổng hợp cho tài sản đó.
• Dữ liệu ẩn danh hóa: Bản ghi thực đã xóa hoặc che tên và mã định danh, nên mỗi hàng vẫn mô tả một người thật.