Synthetic Data Generation
Tạo dữ liệu tổng hợp là quá trình tạo dữ liệu huấn luyện nhân tạo bằng trình mô phỏng, quy tắc thủ tục, model tạo sinh và LLM, thường đi kèm nhãn chính xác.
Tạo dữ liệu tổng hợp là quá trình tạo ảnh, video, số liệu cảm biến, bảng hoặc văn bản nhân tạo bằng trình mô phỏng, quy tắc thủ tục hoặc model tạo sinh, để model machine learning có thể được huấn luyện hoặc kiểm thử trên dữ liệu đó. Đầu ra là dữ liệu tổng hợp; quy trình tạo dữ liệu quyết định chất lượng thông qua bốn lựa chọn: phương pháp tạo mẫu, cách gắn nhãn, mức độ đa dạng của từng cảnh và cách đối chiếu kết quả với dữ liệu thực. Trong thị giác máy tính, lợi thế chính là trình tạo có thể đặt từng đối tượng cũng có thể tạo chú thích dữ liệu cho đối tượng đó một cách chính xác và miễn phí.
Các phương pháp tạo dữ liệu chính#
Trình mô phỏng dựng cảnh 3D từ các tài nguyên, thiết lập ánh sáng, vật liệu và camera, rồi kết xuất hình ảnh cùng với mask chính xác, bản đồ độ sâu và hộp giới hạn, vì mô tả cảnh ghi lại vị trí của mọi thứ. Các trình mô phỏng lái xe mã nguồn mở như CARLA tạo luồng camera, LiDAR và radar cho xe tự hành, còn trình mô phỏng robot thực hiện tương tự cho các tác vụ gắp và điều hướng. Ngẫu nhiên hóa miền thay đổi kết cấu, ánh sáng và tư thế qua các lần kết xuất để model được huấn luyện trên dữ liệu đó có thể chuyển đổi tốt sang camera thực.
Tạo dữ liệu theo quy tắc dùng script và quy tắc thay vì dựng toàn bộ cảnh. Kỹ thuật ghép ảnh cắt-dán, phổ biến từ bài báo “Cut, Paste and Learn” năm 2017 của Đại học Carnegie Mellon, dán các phần cắt đối tượng đã phân đoạn lên nền mới và ghi lại từng hộp được dán làm nhãn. Phiên bản đơn giản nhất vẽ hình dạng ở các vị trí ngẫu nhiên, còn trình tạo ghi nhãn cho từng đối tượng khi vẽ:
import cv2
import numpy as np
rng = np.random.default_rng(0)
boxes = 0
for i in range(100):
# Random background color, then one to four contrasting discs in separate quadrants so none overlap
background = rng.integers(0, 256, 3)
image = np.full((320, 320, 3), background, dtype=np.uint8)
labels = []
for qx, qy in [(0, 0), (160, 0), (0, 160), (160, 160)][: rng.integers(1, 5)]:
r = int(rng.integers(10, 40))
x, y = qx + int(rng.integers(r, 160 - r)), qy + int(rng.integers(r, 160 - r))
color = (background + rng.integers(64, 193, 3)) % 256
cv2.circle(image, (x, y), r, color.tolist(), thickness=-1)
# The generator placed the disc, so its normalized box label is exact and free
labels.append(f"0 {x / 320:.4f} {y / 320:.4f} {2 * r / 320:.4f} {2 * r / 320:.4f}")
cv2.imwrite(f"synthetic_{i:03d}.jpg", image)
with open(f"synthetic_{i:03d}.txt", "w") as f:
f.write("\n".join(labels))
boxes += len(labels)
print(f"wrote 100 images with {boxes} exact box labels")Kết quả in ra là wrote 100 images with 256 exact box labels. Mỗi dòng tuân theo định dạng nhãn YOLO, lưu lớp cùng tâm, chiều rộng và chiều cao của box dưới dạng tỷ lệ so với kích thước ảnh; không dòng nào cần annotator là con người.
Model tạo sinh học hình thức của dữ liệu thực và lấy mẫu các ví dụ mới từ đó. Mạng đối sinh tạo sinh (GAN) và model khuếch tán tạo ảnh chân thực từ nhiễu, prompt văn bản hoặc ảnh tham chiếu; các phương pháp điều kiện hóa như ControlNet cố định bố cục để giữ nguyên vị trí các đối tượng. Nếu không có bước điều kiện hóa đó, ảnh được tạo cần được gắn nhãn sau này. Với dữ liệu dạng bảng, các bộ tổng hợp thống kê khớp phân phối kết hợp với các bản ghi thực bằng copula Gaussian, mạng Bayesian hoặc GAN có điều kiện như CTGAN (NeurIPS 2019), sau đó lấy mẫu các hàng mới.
Mô hình ngôn ngữ lớn tạo dữ liệu văn bản: chỉ dẫn, hội thoại, bài tập lập trình và chuỗi suy luận. Microsoft huấn luyện phi-1, một model lập trình có 1,3 tỷ tham số, trên 6 tỷ token văn bản web đã lọc cùng 1 tỷ token từ giáo trình và bài tập do GPT-3.5 viết; model đạt 50,6% pass@1 trên benchmark HumanEval.
Lựa chọn và xác thực phương pháp#
Phương pháp được lựa chọn dựa trên nội dung dữ liệu cần có, và mọi phương pháp đều kết thúc bằng cùng một bước kiểm tra dựa trên dữ liệu thực:
Quy trình validation huấn luyện model trên dữ liệu được tạo—riêng hoặc trộn với dữ liệu thực—rồi chỉ đánh giá trên dữ liệu kiểm thử thực được giữ lại, như trong benchmark của Ultralytics về dữ liệu tổng hợp NVIDIA Cosmos cho phát hiện lỗi. Nếu accuracy trên ảnh thực giảm khi tỷ lệ dữ liệu tổng hợp tăng, bộ tạo có khoảng trống về độ chân thực hoặc độ bao phủ; các điểm số cấp ảnh như Khoảng cách Inception Fréchet (FID) giúp xác định nguyên nhân. Bộ tạo được huấn luyện trên dữ liệu thực cũng có thể ghi nhớ dữ liệu, vì vậy pipeline nhạy cảm về quyền riêng tư sẽ đối chiếu bản ghi được tạo với dữ liệu gốc; một số pipeline còn bổ sung quyền riêng tư vi sai vào quá trình huấn luyện.
Ultralytics Platform bổ sung tính năng tạo dữ liệu vào quản lý dataset thông qua thao tác Tạo ảnh tương tự. Tính năng này lấy một ảnh từ dataset, viết mô tả cho các cảnh mới lấy cảm hứng từ ảnh đó, rồi mặc định dùng model Ultralytics Image 4B để tạo một ảnh cho mỗi mô tả, mỗi lần từ 1 đến 16 ảnh, đồng thời tuân theo các chỉ dẫn tùy chọn về yếu tố cần thay đổi như ánh sáng, góc nhìn, nền hoặc đối tượng. Các ảnh được giữ lại sẽ được thêm vào dataset dưới dạng chưa gắn nhãn, sẵn sàng để chú thích.
Tạo dữ liệu tổng hợp so với các thuật ngữ liên quan#
- Tăng cường dữ liệu: Biến đổi các mẫu thực hiện có trong quá trình huấn luyện bằng cách lật, cắt hoặc thay đổi màu sắc, nhờ đó mỗi đầu ra vẫn gắn với một mẫu gốc.
- AI tạo sinh: Lĩnh vực rộng hơn gồm các model tạo nội dung. Model tạo sinh là một nguồn dữ liệu tổng hợp, bên cạnh trình mô phỏng và quy tắc thủ tục.
- Dữ liệu tổng hợp: Dataset được tạo ra, đánh giá dựa trên mức độ trung thực so với dữ liệu thực, tính hữu ích cho việc huấn luyện và khả năng bảo vệ quyền riêng tư.










