Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Synthetic Data Generation

Tạo dữ liệu tổng hợp là quá trình tạo dữ liệu huấn luyện nhân tạo bằng trình mô phỏng, quy tắc thủ tục, model tạo sinh và LLM, thường đi kèm nhãn chính xác.

Tạo dữ liệu tổng hợp là quá trình tạo ảnh, video, số liệu cảm biến, bảng hoặc văn bản nhân tạo bằng trình mô phỏng, quy tắc thủ tục hoặc model tạo sinh, để model machine learning có thể được huấn luyện hoặc kiểm thử trên dữ liệu đó. Đầu ra là dữ liệu tổng hợp; quy trình tạo dữ liệu quyết định chất lượng thông qua bốn lựa chọn: phương pháp tạo mẫu, cách gắn nhãn, mức độ đa dạng của từng cảnh và cách đối chiếu kết quả với dữ liệu thực. Trong thị giác máy tính, lợi thế chính là trình tạo có thể đặt từng đối tượng cũng có thể tạo chú thích dữ liệu cho đối tượng đó một cách chính xác và miễn phí.

Các phương pháp tạo dữ liệu chính#

Trình mô phỏng dựng cảnh 3D từ các tài nguyên, thiết lập ánh sáng, vật liệu và camera, rồi kết xuất hình ảnh cùng với mask chính xác, bản đồ độ sâu và hộp giới hạn, vì mô tả cảnh ghi lại vị trí của mọi thứ. Các trình mô phỏng lái xe mã nguồn mở như CARLA tạo luồng camera, LiDAR và radar cho xe tự hành, còn trình mô phỏng robot thực hiện tương tự cho các tác vụ gắp và điều hướng. Ngẫu nhiên hóa miền thay đổi kết cấu, ánh sáng và tư thế qua các lần kết xuất để model được huấn luyện trên dữ liệu đó có thể chuyển đổi tốt sang camera thực.

Tạo dữ liệu theo quy tắc dùng script và quy tắc thay vì dựng toàn bộ cảnh. Kỹ thuật ghép ảnh cắt-dán, phổ biến từ bài báo “Cut, Paste and Learn” năm 2017 của Đại học Carnegie Mellon, dán các phần cắt đối tượng đã phân đoạn lên nền mới và ghi lại từng hộp được dán làm nhãn. Phiên bản đơn giản nhất vẽ hình dạng ở các vị trí ngẫu nhiên, còn trình tạo ghi nhãn cho từng đối tượng khi vẽ:

import cv2
import numpy as np

rng = np.random.default_rng(0)
boxes = 0
for i in range(100):
    # Random background color, then one to four contrasting discs in separate quadrants so none overlap
    background = rng.integers(0, 256, 3)
    image = np.full((320, 320, 3), background, dtype=np.uint8)
    labels = []
    for qx, qy in [(0, 0), (160, 0), (0, 160), (160, 160)][: rng.integers(1, 5)]:
        r = int(rng.integers(10, 40))
        x, y = qx + int(rng.integers(r, 160 - r)), qy + int(rng.integers(r, 160 - r))
        color = (background + rng.integers(64, 193, 3)) % 256
        cv2.circle(image, (x, y), r, color.tolist(), thickness=-1)
        # The generator placed the disc, so its normalized box label is exact and free
        labels.append(f"0 {x / 320:.4f} {y / 320:.4f} {2 * r / 320:.4f} {2 * r / 320:.4f}")
    cv2.imwrite(f"synthetic_{i:03d}.jpg", image)
    with open(f"synthetic_{i:03d}.txt", "w") as f:
        f.write("\n".join(labels))
    boxes += len(labels)
print(f"wrote 100 images with {boxes} exact box labels")

Kết quả in ra là wrote 100 images with 256 exact box labels. Mỗi dòng tuân theo định dạng nhãn YOLO, lưu lớp cùng tâm, chiều rộng và chiều cao của box dưới dạng tỷ lệ so với kích thước ảnh; không dòng nào cần annotator là con người.

Model tạo sinh học hình thức của dữ liệu thực và lấy mẫu các ví dụ mới từ đó. Mạng đối sinh tạo sinh (GAN) và model khuếch tán tạo ảnh chân thực từ nhiễu, prompt văn bản hoặc ảnh tham chiếu; các phương pháp điều kiện hóa như ControlNet cố định bố cục để giữ nguyên vị trí các đối tượng. Nếu không có bước điều kiện hóa đó, ảnh được tạo cần được gắn nhãn sau này. Với dữ liệu dạng bảng, các bộ tổng hợp thống kê khớp phân phối kết hợp với các bản ghi thực bằng copula Gaussian, mạng Bayesian hoặc GAN có điều kiện như CTGAN (NeurIPS 2019), sau đó lấy mẫu các hàng mới.

Mô hình ngôn ngữ lớn tạo dữ liệu văn bản: chỉ dẫn, hội thoại, bài tập lập trình và chuỗi suy luận. Microsoft huấn luyện phi-1, một model lập trình có 1,3 tỷ tham số, trên 6 tỷ token văn bản web đã lọc cùng 1 tỷ token từ giáo trình và bài tập do GPT-3.5 viết; model đạt 50,6% pass@1 trên benchmark HumanEval.

Lựa chọn và xác thực phương pháp#

Phương pháp được lựa chọn dựa trên nội dung dữ liệu cần có, và mọi phương pháp đều kết thúc bằng cùng một bước kiểm tra dựa trên dữ liệu thực:

Quy trình validation huấn luyện model trên dữ liệu được tạo—riêng hoặc trộn với dữ liệu thực—rồi chỉ đánh giá trên dữ liệu kiểm thử thực được giữ lại, như trong benchmark của Ultralytics về dữ liệu tổng hợp NVIDIA Cosmos cho phát hiện lỗi. Nếu accuracy trên ảnh thực giảm khi tỷ lệ dữ liệu tổng hợp tăng, bộ tạo có khoảng trống về độ chân thực hoặc độ bao phủ; các điểm số cấp ảnh như Khoảng cách Inception Fréchet (FID) giúp xác định nguyên nhân. Bộ tạo được huấn luyện trên dữ liệu thực cũng có thể ghi nhớ dữ liệu, vì vậy pipeline nhạy cảm về quyền riêng tư sẽ đối chiếu bản ghi được tạo với dữ liệu gốc; một số pipeline còn bổ sung quyền riêng tư vi sai vào quá trình huấn luyện.

Ultralytics Platform bổ sung tính năng tạo dữ liệu vào quản lý dataset thông qua thao tác Tạo ảnh tương tự. Tính năng này lấy một ảnh từ dataset, viết mô tả cho các cảnh mới lấy cảm hứng từ ảnh đó, rồi mặc định dùng model Ultralytics Image 4B để tạo một ảnh cho mỗi mô tả, mỗi lần từ 1 đến 16 ảnh, đồng thời tuân theo các chỉ dẫn tùy chọn về yếu tố cần thay đổi như ánh sáng, góc nhìn, nền hoặc đối tượng. Các ảnh được giữ lại sẽ được thêm vào dataset dưới dạng chưa gắn nhãn, sẵn sàng để chú thích.

  • Tăng cường dữ liệu: Biến đổi các mẫu thực hiện có trong quá trình huấn luyện bằng cách lật, cắt hoặc thay đổi màu sắc, nhờ đó mỗi đầu ra vẫn gắn với một mẫu gốc.
  • AI tạo sinh: Lĩnh vực rộng hơn gồm các model tạo nội dung. Model tạo sinh là một nguồn dữ liệu tổng hợp, bên cạnh trình mô phỏng và quy tắc thủ tục.
  • Dữ liệu tổng hợp: Dataset được tạo ra, đánh giá dựa trên mức độ trung thực so với dữ liệu thực, tính hữu ích cho việc huấn luyện và khả năng bảo vệ quyền riêng tư.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning