Các công cụ dữ liệu tổng hợp tốt nhất để huấn luyện thị giác máy tính

Công cụ dữ liệu tổng hợp phù hợp nhất cho thị giác máy tính phụ thuộc vào những gì còn thiếu trong dataset thực tế của bạn. Các công cụ mô phỏng 3D như NVIDIA Isaac Sim với Omniverse Replicator và BlenderProc kết xuất các cảnh mới kèm nhãn. Các công cụ tạo sinh như NVIDIA Cosmos và tính năng Generate Similar Images trong Ultralytics Platform bổ sung biến thể cho những hình ảnh bạn đã có. Các thư viện tăng cường dữ liệu như Albumentations biến đổi ảnh thực tế trong quá trình huấn luyện.

Dù chọn công cụ nào, hãy đánh giá công cụ đó trên những hình ảnh thực tế mà model chưa từng thấy. Trong thử nghiệm của Ultralytics và NVIDIA trên các dataset lỗi công nghiệp, việc bổ sung lỗi được tạo sinh đã nâng mAP₇₅ của Ultralytics YOLO26x từ 0.11 lên 0.32 trên các lớp DAGM, nhưng chỉ tăng 0.008 trên Real-IAD (chi tiết thử nghiệm). Mức lợi ích của dữ liệu tổng hợp thay đổi tùy theo dataset và cách tạo dữ liệu.

Hướng dẫn này so sánh các công cụ chính theo phương pháp, giải thích mỗi công cụ xử lý khoảng trống nào, đồng thời trình bày cách kiểm thử dữ liệu tổng hợp với Ultralytics YOLO26 trước khi quyết định sử dụng. Nếu bạn mới tìm hiểu chủ đề này, hãy bắt đầu với dữ liệu tổng hợp là gì và được sử dụng như thế nào.

Ba cách tạo dữ liệu huấn luyện tổng hợp#

Hướng dẫn này phân loại các công cụ tạo dữ liệu tổng hợp thành ba phương pháp thực tiễn. Chúng giải quyết các vấn đề khác nhau, vì vậy trước tiên hãy so sánh các công cụ trong cùng một phương pháp.

Mỗi phương pháp xử lý nhãn theo cách khác nhau và cả ba đều cần được đánh giá trên những hình ảnh thực tế mà model chưa từng thấy.

Dữ liệu tổng hợp và tăng cường dữ liệu có điểm chung: cả hai đều bổ sung các mẫu huấn luyện mà bạn không thu thập. Khác biệt thực tiễn nằm ở nguồn gốc của hình ảnh mới. Tăng cường dữ liệu biến đổi những gì bạn đã có, còn mô phỏng và model tạo sinh có thể cho model thấy những thứ hoàn toàn không có trong dataset.

So sánh các công cụ dữ liệu tổng hợp#

Các công cụ được liệt kê theo thứ tự bảng chữ cái; thông tin trong từng hàng đã được đối chiếu với trang web hoặc repository của chính công cụ đó vào tháng 11 năm 2026.

Ultralytics Platform không phải là công cụ mô phỏng 3D. Generate Similar Images mô tả các cảnh mới lấy cảm hứng từ hình ảnh của bạn và tạo một hình ảnh cho mỗi cảnh, bằng Ultralytics Image 4B (mặc định) hoặc Ultralytics Image 6B. Hình ảnh mới có chung chủ thể và phong cách với ảnh nguồn, nhưng không có nhãn, vì vậy bạn cần gán nhãn trước khi huấn luyện. Nếu cần nhãn chính xác đến từng pixel cho các đối tượng có thể mô hình hóa trong 3D, công cụ mô phỏng sẽ phù hợp hơn.

Ảnh ghép minh họa tính năng Generate Similar Images trong Ultralytics Platform, hiển thị bốn kết quả thực tế được tạo bằng model Ultralytics Image 4B miễn phí. Ảnh nguồn: 001 Dây chuyền lắp ráp tại nhà máy ô tô - Nhà máy Opel ở Gliwice, Ba Lan, Marek Ślusarczyk (Tupungato), CC BY 3.0. Hiển thị các phiên bản chuyển thể do AI tạo.

Cách chọn công cụ dữ liệu tổng hợp#

Hãy bắt đầu từ khoảng trống trong dữ liệu của bạn, không phải từ công cụ. Sau đây là những khoảng trống thường gặp nhất và các công cụ phù hợp.

Lỗi và bất thường hiếm gặp#

Có thể khó thu thập các ví dụ thực tế về những loại lỗi hiếm gặp. Có hai cách tiếp cận đáng để thử:

• Tạo lỗi trên ảnh thực tế. Trong thử nghiệm của Ultralytics và NVIDIA, NVIDIA Cosmos Data Factory tạo ảnh lỗi, tự động gán nhãn rồi bổ sung chúng vào ảnh huấn luyện thực tế. Báo cáo đã công bố cho biết recall được cải thiện trên mọi dataset trong thử nghiệm dữ liệu tổng hợp. Hiện bước tạo dữ liệu bằng Cosmos mới chỉ là mẫu và bản demo, chưa phải tích hợp đã phát hành.
• Tăng cường bằng copy-paste. Khi huấn luyện segmentation hoặc OBB bằng nhãn đa giác, bật copy_paste để sao chép đối tượng trong cùng một hình ảnh hoặc giữa các hình ảnh, qua đó tăng tần suất xuất hiện của lớp hiếm. Tính năng này mặc định tắt.

Xem thị giác máy tính trong sản xuất để biết vị trí phù hợp của tính năng phát hiện lỗi trong dây chuyền sản xuất.

Robot, nhà kho và thao tác gắp-đặt#

Nếu bạn có thể mô hình hóa các đối tượng và không gian trong 3D, mô phỏng sẽ tạo nhãn cho từng ảnh và cho phép bạn thay đổi tư thế, ánh sáng và mức độ lộn xộn qua các lần kết xuất, kỹ thuật này được gọi là tăng cường miền. Hãy cân nhắc NVIDIA Isaac Sim cùng Omniverse Replicator để mô phỏng robot trên phần cứng NVIDIA, và BlenderProc để kết xuất theo kịch bản từ các model 3D hiện có. Tìm hiểu thêm về thị giác máy tính trong robot.

Lái xe, drone và các hệ thống đa cảm biến#

Để mô phỏng camera, lidar và radar hoặc kiểm thử vòng kín, hãy cân nhắc các nền tảng được xây dựng cho khả năng tự hành đa cảm biến. Parallel Domain tạo dựng lại môi trường từ nhật ký lái xe và bay thực tế. Anyverse mô phỏng đầu ra đặc thù theo cảm biến cho lĩnh vực lái xe, khoang cabin và quốc phòng. Duality AI Falcon tập trung vào khả năng tự hành trên không và địa hình khó.

Vệ tinh, SAR và các cảm biến phi quang học khác#

Rendered.ai liệt kê các khả năng mô phỏng SAR, hồng ngoại, nhiệt, đa phổ, siêu phổ và tia X. Anyverse liệt kê đầu ra cận hồng ngoại và nhiệt.

Tập dữ liệu nhỏ cần đa dạng hơn#

Hãy bắt đầu với các phép tăng cường phản ánh những điều kiện mà model thực sự sẽ gặp, vì chúng giữ nguyên nhãn của bạn. Với quá trình huấn luyện phát hiện, Ultralytics YOLO bật mosaic, thay đổi màu sắc, co giãn, dịch chuyển và lật ngang theo mặc định, đồng thời bạn có thể thêm các phép biến đổi Albumentations của riêng mình. Nếu tăng cường không bao phủ được những điều kiện bạn không thể chụp ảnh, chẳng hạn ánh sáng, phông nền hoặc góc nhìn khác, hãy thử tạo biến thể bằng mô hình sinh hoặc mô phỏng, tùy thuộc vào cảnh và cách bạn sẽ gán nhãn.

Cách kiểm tra liệu dữ liệu tổng hợp có hữu ích#

Dữ liệu tổng hợp chỉ đáng sử dụng nếu model hoạt động tốt hơn trên ảnh thực. Chạy cùng một thử nghiệm hai lần và chỉ thay đổi ảnh huấn luyện:

1. Giữ riêng ảnh thực để kiểm thử. Giữ một tập kiểm thử gồm ảnh thực từ môi trường nơi model sẽ chạy và tuyệt đối không thêm ảnh tổng hợp vào tập này.
2. Huấn luyện baseline chỉ trên ảnh thực.
3. Huấn luyện lại trên ảnh thực cộng ảnh tổng hợp, với cùng model, số epoch, optimizer và seed.
4. Chọn cấu hình dựa trên ảnh thực dùng để validation. Nếu thử nhiều tỷ lệ dữ liệu tổng hợp, hãy so sánh chúng trên ảnh thực dùng để validation. Sau đó, chỉ đánh giá baseline và cấu hình bạn chọn trên tập kiểm thử ảnh thực chưa đụng đến. Xem mAP_50-95 và recall, cùng mAP₇₅ nếu độ chính xác của bounding box là quan trọng.

Với Ultralytics YOLO, phần cấu hình tập huấn luyện có thể liệt kê nhiều thư mục, nhờ đó ảnh thực và ảnh tổng hợp vẫn được lưu riêng trên đĩa. Tạo real.yaml theo cách tương tự, chỉ đặt train thành images/train_real. Giữ các ảnh gần như trùng lặp và ảnh từ cùng một cảnh trong cùng một tập, đồng thời chỉ tạo ảnh tổng hợp từ ảnh huấn luyện:

# real_plus_synthetic.yaml
path: datasets/defects
train: [images/train_real, images/train_synthetic] # real + synthetic training images
val: images/val_real # real images only
test: images/test_real # real images only, never seen in training
names:
  0: scratch
  1: dent

from ultralytics import YOLO

runs = {}
for name, data in [("real only", "real.yaml"), ("real + synthetic", "real_plus_synthetic.yaml")]:
    model = YOLO("yolo26n.pt")
    model.train(  # same recipe for both runs
        data=data, epochs=100, imgsz=640, batch=16,
        optimizer="AdamW", lr0=0.001, seed=0,
    )
    runs[name] = model.trainer.best  # path to the best weights

for name, weights in runs.items():
    metrics = YOLO(weights).val(data="real_plus_synthetic.yaml", split="test")  # same real test set
    print(f"{name}: mAP50-95 {metrics.box.map:.3f}, mAP75 {metrics.box.map75:.3f}")

Cách này so sánh cùng một cấu hình huấn luyện, có và không có ảnh tổng hợp, trên cùng một tập ảnh thực dùng để kiểm thử. Với số epoch bằng nhau, tập dữ liệu lớn hơn có nhiều bước huấn luyện hơn, vì vậy hãy lặp lại với một vài seed trước khi tin vào một khác biệt nhỏ. Xem tài liệu Train và Val để biết mọi cài đặt, và thông tin chuyên sâu về đánh giá model để đọc kết quả.

mAP₇₅ khi chỉ dùng ảnh thực so với khi dùng khuyết tật được tạo, trên các tập dữ liệu mà phương pháp tổng hợp đã được thử nghiệm và cho kết quả tốt, theo thử nghiệm của Ultralytics và NVIDIA.

Những gì Ultralytics đã đo lường#

• Khuyết tật được tạo (thử nghiệm của Ultralytics và NVIDIA). Trên các tập dữ liệu kiểm tra công nghiệp có nhãn đa giác, Ultralytics YOLO26x được huấn luyện trên ảnh thực cộng khuyết tật do NVIDIA Cosmos Data Factory tạo ra đã được so sánh với cùng model được huấn luyện chỉ trên ảnh thực. mAP₇₅ tăng từ 0.11 đến 0.32 trên các lớp DAGM; chẳng hạn, trên lớp 9 của DAGM, chỉ số tăng từ 0.650 lên 0.966. Trên Real-IAD, mức tăng là 0.008. Cả hai model đều dùng cùng cấu hình và cùng tập kiểm thử được giữ riêng (kết quả đầy đủ).
• Dữ liệu độ sâu tổng hợp. Các model độ sâu YOLO26 được tiền huấn luyện trên một tập kết hợp khoảng 2.19 triệu ảnh, bao gồm các tập dữ liệu tổng hợp như Hypersim, cung cấp ground truth độ sâu dày đặc từ các cảnh kết xuất, trong đó các pixel không hợp lệ như cửa sổ và bầu trời được che đi. Dữ liệu tổng hợp bổ trợ cho dữ liệu cảm biến thực tế nhiễu hơn thay vì thay thế dữ liệu đó.
• Ảnh được tạo trong một tập dữ liệu mở. Ultralytics Construction-PPE kết hợp ảnh do con người thu thập với ảnh được tạo: 1,000 ảnh và 12 lớp, phát hành theo CC BY 4.0. Tập dữ liệu không có tập kiểm thử riêng, và tài liệu khuyến nghị đánh giá trên các ảnh độc lập từ môi trường triển khai của riêng bạn.

Nên thêm bao nhiêu dữ liệu tổng hợp#

Không có tỷ lệ chung cho mọi trường hợp, vì vậy hãy xem đây là một cài đặt cần kiểm thử. Trong thử nghiệm của Ultralytics và NVIDIA, số ảnh tổng hợp được giới hạn ở mức 25% hoặc 100% số ảnh huấn luyện thực, tương ứng một ảnh tổng hợp cho mỗi bốn ảnh thực hoặc tỷ lệ một-một. Trong số 11,448 ảnh được tạo, chỉ giữ lại 1,481 ảnh. Hãy bắt đầu với tỷ lệ thấp, chọn tỷ lệ dựa trên ảnh thực dùng để validation và giữ nguyên tập kiểm thử ảnh thực chưa đụng đến để so sánh cuối cùng.

Ultralytics phù hợp ở đâu#

Ultralytics không bán công cụ mô phỏng 3D. Nền tảng này hỗ trợ các bước liên quan đến dữ liệu tổng hợp:

• Huấn luyện và so sánh. Ultralytics YOLO huấn luyện trên mọi tổ hợp ảnh thực và ảnh tổng hợp ở định dạng YOLO, trên phần cứng của bạn hoặc trên GPU đám mây với Ultralytics Platform.
• Tạo biến thể từ ảnh thực. Tính năng Generate Similar Images trong Ultralytics Platform tạo tối đa 16 biến thể của một ảnh trong mỗi batch, với các chỉ dẫn tùy chọn như "thay đổi ánh sáng" hoặc "thêm mưa".
• Gán nhãn cho dữ liệu bạn tạo. Gán nhãn thông minh trong Ultralytics Platform sử dụng SAM 3.1, YOLO và YOLOE để gán nhãn ảnh mới, kể cả theo batch trên toàn bộ tập dữ liệu.
• Tăng cường theo mặc định. Quá trình huấn luyện Ultralytics YOLO bao gồm các phép tăng cường tích hợp và hỗ trợ các phép biến đổi Albumentations tùy chỉnh.