Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Domain Randomization

Ngẫu nhiên hóa miền huấn luyện model trên các mô phỏng có texture, ánh sáng, camera và vật lý được ngẫu nhiên hóa để model chuyển giao sang thế giới thực.

Ngẫu nhiên hóa miền là kỹ thuật huấn luyện model trong môi trường mô phỏng để chúng hoạt động được trong thế giới thực. Mô phỏng không bao giờ khớp hoàn toàn với thực tế, vì vậy ngẫu nhiên hóa miền thay đổi các tham số như kết cấu, màu sắc, ánh sáng, tư thế camera, vị trí vật thể, vật thể gây nhiễu và các thuộc tính vật lý như khối lượng, ma sát; các tham số này được biến đổi đủ rộng trong quá trình huấn luyện để thế giới thực trông như một biến thể khác đối với model. Đây là công cụ tiêu chuẩn để thu hẹp khoảng cách mô phỏng-thực tế trong robotics, các model thị giác máy tính được huấn luyện trên dữ liệu tổng hợp và các chính sách điều khiển học bằng học tăng cường.

Josh Tobin và các đồng nghiệp tại OpenAI và UC Berkeley mô tả kỹ thuật này trong bài báo năm 2017, trong đó một mạng phát hiện vật thể được huấn luyện để định vị vật thể chỉ bằng ảnh mô phỏng có kết cấu ngẫu nhiên không giống thực tế. Dù không dùng ảnh thực để huấn luyện, bộ phát hiện vẫn định vị vật thể trong thế giới thực với sai số khoảng 1,5 cm, đủ chính xác để cánh tay robot gắp chúng trong môi trường lộn xộn.

Những yếu tố được ngẫu nhiên hóa#

Mỗi mẫu huấn luyện hoặc episode lấy các giá trị mới từ phạm vi mà kỹ sư thiết lập cho từng tham số:

  • Hình thức: Kết cấu và màu sắc của vật thể và nền, số lượng, vị trí và loại đèn, cùng nhiễu ảnh.
  • Camera: Vị trí, hướng và trường nhìn, để model không bao giờ phụ thuộc vào một góc nhìn duy nhất.
  • Nội dung cảnh: Số lượng, hình dạng và vị trí của các vật thể gây nhiễu, giúp model học cách bỏ qua sự lộn xộn và hiện tượng che khuất một phần.
  • Động lực học: Khối lượng, ma sát, giảm chấn khớp, công suất động cơ và độ trễ điều khiển, giúp chính sách điều khiển đã học chịu được sự khác biệt giữa vật lý mô phỏng và thực tế.

Quá trình huấn luyện lặp lại việc lấy mẫu này cho mỗi batch, còn kết quả trong thế giới thực quyết định liệu có cần thay đổi các phạm vi hay không:

Model nhìn thấy một vật thể dưới hàng nghìn kết cấu và điều kiện ánh sáng ngẫu nhiên không thể dựa vào một kết cấu hay ánh sáng cụ thể, vì vậy model học được các đặc trưng vẫn bền vững khi có thay đổi, chẳng hạn như hình dạng và hình học. Đổi lại, bài toán học trở nên khó hơn: dữ liệu được ngẫu nhiên hóa thường cần thời gian huấn luyện lâu hơn và model lớn hơn; phạm vi đặt quá rộng gây lãng phí năng lực vào những điều kiện không bao giờ xuất hiện, còn phạm vi quá hẹp dẫn đến overfitting với trình mô phỏng. Ngẫu nhiên hóa cũng không thể cung cấp những yếu tố mà trình mô phỏng không mô hình hóa được, chẳng hạn vật liệu biến dạng hoặc lỗi cảm biến mà trình mô phỏng không kết xuất.

Các biến thể và kết quả#

Năm 2018, các nhà nghiên cứu tại NVIDIA áp dụng ngẫu nhiên hóa miền vào bài toán phát hiện ô tô và nhận thấy bộ phát hiện được huấn luyện trên ảnh tổng hợp ngẫu nhiên, sau đó tinh chỉnh trên ảnh thực KITTI, hoạt động tốt hơn bộ phát hiện chỉ được huấn luyện trên dữ liệu thực. Ngẫu nhiên hóa động lực học mở rộng ý tưởng từ hình ảnh sang vật lý, bằng cách huấn luyện chính sách điều khiển robot với khối lượng và ma sát được ngẫu nhiên hóa. Ngẫu nhiên hóa miền tự động bắt đầu với phạm vi hẹp và mở rộng từng phạm vi khi model đạt kết quả tốt; năm 2019, OpenAI sử dụng phương pháp này để huấn luyện bàn tay robot giải khối Rubik. Ngẫu nhiên hóa miền có cấu trúc giới hạn tính ngẫu nhiên trong bối cảnh thực tế, chẳng hạn đặt ô tô trên đường thay vì trên trời.

Ngẫu nhiên hóa miền hiện được sử dụng rộng rãi trong AI hiện thân: phương pháp này huấn luyện các hệ thống gắp-đặt có hướng dẫn bằng thị giác, điều hướng drone và các hệ thống tri giác của xe tự hành.

Huấn luyện Ultralytics YOLO trên bộ dữ liệu tổng hợp được ngẫu nhiên hóa còn bổ sung ngẫu nhiên hóa trong không gian ảnh: theo mặc định, mỗi mẫu huấn luyện nhận hệ số bão hòa ngẫu nhiên từ 0.3 đến 1.7 và hệ số độ sáng ngẫu nhiên từ 0.6 đến 1.4 theo các thiết lập tăng cường dữ liệu hsv_s và hsv_v; các giá trị được lấy mới mỗi khi ảnh được tải.

  • Tăng cường dữ liệu: Biến đổi ảnh sau khi ảnh được chụp hoặc kết xuất bằng cách lật, cắt và thay đổi màu sắc. Ngẫu nhiên hóa miền thay đổi cảnh trước khi kết xuất, do đó có thể biến đổi ánh sáng 3D, vật liệu và góc nhìn mà các phép biến đổi 2D không thể tác động đến.
  • Thích ứng miền không giám sát (UDA): Sử dụng ảnh chưa gán nhãn từ miền đích để căn chỉnh các đặc trưng của model với miền đó. Ngẫu nhiên hóa miền không cần dữ liệu đích trong quá trình huấn luyện.
  • Tạo dữ liệu tổng hợp: Quy trình rộng hơn nhằm tạo dữ liệu huấn luyện nhân tạo; ngẫu nhiên hóa miền là một chiến lược để quyết định hình thức của từng mẫu được tạo ra.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning