Cách thị giác máy tính hướng dẫn AMR, AGV và xe nâng tự hành

Computer vision giúp robot di động tự động, xe tự hành dẫn đường và xe nâng tự động nhận diện con người, pallet, giá kệ, tải trọng, biển báo, khu vực sàn và các phương tiện khác. Ultralytics YOLO có thể cung cấp các quan sát về phát hiện, segmentation, tư thế và tracking trong ngăn xếp nhận thức đó. Nó không thay thế cho định vị, lập kế hoạch tuyến đường, điều khiển phương tiện hoặc hệ thống an toàn được xác thực.

Kiến trúc tốt nhất thường là sensor fusion. Camera cung cấp sự hiểu biết ngữ nghĩa và thông tin hình ảnh phong phú. Lidar và các cảm biến chiều sâu cung cấp hình học và tầm đo khoảng cách. Bộ mã hóa và cảm biến quán tính cung cấp chuyển động. Hệ thống điều hướng kết hợp các đầu vào này theo phương tiện, môi trường và đánh giá rủi ro.

Yêu cầu đối với AMR, AGV và xe nâng tự hành có sự khác biệt#

Một AGV thường tuân theo các tuyến đường cố định hoặc bán cố định và phụ thuộc vào cơ sở hạ tầng như các điểm đánh dấu, gương phản xạ hoặc đường đi đã được lập bản đồ. Một AMR nhìn chung lập kế hoạch tránh các chướng ngại vật thay đổi trong môi trường đã được lập bản đồ. Một xe nâng tự hành bổ sung thêm việc xử lý tải trọng, hình học cột nâng và càng nâng, tải trọng ở trên cao cũng như các tương tác quanh pallet và giá kệ.

Không sử dụng các nhãn để thay thế cho các yêu cầu. Hãy xác định:

• Các khu vực hoạt động và tuyến đường được phép.
• Tốc độ phương tiện, hành vi dừng và dải tải trọng.
• Con người, phương tiện và các lớp đối tượng phải được nhận thức.
• Ánh sáng trong nhà và ngoài trời, thời tiết, bụi và tình trạng sàn.
• Định vị bắt buộc và hành vi bản đồ.
• Các điểm mù do phương tiện và tải trọng tạo ra.
• Tính khả dụng của mạng và giới hạn tính toán trên xe.
• Các yêu cầu hiện hành về máy móc, phương tiện và an toàn nơi làm việc.

Những gì computer vision đóng góp#

Ứng dụng điều hướng nên sử dụng các quan sát rõ ràng có gắn dấu thời gian. Ứng dụng này cần biết khung camera, phiên bản model, độ tin cậy và độ cũ của từng kết quả để có thể loại bỏ dữ liệu cũ hoặc không nhất quán.

Camera, lidar và chiều sâu mang tính bổ trợ cho nhau#

Camera đơn mắt cung cấp màu sắc và kết cấu ở độ phức tạp phần cứng tương đối thấp nhưng không đo trực tiếp khoảng cách mét. Camera stereo và chiều sâu chủ động ước tính phạm vi trong phạm vi hoạt động của chúng. Lidar cung cấp các phép đo hình học trực tiếp và có thể vẫn hữu ích ở những nơi hình thức thay đổi, mặc dù vật liệu, thời tiết và hình học vẫn đóng vai trò quan trọng.

Việc lựa chọn cảm biến nên tuân theo phân tích lỗi. Hãy đặt câu hỏi những mối nguy hiểm hoặc tính năng điều hướng nào sẽ bị bỏ lỡ nếu một cảm biến bị chặn, bão hòa, nhiễm bẩn hoặc không có sẵn. Tính dự phòng chỉ hữu ích khi các chế độ lỗi đủ độc lập và logic kết hợp xử lý được sự bất đồng.

Việc lắp đặt camera phải tính đến việc rẽ, lùi, vị trí càng nâng và tải trọng thay đổi. Xác thực trường nhìn với tải trọng lớn nhất cho phép và mọi trạng thái cột nâng. Thêm các kiểm tra vệ sinh, kiểm tra và căn chỉnh vào quy trình bảo trì.

Xây dựng tập dữ liệu nhận thức từ các tuyến đường, không phải từ các hình ảnh cô lập#

Thu thập các điều kiện tuyến đường hoàn chỉnh trên các địa điểm, ca làm việc, loại lối đi, giao lộ, khu vực bốc dỡ, lưu lượng người và phương tiện, trạng thái tải trọng và điều kiện bảo trì. Bao gồm các mẫu âm tính khó như áp phích, sự phản chiếu, ma-nơ-canh, vật liệu xếp chồng và các góc nhìn một phần giống với các lớp mục tiêu.

Chia dữ liệu đánh giá theo tuyến đường, thời gian hoặc địa điểm để tránh các khung hình video gần như trùng lặp trong quá trình huấn luyện và kiểm tra. Báo cáo hiệu suất theo khoảng cách, sự che khuất, ánh sáng, chuyển động và loại đối tượng. Một giá trị trung bình duy nhất có thể ẩn đi các trường hợp quan trọng nhất gần các giao lộ hoặc khu vực cập bến.

Ultralytics Platform có thể hỗ trợ gắn nhãn, huấn luyện và quản lý phiên bản cho các custom Ultralytics YOLO perception model. Các model đã xuất có thể chạy trên các runtime biên hoặc trên xe được hỗ trợ, được lựa chọn theo các ràng buộc về độ trễ và tính toán của phương tiện.

Tích hợp nhận thức với ROS 2 hoặc một ngăn xếp robot khác#

Việc tích hợp robot thường xuất bản các kết quả phát hiện hoặc mặt nạ kèm theo dấu thời gian và thông tin khung tọa độ. Một lớp chuyển đổi liên kết tọa độ camera với phương tiện. Lớp điều hướng hoặc hành vi sử dụng các quan sát cùng với bản đồ, cảm biến phạm vi, đo đạc quãng đường và trạng thái tác vụ.

Thiết kế cho:

• Đồng bộ hóa thời gian giữa các cảm biến.
• Độ trễ có giới hạn và việc loại bỏ thông báo cũ.
• Trạng thái sức khỏe camera và sức khỏe model.
• Hành vi rõ ràng khi các cảm biến không đồng thuận.
• Dữ liệu được ghi lại đủ để tái tạo một sự kiện.
• Các lược đồ thông báo và đầu ra model có phiên bản.
• Sự tranh giành tài nguyên giữa nhận thức, định vị và lập kế hoạch.

Tránh kết nối trực tiếp điều hướng với đầu ra model không có tài liệu. Giao diện ổn định cho phép nhận thức phát triển mà không âm thầm làm thay đổi hành vi của phương tiện.

Ranh giới an toàn#

Computer vision đa dụng có thể hỗ trợ nhận thức và các quyết định vận hành, nhưng không nên được mô tả là thiết bị bảo vệ được chứng nhận. Việc dừng phương tiện, các trường bảo vệ, các chức năng khẩn cấp và việc xác thực an toàn thuộc về kiến trúc an toàn hiện hành và quy trình kỹ thuật có thẩm quyền.

Tài liệu hóa những gì xảy ra khi model, camera, bộ phận tính toán hoặc mạng gặp lỗi. Trạng thái an toàn có thể yêu cầu giảm tốc độ, dừng có kiểm soát, hạn chế tuyến đường hoặc chuyển sang chế độ vận hành khác, tùy thuộc vào thiết kế hệ thống. Xác thực các hành vi này trên toàn bộ phương tiện.

Kế hoạch đánh giá#

Kiểm tra nhận thức, điều hướng và vận hành riêng lẻ và kết hợp.

Kiểm tra nhận thức#

• Phát hiện và định vị theo khoảng cách, hướng, ánh sáng và sự che khuất.
• Tính liên tục của tracking qua các điểm giao nhau và sự cản trở tạm thời.
• Các kết quả dương tính giả từ các đối tượng nền và sự phản chiếu.
• Hiệu suất với camera bị bẩn, bị lệch, bị mờ hoặc bị chặn một phần.
• Độ trễ đầu cuối và việc sử dụng tài nguyên trên thiết bị tính toán mục tiêu.

Kiểm tra điều hướng#

• Giao lộ, lối đi hẹp, điểm hợp dòng, vượt xe, lùi xe và cập bến.
• Chướng ngại vật tĩnh và động ở tốc độ tiêu biểu.
• Thay đổi bản đồ, rào cản tạm thời và đóng tuyến đường.
• Sự bất đồng giữa các cảm biến, độ trễ thông báo và thiếu đầu vào.
• Khôi phục từ việc mất định vị hoặc một thành phần nhận thức không khả dụng.

Kiểm tra vận hành#

• Lấy hàng, vận chuyển và đặt hàng trên các biến thể pallet.
• Hành vi với tải trọng được nâng lên hoặc cản trở tầm nhìn.
• Đổi ca, sạc pin, khởi động, tắt máy và bảo trì.
• Tái tạo sự cố và khôi phục phiên bản model.

Đo lường mức độ hoàn thành nhiệm vụ, sự can thiệp, độ trễ tuyến đường, thời gian không khả dụng, lỗi nhận thức và hành vi khôi phục. Không suy diễn độ an toàn điều hướng chỉ từ độ chính xác của model.

Các lựa chọn triển khai#

Inference trên xe thiểu hóa sự phụ thuộc vào kết nối mạng và có thể giữ lại dữ liệu cảm biến tốc độ cao trên phương tiện. Nó đòi hỏi cập nhật phần mềm được kiểm soát, giám sát tài nguyên, quản lý lưu trữ và hỗ trợ phần cứng trên toàn đội xe.

Các dịch vụ tập trung có thể đơn giản hóa việc quản lý model và tổng hợp dữ liệu đánh giá, nhưng hành vi phương tiện thời gian thực nên tính đến độ trễ và mất mát mạng. Thiết kế kết hợp có thể chạy nhận thức tức thời trên xe trong khi quản lý tập trung các artifact model được phê duyệt, siêu dữ liệu và các ví dụ đánh giá được chọn.

Sử dụng các bản phát hành theo giai đoạn. Bắt đầu bằng việc phát lại đã ghi, sau đó là khu vực thử nghiệm, quan sát ẩn, hoạt động hạn chế và một tập hợp con đội xe có kiểm soát trước khi triển khai rộng rãi. Duy trì một model và cấu hình đã biết là tốt để khôi phục.