Cách thị giác máy tính dẫn đường cho AMR, AGV và xe nâng tự hành

Thị giác máy tính giúp robot di động tự hành, xe dẫn đường tự động và xe nâng tự hành nhận biết người, pallet, kệ, hàng hóa, biển báo, khu vực sàn và các phương tiện khác. Ultralytics YOLO có thể cung cấp thông tin nhận biết về phát hiện, phân đoạn, tư thế và theo dõi trong ngăn xếp nhận thức đó. Ultralytics YOLO không thay thế định vị, lập kế hoạch đường đi, điều khiển phương tiện hoặc hệ thống an toàn đã được xác thực.

Kiến trúc tốt nhất thường là hợp nhất cảm biến. Camera cung cấp khả năng hiểu ngữ nghĩa và thông tin phong phú về hình dạng bên ngoài. Lidar và cảm biến chiều sâu cung cấp hình học và khoảng cách. Encoder và cảm biến quán tính cung cấp thông tin chuyển động. Hệ thống điều hướng kết hợp các đầu vào này tùy theo phương tiện, môi trường và đánh giá rủi ro.

Yêu cầu đối với AMR, AGV và xe nâng tự hành khác nhau#

AGV thường đi theo các tuyến đường cố định hoặc bán cố định và phụ thuộc vào hạ tầng như dấu mốc, gương phản xạ hoặc đường đi đã lập bản đồ. AMR thường lập kế hoạch di chuyển để tránh chướng ngại vật thay đổi trong môi trường đã được lập bản đồ. Xe nâng tự hành còn phải xử lý tải hàng, hình học của trụ nâng và càng nâng, tải ở vị trí cao cũng như tương tác quanh pallet và kệ.

Đừng dùng các nhãn này để thay thế yêu cầu. Hãy xác định:

• Khu vực hoạt động và tuyến đường được phép.
• Tốc độ phương tiện, hành vi dừng và phạm vi tải trọng.
• Người, phương tiện và lớp đối tượng cần được nhận biết.
• Điều kiện chiếu sáng trong nhà và ngoài trời, thời tiết, bụi và mặt sàn.
• Yêu cầu định vị và cách xử lý bản đồ.
• Điểm mù do phương tiện và tải hàng tạo ra.
• Khả năng kết nối mạng và giới hạn điện toán trên xe.
• Các yêu cầu hiện hành về máy móc, phương tiện và an toàn lao động.

Thị giác máy tính đóng góp gì#

Ứng dụng điều hướng cần tiếp nhận các quan sát có dấu thời gian rõ ràng. Ứng dụng cần biết khung hình camera, phiên bản model, độ tin cậy và độ cũ của từng kết quả để có thể loại bỏ dữ liệu lỗi thời hoặc không nhất quán.

Camera, lidar và cảm biến độ sâu bổ trợ cho nhau#

Camera đơn mắt cung cấp màu sắc và kết cấu với độ phức tạp phần cứng tương đối thấp, nhưng không đo trực tiếp độ sâu theo đơn vị đo lường. Camera stereo và camera đo độ sâu chủ động ước tính khoảng cách trong phạm vi hoạt động của chúng. Lidar cung cấp các phép đo hình học trực tiếp và vẫn có thể hữu ích khi diện mạo thay đổi, dù vật liệu, thời tiết và hình dạng hình học vẫn là những yếu tố quan trọng.

Việc lựa chọn cảm biến nên dựa trên phân tích lỗi. Hãy xem xét những mối nguy hoặc đặc điểm điều hướng nào sẽ không được phát hiện nếu một cảm biến bị che khuất, bão hòa, nhiễm bẩn hoặc không khả dụng. Dự phòng chỉ hữu ích khi các chế độ lỗi đủ độc lập và logic kết hợp dữ liệu xử lý được những trường hợp bất đồng.

Vị trí lắp camera phải tính đến việc quay đầu, lùi, vị trí càng nâng và tải trọng thay đổi. Xác thực trường nhìn với tải trọng lớn nhất được phép và mọi trạng thái của cột nâng. Bổ sung việc vệ sinh, kiểm tra và căn chỉnh vào quy trình bảo trì.

Xây dựng dataset cho hệ thống nhận thức từ các tuyến đường, không phải từ những hình ảnh rời rạc#

Thu thập các điều kiện tuyến đường thực tế đầy đủ ở nhiều địa điểm, ca làm việc, loại lối đi, giao lộ, khu vực bốc dỡ, tình trạng lưu thông của người và phương tiện, trạng thái tải trọng và tình trạng bảo trì. Bao gồm các mẫu âm khó như áp phích, hình phản chiếu, ma-nơ-canh, vật liệu xếp chồng và góc nhìn một phần trông giống các lớp mục tiêu.

Chia dữ liệu đánh giá theo tuyến đường, thời gian hoặc địa điểm để tránh các khung hình video gần như trùng lặp xuất hiện trong cả tập huấn luyện lẫn kiểm thử. Báo cáo hiệu năng theo khoảng cách, mức độ che khuất, điều kiện chiếu sáng, chuyển động và loại đối tượng. Một giá trị trung bình duy nhất có thể che khuất những trường hợp quan trọng nhất ở gần giao lộ hoặc khu vực bốc dỡ.

Ultralytics Platform có thể hỗ trợ gán nhãn, huấn luyện và quản lý phiên bản cho các model nhận thức Ultralytics YOLO tùy chỉnh. Các model đã xuất có thể chạy trên những runtime biên hoặc trên xe được hỗ trợ, phù hợp với các giới hạn về năng lực tính toán và độ trễ của phương tiện.

Tích hợp hệ thống nhận thức với ROS 2 hoặc một stack robot khác#

Tích hợp robot thường xuất bản các detection hoặc mask kèm dấu thời gian và thông tin hệ tọa độ. Một lớp biến đổi liên kết tọa độ camera với phương tiện. Lớp điều hướng hoặc hành vi sử dụng các quan sát cùng với bản đồ, cảm biến đo khoảng cách, odometry và trạng thái tác vụ.

Thiết kế để đáp ứng:

• Đồng bộ thời gian giữa các cảm biến.
• Độ trễ có giới hạn và loại bỏ thông điệp lỗi thời.
• Trạng thái tình trạng camera và model.
• Hành vi rõ ràng khi các cảm biến bất đồng.
• Dữ liệu được ghi lại đủ để tái hiện một sự kiện.
• Lược đồ thông điệp và đầu ra model có quản lý phiên bản.
• Tranh chấp tài nguyên giữa hệ thống nhận thức, định vị và lập kế hoạch.

Tránh ghép nối trực tiếp hệ thống điều hướng với đầu ra model không được tài liệu hóa. Giao diện ổn định cho phép hệ thống nhận thức phát triển mà không âm thầm làm thay đổi hành vi của phương tiện.

Ranh giới an toàn#

Thị giác máy tính đa dụng có thể hỗ trợ nhận thức tình huống và các quyết định vận hành, nhưng không nên được mô tả như một thiết bị bảo vệ đã được chứng nhận. Việc dừng phương tiện, các vùng bảo vệ, chức năng khẩn cấp và xác nhận an toàn thuộc phạm vi kiến trúc an toàn áp dụng cùng quy trình kỹ thuật chuyên môn.

Tài liệu hóa cách xử lý khi model, camera, năng lực tính toán hoặc mạng gặp sự cố. Tùy thiết kế hệ thống, trạng thái an toàn có thể yêu cầu giảm tốc độ, dừng có kiểm soát, hạn chế tuyến đường hoặc chuyển sang chế độ vận hành khác. Xác thực các hành vi này trên toàn bộ phương tiện.

Kế hoạch đánh giá#

Kiểm thử riêng và kết hợp hệ thống nhận thức, điều hướng và vận hành.

Kiểm thử hệ thống nhận thức#

• Detection và định vị theo khoảng cách, hướng, điều kiện chiếu sáng và mức độ che khuất.
• Tính liên tục của quá trình theo dõi khi đối tượng băng qua và bị che khuất tạm thời.
• False positive do các vật thể nền và hình phản chiếu.
• Hiệu năng khi camera bẩn, lệch vị trí, mờ hoặc bị che khuất một phần.
• Độ trễ đầu cuối và mức sử dụng tài nguyên trên phần cứng tính toán mục tiêu.

Kiểm thử điều hướng#

• Giao lộ, lối đi hẹp, điểm nhập làn, vượt, lùi và bốc dỡ.
• Chướng ngại vật tĩnh và đang chuyển động ở các tốc độ đại diện.
• Thay đổi bản đồ, rào chắn tạm thời và đóng tuyến đường.
• Cảm biến bất đồng, thông điệp trễ và đầu vào bị thiếu.
• Khôi phục sau khi mất định vị hoặc một thành phần nhận thức không khả dụng.

Kiểm thử vận hành#

• Nhận, vận chuyển và đặt tải với nhiều biến thể pallet.
• Hành vi khi tải được nâng cao hoặc che khuất tầm nhìn.
• Đổi ca, sạc, khởi động, tắt máy và bảo trì.
• Tái dựng sự cố và khôi phục phiên bản model trước đó.

Đo lường mức độ hoàn thành nhiệm vụ, số lần cần can thiệp, chậm trễ tuyến đường, thời gian không khả dụng, lỗi nhận thức và hành vi khôi phục. Không suy ra mức độ an toàn của điều hướng chỉ từ độ chính xác của model.

Lựa chọn triển khai#

Suy luận trên thiết bị giảm sự phụ thuộc vào kết nối mạng và có thể giữ dữ liệu cảm biến tần suất cao trên phương tiện. Phương án này đòi hỏi cập nhật phần mềm có kiểm soát, giám sát tài nguyên, quản lý lưu trữ và hỗ trợ phần cứng trên toàn bộ đội xe.

Các dịch vụ tập trung có thể đơn giản hóa việc quản lý model và tổng hợp dữ liệu để xem xét, nhưng hành vi thời gian thực của phương tiện cần tính đến độ trễ và mất kết nối mạng. Thiết kế hybrid có thể chạy hệ thống nhận thức tức thời trên thiết bị, đồng thời quản lý tập trung các artifact model đã phê duyệt, metadata và một số mẫu được chọn để xem xét.

Triển khai theo từng giai đoạn. Bắt đầu bằng phát lại dữ liệu đã ghi, sau đó đến khu vực kiểm thử, quan sát shadow, vận hành hạn chế và một nhóm nhỏ phương tiện được kiểm soát trước khi triển khai rộng. Duy trì một model và cấu hình đã biết là hoạt động tốt để có thể khôi phục.