Robot dẫn dắt bằng thị giác cho lắp ráp và gắp-và-đặt

Phần mềm thị giác tốt nhất cho robot chọn-và-đặt trước tiên phụ thuộc vào bối cảnh của khung cảnh. Sử dụng stack thị giác máy tính 2D có thể cấu hình như Ultralytics YOLO khi các đối tượng có thể phân biệt trực quan và độ sâu có thể được giới hạn hoặc cung cấp riêng. Hãy cân nhắc các sản phẩm thị giác robot 3D tích hợp từ các nhà cung cấp như Pickit, Mech-Mind, Photoneo, Zivid hoặc Apera AI khi hình học thùng chứa ngẫu nhiên, xử lý đám mây điểm, hiệu chuẩn và tạo điểm gắp cần được đồng bộ trong một hệ thống được hỗ trợ. Các bộ phần mềm thị giác công nghiệp truyền thống từ Cognex hoặc Keyence có thể là lựa chọn phù hợp cho các cell được kiểm soát chặt chẽ và môi trường tự động hóa đã thiết lập sẵn.

Không có model nào là một hệ thống gắp hoàn chỉnh. Một cell sản xuất kết hợp việc cảm biến, nhận thức, biến đổi tọa độ, lựa chọn điểm gắp, lập kế hoạch chuyển động, điều khiển robot và khôi phục lỗi.

So sánh các tùy chọn thị giác chọn-và-đặt#

Các nhà cung cấp đóng gói các tầng khác nhau. Hãy so sánh toàn bộ danhêm vật liệu và trách nhiệm vận hành, không chỉ giao diện nhận thức.

Bắt đầu với hình học gắp#

Phân loại tác vụ trước khi chọn phần mềm:

• Gắp 2D cố định: Các bộ phận nằm trên các mặt phẳng đã biết và robot cần vị trí hình ảnh cộng với hướng.
• Gắp trên băng tải: Các đối tượng chuyển động, do đó việc phát hiện, theo dõi, thời gian và đồng bộ hóa encoder là quan trọng.
• Khay có cấu trúc: Các ô chứa đã biết giới hạn vị trí nhưng các biến thể hoặc hướng vẫn cần được xác minh.
• Gắp thùng ngẫu nhiên: Các bộ phận chồng lên nhau ở các độ sâu khác nhau và đòi hỏi nhận thức 3D cộng với lập kế hoạch gắp tránh va chạm.
• Đối tượng linh hoạt hoặc dễ biến dạng: Hình dạng thay đổi giữa các lần gắp, làm cho việc phân đoạn và lựa chọn điểm gắp trở nên khó khăn hơn.
• Chèn lắp ráp: Dung sai và căn chỉnh cuối cùng có thể yêu cầu cảm biến bổ sung vượt ra ngoài việc định vị đối tượng thô.

Hệ thống 2D có thể là tùy chọn đơn giản và đáng tin cậy nhất cho hình học bị giới hạn. Các thùng ngẫu nhiên thường cần độ sâu hoặc tái tạo đa góc nhìn vì vị trí hình ảnh đơn thuần không cung cấp mục tiêu an toàn cho robot.

Sáu tầng của một robot được hướng dẫn bằng thị giác#

1. Cảm biến#

Chọn các cảm biến quét khu vực, quét đường, stereo, ánh sáng cấu trúc, thời gian bay (ToF) hoặc các cảm biến khác từ bằng chứng yêu cầu. Ghi lại trường nhìn, tính năng nhỏ nhất, khoảng cách làm việc, phạm vi độ sâu, thuộc tính bề mặt, chuyển động và các ràng buộc môi trường.

Các bộ phận phản chiếu, tối, trong suốt và không có kết cấu có thể gây thách thức cho việc cảm nhận độ sâu. Kiểm tra các bộ phận thực tế, thùng chứa, lớp lót và ánh sáng. Các buổi biểu diễn của nhà cung cấp với các đối tượng thuận lợi không thể thay thế cho việc thử nghiệm tại cell.

2. Nhận thức#

Phát hiện xác định vị trí và phân loại đối tượng; phân đoạn cung cấp đường viền đối tượng; oriented bounding boxes ước lượng kích thước đã xoay; các model pose có thể nhận diện keypoint; theo dõi liên kết các đối tượng theo thời gian. Ultralytics YOLO hỗ trợ một số tác vụ thị giác máy tính này trong một hệ sinh thái model.

Đầu ra nhận thức phải đủ ổn định cho bộ lập kế hoạch điểm gắp ở hạ nguồn. Đánh giá lỗi định vị, đối tượng bị thiếu và trùng lặp, chất lượng mask, lỗi định hướng và hành vi khi có sự chồng lấp: không chỉ là điểm số trên toàn dataset.

3. Hiệu chuẩn và tọa độ#

Hệ thống chuyển đổi các quan sát từ tọa độ camera sang tọa độ robot hoặc cell. Hiệu chuẩn tay-mắt, lắp đặt camera, hiệu ứng thấu kính, căn chỉnh độ sâu và hiệu chuẩn điểm tâm công cụ (tool-center-point) đều ảnh hưởng đến sai số gắp.

Xem hiệu chuẩn như một tài sản sản xuất cần được bảo trì. Ghi lại quy trình và các phần dư được chấp nhận, bảo vệ giá đỡ camera và xác định khi nào dụng cụ hoặc bảo trì kích hoạt việc hiệu chuẩn lại.

4. Lập kế hoạch gắp#

Lựa chọn điểm gắp xem xét các bề mặt có thể với tới, hình học kẹp, độ ổn định đối tượng, rủi ro va chạm, các bộ phận lân cận và pose đích. Model 2D có thể cung cấp vị trí và hướng đối tượng cho logic gắp dựa trên quy tắc. Giải pháp 3D có thể tạo ra các ứng viên điểm gắp được xếp hạng từ đám mây điểm.

Độ tin cậy phát hiện cao nhất không nhất thiết là điểm gắp an toàn nhất. Giữ độ tin cậy nhận thức, chất lượng gắp và tính khả thi của đường đi như các tín hiệu riêng biệt.

5. Chuyển động và tích hợp robot#

Bộ điềuap (adapter) hoặc API của robot chuyển các mục tiêu đến bộ điều khiển. Nhà tích hợp phải quản lý thời gian, khung tọa độ, tốc độ, vùng, mô hình va chạm, chuyển động băng tải và tín hiệu xác nhận. Các chức năng an toàn thuộc về kiến trúc an toàn của robot và cell đã được xác thực, chứ không nằm trong đầu ra của model chưa được kiểm chứng.

6. Khôi phục lỗi#

Thiết kế các trạng thái lỗi dự kiến: không có đối tượng hợp lệ, lớp không chắc chắn, không có điểm gắp an toàn, rơi bộ phận, nhặt thất bại, thùng bị dịch chuyển, khung hình cũ, camera không khả dụng hoặc lặp lại thao tác. Một cell thành công với các thao tác gắp dễ nhưng yêu cầu reset thủ công sau mỗi ngoại lệ sẽ không thể mở rộng quy mô.

Ultralytics phù hợp ở đâu#

Ultralytics Platform có thể tổ chức và chú thích dữ liệu hình ảnh, huấn luyện các model Ultralytics YOLO và quản lý phiên bản model. Sau đó, các model có thể được triển khai thông qua các endpoint của Platform hoặc xuất ra để tích hợp vào runtime robotics gần cell.

Phương pháp này rất hữu ích khi sự khác biệt nằm ở các lớp đối tượng tùy chỉnh, SKU thay đổi, điều kiện thị giác bất thường hoặc nhận thức đặc thù theo ứng dụng. Nó cũng cho phép các nhóm chọn camera xung quanh, nguồn độ sâu, bộ lập kế hoạch gắp và framework robot.

Nó không phải là sự thay thế cho mọi thành phần của một sản phẩm gắp thùng 3D tích hợp. Các tổ chức thiếu chuyên môn về nhận thức và tích hợp robotics có thể thích một gói hỗ trợ bao gồm hiệu chuẩn, xử lý 3D, logic gắp và bộ điều adapter robot được chứng nhận hơn.

Cách đánh giá nhà cung cấp#

Sử dụng các bộ phận và điều kiện cell giống nhau cho mọi thử nghiệm. Bao gồm các thùng đầy và gần trống, độ chồng lấp tệ nhất, bao bì bị hỏng, hỗn hợp biến thể, bề mặt phản chiếu, ô nhiễm thông thường và các thay đổi ánh sáng dự kiến.

Đo lường:

• Tỷ lệ gắp hợp lệ theo bộ phận và trạng thái thùng.
• Phân phối thời gian chu kỳ, bao gồm nhận thức và khôi phục lỗi.
• Xác nhận nhặt ở lần thử đầu tiên.
• Các sự kiện phân loại nhầm, mục tiêu trùng lặp và rủi ro va chạm.
• Can thiệp thủ công và thời gian reset.
• Độ ổn định hiệu chuẩn sau khi bảo trì hoặc rung động.
• Thời gian thêm SKU mới và xác thực bản cập nhật.
• Log và bằng chứng sẵn có để chẩn đoán.

Yêu cầu từng nhà cung cấp xác định các phép đo nào đến từ camera, model, bộ lập kế hoạch gắp, robot và các cảm biến bên ngoài. Điều này làm cho kiến trúc và quyền sở hữu trở nên minh bạch.

Hướng dẫn quyết định 2D so với 3D#

Chọn 2D trước khi các bộ phận nằm trên một mặt phẳng đã biết, chiều cao gắp cố định, độ chồng lấp hạn chế và các tính năng thị giác rõ ràng xác định lớp và hướng. Thường dễ chiếu sáng, gán nhãn, gỡ lỗi và vận hành hơn.

Chọn 3D khi chiều cao thay đổi, các đống tạo ra độ chồng lấp đáng kể, hình học bề mặt quyết định điểm gắp, khoảng hở va chạm chặt chẽ hoặc robot phải suy luận về một thể tích lộn xộn. Một số cell kết hợp nhận thức đã học 2D với độ sâu đã đăng ký để duy trì phân loại tùy chỉnh trong khi vẫn có được tọa độ 3D.

Đừng quyết định dựa trên xu hướng cảm biến. Sử dụng cấu hình cảm biến có độ phức tạp thấp nhất vượt qua các bài kiểm tra trường hợp xấu nhất của cell.

Checklist triển khai#

• Xác định các yêu cầu về đối tượng, pose, chu kỳ và khôi phục lỗi.
• Thu thập các bộ phận thực tế trên toàn bộ phạm vi thùng và môi trường.
• Chọn cảm biến dựa trên hình học và hành vi bề mặt.
• Xác thực hiệu chuẩn và chuyển đổi tọa độ độc lập với độ chính xác của model.
• Kiểm tra bộ lập kế hoạch gắp với kẹp gắp thực tế và các đối tượng lân cận.
• Tách biệt các chức năng an toàn của robot khỏi nhận thức đã học.
• Ghi log các phát hiện, phép biến đổi, ứng viên điểm gắp, phản hồi của bộ điều khiển và kết quả.
• Cung cấp khả năng con người can thiệp khôi phục cho các trường hợp không chắc chắn hoặc cạn kiệt.
• Kiểm tra hồi quy mọi model, SKU, kẹp gắp, camera và cấu hình cell mới.