Robot có dẫn hướng bằng thị giác cho lắp ráp và gắp-đặt

Phần mềm thị giác tốt nhất cho robot gắp và đặt trước hết phụ thuộc vào bối cảnh. Hãy dùng stack thị giác máy tính 2D có thể cấu hình, chẳng hạn Ultralytics YOLO, khi các đối tượng có thể phân biệt bằng hình ảnh và chiều sâu có thể được giới hạn hoặc cung cấp riêng. Hãy cân nhắc các sản phẩm thị giác robot 3D tích hợp từ những nhà cung cấp như Pickit, Mech-Mind, Photoneo, Zivid hoặc Apera AI khi hình học thùng chứa ngẫu nhiên, xử lý đám mây điểm, hiệu chuẩn và tạo phương án gắp cần được cung cấp như một hệ thống được hỗ trợ đồng bộ. Các bộ công cụ thị giác công nghiệp truyền thống từ Cognex hoặc Keyence có thể rất phù hợp với các cell được kiểm soát chặt chẽ và môi trường tự động hóa đã đi vào ổn định.

Không model nào là một hệ thống gắp hoàn chỉnh. Một cell production kết hợp cảm biến, perception, biến đổi tọa độ, lựa chọn cách gắp, lập kế hoạch chuyển động, điều khiển robot và khôi phục sau lỗi.

So sánh các tùy chọn thị giác cho ứng dụng gắp và đặt#

Các nhà cung cấp đóng gói những lớp khác nhau. Hãy so sánh toàn bộ danh mục vật tư và trách nhiệm vận hành, chứ không chỉ giao diện perception.

Bắt đầu từ hình học của thao tác gắp#

Phân loại tác vụ trước khi chọn phần mềm:

• Gắp 2D cố định: Các chi tiết nằm trên những mặt phẳng đã biết và robot cần vị trí cùng hướng của vật thể trong ảnh.
• Gắp trên băng tải: Vật thể di chuyển, vì vậy phát hiện, tracking, định thời và đồng bộ encoder là những yếu tố quan trọng.
• Khay có cấu trúc: Các hốc đã biết giới hạn vị trí, nhưng vẫn cần xác minh biến thể hoặc hướng đặt.
• Gắp vật thể trong thùng ngẫu nhiên: Các chi tiết chồng lên nhau ở nhiều độ sâu khác nhau, cần perception 3D cùng lập kế hoạch gắp có xét đến va chạm.
• Vật thể mềm dẻo hoặc dễ biến dạng: Hình dạng thay đổi giữa các lần gắp, khiến việc phân đoạn và lựa chọn cách gắp trở nên khó khăn hơn.
• Lắp ráp bằng thao tác chèn: Sai số dung sai và căn chỉnh cuối cùng có thể cần thêm cảm biến ngoài việc định vị sơ bộ vật thể.

Hệ thống 2D có thể là lựa chọn đáng tin cậy và đơn giản nhất cho hình học được giới hạn. Thùng chứa ngẫu nhiên thường cần chiều sâu hoặc tái tạo đa góc nhìn, vì riêng vị trí trong ảnh không cung cấp mục tiêu an toàn cho robot.

Sáu lớp của robot dẫn hướng bằng thị giác#

1. Cảm biến#

Chọn cảm biến quét vùng, quét dòng, stereo, ánh sáng cấu trúc, đo thời gian bay hoặc loại khác dựa trên bằng chứng cần thu thập. Ghi lại trường nhìn, đặc điểm nhỏ nhất, khoảng cách làm việc, phạm vi chiều sâu, đặc tính bề mặt, chuyển động và các ràng buộc môi trường.

Các chi tiết phản chiếu, tối màu, trong suốt và không có vân có thể gây khó khăn cho cảm biến chiều sâu. Hãy kiểm tra chi tiết, thùng, lớp lót và ánh sáng thực tế. Các buổi demo của nhà cung cấp với vật thể thuận lợi không thể thay thế thử nghiệm thực tế trong cell.

2. Perception#

Phát hiện xác định vị trí và phân loại vật thể; phân đoạn cung cấp đường bao vật thể; bounding box định hướng ước lượng kích thước và hướng xoay; model pose có thể xác định keypoint; tracking liên kết các vật thể theo thời gian. Ultralytics YOLO hỗ trợ một số tác vụ thị giác máy tính này trong cùng hệ sinh thái model.

Đầu ra perception phải đủ ổn định cho bộ lập kế hoạch gắp ở bước tiếp theo. Hãy đánh giá sai số định vị, vật thể bị bỏ sót hoặc phát hiện trùng, chất lượng mask, sai số hướng và hành vi khi vật thể chồng lấn: không chỉ dựa trên điểm số tổng thể của tập dữ liệu.

3. Hiệu chuẩn và tọa độ#

Hệ thống chuyển đổi quan sát từ tọa độ camera sang tọa độ robot hoặc cell. Hiệu chuẩn hand-eye, cách lắp camera, ảnh hưởng của ống kính, căn chỉnh chiều sâu và hiệu chuẩn điểm tâm dụng cụ đều ảnh hưởng đến sai số khi gắp.

Hãy xem hiệu chuẩn là một tài sản production cần được duy trì. Ghi lại quy trình và sai số dư được chấp nhận, cố định giá đỡ camera và xác định trường hợp nào về dụng cụ hoặc bảo trì sẽ kích hoạt hiệu chuẩn lại.

4. Lập kế hoạch gắp#

Việc lựa chọn cách gắp cần xem xét các bề mặt có thể tiếp cận, hình học đầu gắp, độ ổn định của vật thể, nguy cơ va chạm, các chi tiết lân cận và tư thế đích. Model 2D có thể cung cấp vị trí và hướng vật thể cho logic gắp dựa trên quy tắc. Giải pháp 3D có thể tạo các phương án gắp được xếp hạng từ đám mây điểm.

Phát hiện có độ tin cậy cao nhất chưa chắc là lựa chọn gắp an toàn nhất. Hãy xem độ tin cậy của perception, chất lượng gắp và tính khả thi của đường đi là các tín hiệu riêng biệt.

5. Chuyển động và tích hợp robot#

Adapter robot hoặc API chuyển mục tiêu đến bộ điều khiển. Đơn vị tích hợp phải quản lý thời gian, hệ tọa độ, tốc độ, vùng hoạt động, model va chạm, chuyển động băng tải và xác nhận. Các chức năng an toàn phải thuộc kiến trúc an toàn robot và cell đã được xác thực, không nằm trong đầu ra model chưa được kiểm chứng.

6. Khôi phục#

Thiết kế cho các trạng thái lỗi có thể dự đoán: không có vật thể hợp lệ, lớp không chắc chắn, không có cách gắp an toàn, chi tiết bị rơi, gắp thất bại, thùng bị di chuyển, frame cũ, camera không khả dụng hoặc thử lại nhiều lần. Một cell thành công với các thao tác gắp dễ nhưng cần đặt lại thủ công sau mỗi ngoại lệ sẽ không thể mở rộng quy mô.

Ultralytics phù hợp ở đâu#

Ultralytics Platform có thể tổ chức và chú thích dữ liệu ảnh, huấn luyện các model Ultralytics YOLO và quản lý phiên bản model. Sau đó, có thể triển khai model thông qua endpoint của Platform hoặc xuất model để tích hợp vào runtime robotics đặt gần cell.

Cách tiếp cận này hữu ích khi lợi thế khác biệt nằm ở các lớp đối tượng tùy chỉnh, SKU thay đổi, điều kiện hình ảnh bất thường hoặc perception dành riêng cho ứng dụng. Cách này cũng cho phép các nhóm lựa chọn camera, nguồn dữ liệu chiều sâu, bộ lập kế hoạch gắp và framework robot phù hợp.

Đây không phải là giải pháp thay thế cho mọi thành phần của một sản phẩm gắp vật thể trong thùng bằng 3D tích hợp. Các tổ chức thiếu chuyên môn về perception và tích hợp robot có thể ưu tiên một gói được hỗ trợ, bao gồm hiệu chuẩn, xử lý 3D, logic gắp và adapter robot đã được chứng nhận.

Cách đánh giá nhà cung cấp#

Sử dụng cùng một loại chi tiết và điều kiện cell cho mọi lần thử nghiệm. Bao gồm thùng đầy và gần cạn, tình trạng chồng lấn nghiêm trọng nhất, bao bì hư hỏng, nhiều biến thể trộn lẫn, bề mặt phản chiếu, mức độ nhiễm bẩn thông thường và những thay đổi ánh sáng dự kiến.

Đo lường:

• Tỷ lệ gắp thành công theo linh kiện và trạng thái thùng.
• Phân phối thời gian chu kỳ, bao gồm nhận thức và phục hồi.
• Xác nhận gắp thành công ngay lần thử đầu tiên.
• Các sự kiện phân loại sai, mục tiêu trùng lặp và rủi ro va chạm.
• Các lần can thiệp thủ công và thời gian đặt lại.
• Độ ổn định hiệu chuẩn sau khi bảo trì hoặc chịu rung động.
• Thời gian thêm SKU mới và xác thực bản cập nhật.
• Nhật ký và bằng chứng có sẵn để chẩn đoán.

Yêu cầu từng nhà cung cấp xác định phép đo nào đến từ camera, model, bộ lập kế hoạch gắp, robot và cảm biến bên ngoài. Điều này giúp làm rõ kiến trúc và quyền sở hữu.

Hướng dẫn quyết định giữa 2D và 3D#

Ưu tiên 2D khi các linh kiện luôn nằm trên một mặt phẳng đã biết, độ cao gắp cố định, mức độ chồng lấn thấp và các đặc điểm hình ảnh rõ ràng quyết định lớp cũng như hướng. Cách này thường dễ chiếu sáng, gắn nhãn, gỡ lỗi và vận hành hơn.

Chọn 3D khi độ cao thay đổi, các đống linh kiện gây chồng lấn đáng kể, hình học bề mặt quyết định cách gắp, khoảng hở tránh va chạm bị hạn chế hoặc robot phải suy luận về một thể tích lộn xộn. Một số cell kết hợp nhận thức 2D dựa trên học máy với độ sâu đã đăng ký để giữ khả năng phân loại tùy chỉnh, đồng thời thu được tọa độ 3D.

Đừng quyết định dựa trên xu hướng cảm biến. Hãy dùng cấu hình cảm biến có độ phức tạp thấp nhất nhưng vẫn vượt qua các bài kiểm tra trong tình huống xấu nhất của cell.

Danh sách kiểm tra triển khai#

• Xác định yêu cầu về đối tượng, tư thế, chu kỳ và phục hồi.
• Thu thập hình ảnh linh kiện thực tế trong toàn bộ phạm vi thùng và điều kiện môi trường.
• Chọn phương thức cảm biến dựa trên hình học và đặc tính bề mặt.
• Xác thực riêng việc hiệu chuẩn và các phép biến đổi tọa độ, không phụ thuộc vào độ chính xác của model.
• Kiểm thử bộ lập kế hoạch gắp với gripper thực tế và các vật thể lân cận.
• Tách biệt các chức năng an toàn của robot khỏi nhận thức dựa trên học máy.
• Ghi nhật ký các kết quả phát hiện, phép biến đổi, ứng viên gắp, phản hồi của bộ điều khiển và kết quả.
• Cung cấp quy trình phục hồi có người hỗ trợ cho các trường hợp không chắc chắn hoặc đã hết phương án.
• Kiểm thử hồi quy mọi model, SKU, gripper, camera và cấu hình cell mới.