Xác minh lắp ráp và chống lỗi với thị giác máy tính

Computer vision có thể chống lỗi quá trình lắp ráp bằng cách kiểm tra xem thành phần hiển thị phù hợp có hiện diện, đúng vị trí, đúng hướng và được lắp đặt theo trình tự mong đợi trước khi quy trình tiếp tục hay không. Model cung cấp các quan sát trực quan; máy trạng thái hoặc ứng dụng sản xuất áp dụng các quy tắc dành riêng cho sản phẩm và gửi quyết định đạt, xem xét hoặc dừng tới người vận hành hoặc hệ thống điều khiển.

Điều này khác với phát hiện lỗi chung. Kiểm tra lỗi hỏi xem bề mặt hoặc bộ phận có bị hư hỏng hay không. Xác minh lắp ráp hỏi xem trạng thái cấu trúc được quan sát có khớp với hướng dẫn công việc hoặc hóa đơn quy trình hay không.

Những gì vision có thể xác minh trên dây chuyền lắp ráp#

Bắt đầu bằng cách tách biệt bằng chứng quan sát được khỏi các sự thật quy trình suy ra được. Camera có thể xác minh rằng đầu bu lông hiện diện nhưng không thể xác minh bu lông có đủ mô-men xoắn yêu cầu hay không. Ghép nối vision với dữ liệu từ bộ điều khiển công cụ hoặc cảm biến khi yêu cầu không thể quan sát được bằng mắt.

Kiến trúc tham chiếu#

Một hệ thống xác minh lắp ráp thường chứa sáu lớp:

1. Trigger: Tín hiệu PLC, cảm biến, trạng thái robot hoặc hành động của người vận hành xác định thời điểm xác minh.
2. Capture: Một hoặc nhiều camera thu nhận một hình ảnh được kiểm soát hoặc chuỗi ngắn.
3. Inference: Computer vision model phát hiện các bộ phận, vùng, keypoints hoặc trạng thái lắp ráp.
4. Decision logic: Các quy tắc sản phẩm so sánh các quan sát với biến thể và bước quy trình mong đợi.
5. Action: Hệ thống hiển thị hướng dẫn, yêu cầu xem xét, ghi lại kết quả đạt hoặc chặn tiến trình thông qua một đường dẫn điều khiển được phê duyệt.
6. Traceability: Ứng dụng ghi lại lệnh sản xuất, phiên bản model và quy tắc, kết quả và bằng chứng được cho phép bởi chính sách lưu giữ.

Giữ cho inference và decision logic tách biệt. Cùng một model có thể nhận dạng một thành phần trên các sản phẩm, trong khi các quy tắc chỉ định thành phần nào là bắt buộc đối với một lệnh sản xuất cụ thể.

Chọn đúng vision task#

Sử dụng classification khi toàn bộ khung hình được kiểm soát chặt chẽ và đầu ra là một số ít trạng thái chẳng hạn như đã lắp ráp, chưa hoàn chỉnh hoặc sai hướng. Nó có thể hiệu quả, nhưng cung cấp khả năng định bản địa hóa hạn chế khi khắc phục sự cố.

Sử dụng object detection khi ứng dụng cần định vị và đếm một số thành phần hiển thị. Các model Ultralytics YOLO có thể phát hiện nhiều lớp bộ phận trong một hình ảnh và trả về các vị trí cho các quy tắc tiếp theo.

Sử dụng instance segmentation khi ranh giới thành phần, sự chồng chéo hoặc độ phủ quan trọng. Mask có thể hỗ trợ kiểm tra xem niêm phong, vùng keo hoặc linh kiện dẻo có chiếm diện tích mong đợi hay không.

Sử dụng pose estimation hoặc oriented bounding boxes khi keypoints hoặc góc quay mang tín hiệu quan trọng. Xác thực rằng biểu diễn đã chọn ổn định đối với hình học và góc nhìn chính xác.

Sử dụng tracking khi trình tự hoặc tính liên tục quan trọng. Trình theo dõi có thể liên kết các quan sát qua các khung hình, trong khi máy trạng thái xác định xem các bước được phê duyệt có diễn ra theo thứ tự hay không.

Thiết kế trạm hình ảnh trước khi training#

Chất lượng model không thể bù đắp cho bằng chứng mà camera không bao giờ ghi lại được. Đối với mỗi lần kiểm tra, hãy tài liệu hóa tính năng nhỏ nhất cần phải phân giải, chuyển động bộ phận cho phép, thời gian chu kỳ, khoảng cách làm việc, biến động độ sâu, hiện tượng phản xạ, sự che khuất và độ rung.

Kiểm soát ánh sáng ở những nơi thực tế. Ánh sáng khuếch tán có thể giảm chói trên các bề mặt phản chiếu; ánh sáng nền có thể làm cho hình bóng và khoảng trống rõ ràng hơn; ánh sáng nhấp nháy có thể giảm mờ chuyển động. Thiết kế thích hợp phụ thuộc vào vật liệu và hình học, vì vậy hãy kiểm tra với các bộ phận thực tế và điều kiện nhiễm bẩn.

Sử dụng nhiều góc nhìn khi một camera duy nhất không thể quan sát mọi tính năng bắt buộc. Không tự động thêm camera: mọi góc nhìn đều làm tăng công việc hiệu chuẩn, đồng bộ hóa, tính toán, bảo trì và quản lý dữ liệu. Mỗi camera phải lấp đầy một khoảng trống bằng chứng đã được tài liệu hóa.

Khóa hoặc theo dõi cài đặt camera sau khi xác thực. Tiêu cự, độ phơi sáng, khung cắt hoặc giá treo bị thay đổi có thể làm mất hiệu lực của phân phối dữ liệu ngay cả khi điểm cuối vẫn hoạt động bình thường.

Xây dựng tập dữ liệu lắp ráp#

Ghi lại tất cả các biến thể sản phẩm, trạm, ca làm việc, nền, trạng thái công cụ và tương tác thông thường của người vận hành có liên quan. Bao gồm các trạng thái khó nhưng hợp lệ cũng như các lỗi. Nếu mọi hình ảnh "tốt" đến từ một ngày và mọi hình ảnh "xấu" đến từ ngày khác, model có thể học sự khác biệt về ánh sáng hoặc đồ gá thay vì trạng thái lắp ráp.

Viết các quy tắc gán nhãn cho các bộ phận chỉ nhìn thấy một phần, trạng thái mơ hồ, phản xạ, các thành phần trùng lặp và công việc đang tiến hành. Chia dữ liệu xác thực theo đợt sản xuất, thời gian, trạm hoặc cơ sở thay vì phân phối ngẫu nhiên các khung video gần giống nhau.

Ultralytics Platform hỗ trợ tổ chức tập dữ liệu, chú thích, training model và quản lý model trong một quy trình làm việc được kết nối. Hướng dẫn thu thập và chú thích dữ liệu của nó có thể giúp các nhóm chính thức hóa các quyết định thu thập và gán nhãn.

Thêm logic quy trình và các tích hợp#

Ứng dụng cần cấu hình xây dựng mong đợi cho đơn vị hiện tại. Truy xuất nó từ nguồn được phê duyệt chẳng hạn như lệnh sản xuất, công thức hoặc hệ thống sản xuất, sau đó ánh xạ nó tới các quy tắc trực quan được phiên bản hóa.

Một quy tắc có thể yêu cầu:

• Một vỏ bên trong vùng đồ gá.
• Hai kẹp ở các vị trí được phê duyệt.
• Một keypoint đầu nối nằm trong dung sai so với mục tiêu của nó.
• Trạng thái A trước trạng thái B, không có trạng thái nào chưa được phê duyệt ở giữa chúng.
• Con người xem xét khi bất kỳ quan sát bắt buộc nào ở dưới ngưỡng quyết định của nó.

Sử dụng hợp đồng sự kiện ổn định giữa vision và điều khiển. Bao gồm kết quả, lý do, dấu thời gian, trạm, phiên bản model, phiên bản quy tắc và các quan sát có liên quan. Tránh gửi đầu ra model thô trực tiếp đến logic kiểm soát chuyển động hoặc quan trọng về an toàn mà không có lớp ứng dụng được xác thực và các biện pháp bảo vệ thích hợp.

Trải nghiệm của người vận hành là một phần của độ chính xác#

Đèn đỏ hoặc xanh hiếm khi cung cấp đủ thông tin. Khi một đơn vị gặp sự cố, hãy hiển thị yêu cầu nào không thành công và bộ phận có liên quan được kỳ vọng ở đâu. Cung cấp đường dẫn quét lại hoặc xem xét có kiểm soát để sự phản xạ, bàn tay hoặc sự che khuất tạm thời không tạo ra việc làm lại không cần thiết.

Thu thập các chỉnh sửa của người vận hành dưới dạng phản hồi có cấu trúc. Phân biệt lỗi model với lỗi quy tắc, ánh xạ lệnh sản xuất sai, sự cố camera hoặc vấn đề lắp ráp thực sự. Phân loại đó cho nhóm biết những gì cần sửa.

Xác thực trạm hoàn chỉnh#

Đo lường theo yêu cầu lắp ráp và biến thể sản phẩm. Các số đo hoạt động hữu ích bao gồm các lỗi lắp ráp bị bỏ sót, dừng sai, tỷ lệ xem xét, ảnh hưởng thời gian chu kỳ, các kiểm tra không khả dụng và khôi phục thành công sau khi gián đoạn camera hoặc mạng.

Thách thức trạm với:

• Các biến thể được phê duyệt và chưa được phê duyệt.
• Các cụm lắp ráp một phần và các bước sai trình tự.
• Sự che khuất bởi bàn tay và công cụ.
• Độ trôi ánh sáng, các bộ phận phản chiếu, hiện tượng mờ và ô nhiễm.
• Chuyển động camera và thay đổi tiêu cự.
• Các thành phần bị trùng lặp, thiếu, xoay hoặc đặt nhầm vị trí.
• Mất trigger, trigger trùng lặp và kết quả đến muộn.

Chạy model hiện tại và model ứng cử viên trên một tập hồi quy cố định trước khi phát hành. Ở nơi rủi ro đảm bảo điều đó, hãy theo dõi ngầm logic quyết định mới mà không điều khiển quy trình cho đến khi kết quả được xem xét.

Ultralytics cho xác minh lắp ráp#

Computer vision trong sản xuất có thể sử dụng detection, segmentation, pose và tracking để đại diện cho các trạng thái lắp ráp hiển thị. Ultralytics Platform kết nối chú thích, training và deployment, trong khi các model Ultralytics YOLO đã xuất có thể chạy trong kiến trúc đám mây, tại chỗ hoặc edge được chọn cho trạm.

Chef Robotics cung cấp một ví dụ thực tế về việc Ultralytics YOLO hỗ trợ lắp ráp thực phẩm chính xác. Bài học có thể chuyển giao không phải là mọi dây chuyền lắp ráp đều có vấn đề hình ảnh giống nhau, mà là một model nhận thức đã được training có thể trở thành một thành phần trong một quy trình làm việc sản xuất hoặc robot lớn hơn.

Những gì Ultralytics không cung cấp. Đây là một lớp nhận thức, không phải là một trạm kiểm tra. Camera, ống kính, ánh sáng, vỏ bọc, trigger, máy tính edge, kết nối PLC, HMI của người vận hành và việc xác thực trạm vẫn thuộc về bạn hoặc nhà tích hợp của bạn, và chúng là phần lớn hơn của công việc. Nơi một nhà máy muốn có một trạm chìa khóa trao tay được hỗ trợ kèm theo kỹ sư hiện trường, một nhà cung cấp máy chẩn đoán hình ảnh có uy tín như Cognex hoặc Keyence là lựa chọn vững chắc hơn, và Ultralytics Platform ra mắt vào tháng 3 năm 2026 đối đầu với lịch sử triển khai hàng chục năm của họ.

Danh sách kiểm tra triển khai#

• Xác định mọi kiểm tra là bằng chứng hiển thị và hành động vận hành.
• Ghi lại các yêu cầu phi hình ảnh cần cảm biến hoặc hệ thống khác.
• Xác thực camera, ống kính, ánh sáng, trigger và giá đỡ với các bộ phận thực tế.
• Đưa ra phiên bản cho các quy tắc sản phẩm tách biệt với model.
• Kiểm tra mọi biến thể sản phẩm và trạng thái công việc đang tiến hành.
• Cung cấp các quy trình xem xét, quét lại, bỏ qua và sự cố.
• Theo dõi chất lượng đầu vào, tình trạng dịch vụ, lỗi model được xem xét và kết quả sản xuất.
• Xác thực lại sau các thay đổi về camera, ánh sáng, đồ gá, sản phẩm hoặc quy trình.