Xác minh lắp ráp và chống sai lỗi bằng thị giác máy tính

Thị giác máy tính có thể ngăn lỗi trong lắp ráp bằng cách kiểm tra xem bộ phận nhìn thấy được có đúng loại, được đặt đúng vị trí, đúng hướng và được lắp theo trình tự dự kiến hay không trước khi quy trình tiếp tục. Model cung cấp các quan sát hình ảnh; máy trạng thái hoặc ứng dụng sản xuất áp dụng các quy tắc riêng cho sản phẩm và gửi quyết định đạt, cần xem xét hoặc dừng đến người vận hành hay hệ thống điều khiển.

Điều này khác với phát hiện lỗi nói chung. Kiểm tra lỗi hỏi xem bề mặt hoặc bộ phận có bị hư hỏng hay không. Xác minh lắp ráp hỏi xem trạng thái lắp ráp được quan sát có khớp với hướng dẫn công việc hoặc quy trình sản xuất hay không.

Thị giác máy tính có thể xác minh những gì trên dây chuyền lắp ráp#

Trước tiên, hãy phân biệt bằng chứng có thể quan sát được với thông tin quy trình suy luận. Camera có thể xác minh rằng đầu bu lông hiện diện, nhưng không thể xác minh bu lông được siết đến mô-men xoắn yêu cầu. Hãy kết hợp thị giác máy tính với dữ liệu từ bộ điều khiển dụng cụ hoặc cảm biến khi yêu cầu không thể quan sát bằng hình ảnh.

Kiến trúc tham chiếu#

Một hệ thống xác minh lắp ráp thường gồm sáu lớp:

1. Kích hoạt: Tín hiệu PLC, cảm biến, trạng thái robot hoặc thao tác của người vận hành xác định thời điểm cần xác minh.
2. Thu nhận ảnh: Một hoặc nhiều camera ghi lại ảnh có kiểm soát hoặc một chuỗi ảnh ngắn.
3. Suy luận: Model thị giác máy tính phát hiện bộ phận, vùng, keypoint hoặc trạng thái lắp ráp.
4. Logic quyết định: Các quy tắc sản phẩm đối chiếu kết quả quan sát với biến thể và bước quy trình dự kiến.
5. Hành động: Hệ thống hiển thị hướng dẫn, yêu cầu xem xét, ghi nhận kết quả đạt hoặc chặn tiến trình qua một đường điều khiển được phê duyệt.
6. Truy xuất nguồn gốc: Ứng dụng ghi lại lệnh sản xuất, phiên bản model và quy tắc, kết quả cũng như bằng chứng được chính sách lưu giữ cho phép.

Hãy tách biệt suy luận với logic quyết định. Cùng một model có thể nhận diện một bộ phận trên nhiều sản phẩm, trong khi các quy tắc xác định bộ phận nào bắt buộc phải có trong một lệnh sản xuất cụ thể.

Chọn tác vụ thị giác máy tính phù hợp#

Dùng phân loại khi toàn bộ góc nhìn được kiểm soát chặt chẽ và đầu ra chỉ gồm một số ít trạng thái, chẳng hạn như đã lắp ráp, chưa hoàn chỉnh hoặc sai hướng. Cách này có thể hiệu quả, nhưng cung cấp ít thông tin định vị khi cần khắc phục sự cố.

Dùng phát hiện đối tượng khi ứng dụng cần định vị và đếm nhiều bộ phận nhìn thấy được. Các model Ultralytics YOLO có thể phát hiện nhiều lớp bộ phận trong một ảnh và trả về vị trí để các quy tắc phía sau xử lý.

Dùng phân đoạn instance khi ranh giới bộ phận, tình trạng chồng lấp hoặc độ bao phủ là yếu tố quan trọng. Mask có thể hỗ trợ kiểm tra xem gioăng, vùng keo dán hoặc bộ phận mềm có chiếm đúng diện tích dự kiến hay không.

Dùng ước tính pose hoặc bounding box xoay khi keypoint hoặc góc xoay mang thông tin quan trọng. Hãy xác thực rằng biểu diễn được chọn ổn định với hình dạng và góc nhìn cụ thể.

Dùng theo dõi khi trình tự hoặc tính liên tục là yếu tố quan trọng. Bộ theo dõi có thể liên kết các quan sát qua nhiều khung hình, còn máy trạng thái xác định liệu các bước được phê duyệt có diễn ra đúng thứ tự hay không.

Thiết kế trạm chụp ảnh trước khi huấn luyện#

Chất lượng model không thể bù đắp cho bằng chứng mà camera không ghi lại được. Với mỗi bước kiểm tra, hãy ghi lại đặc điểm nhỏ nhất cần phân giải, mức di chuyển cho phép của bộ phận, thời gian chu kỳ, khoảng cách làm việc, độ biến thiên chiều sâu, phản xạ, vật cản và rung động.

Hãy kiểm soát ánh sáng khi có thể. Ánh sáng khuếch tán có thể giảm chói trên bề mặt phản chiếu; đèn nền có thể làm rõ đường viền và khe hở; đèn chớp có thể giảm nhòe chuyển động. Thiết kế phù hợp phụ thuộc vào vật liệu và hình dạng, vì vậy hãy thử nghiệm với bộ phận thực tế và điều kiện nhiễm bẩn.

Dùng nhiều góc nhìn khi một camera không thể quan sát mọi đặc điểm cần thiết. Đừng tự động bổ sung camera: mỗi góc nhìn làm tăng khối lượng công việc hiệu chuẩn, đồng bộ, tính toán, bảo trì và quản lý dữ liệu. Mỗi camera cần giải quyết một khoảng trống bằng chứng đã được ghi nhận.

Sau khi xác thực, hãy khóa hoặc giám sát các cài đặt camera. Thay đổi tiêu cự, phơi sáng, vùng cắt hoặc giá đỡ có thể làm mất tính đại diện của phân phối dữ liệu, ngay cả khi endpoint vẫn hoạt động bình thường.

Xây dựng dataset lắp ráp#

Thu thập dữ liệu từ tất cả biến thể sản phẩm, trạm, ca làm việc, phông nền, trạng thái đồ gá và tương tác thông thường của người vận hành có liên quan. Bao gồm cả trạng thái hợp lệ nhưng khó xử lý lẫn lỗi. Nếu mọi ảnh “đạt” đều được chụp trong một ngày và mọi ảnh “không đạt” đều được chụp vào một ngày khác, model có thể học sự khác biệt về ánh sáng hoặc đồ gá thay vì trạng thái lắp ráp.

Soạn quy tắc gán nhãn cho bộ phận chỉ nhìn thấy một phần, trạng thái không rõ ràng, phản xạ, bộ phận trùng lặp và sản phẩm đang lắp dở. Chia dữ liệu xác thực theo đợt sản xuất, thời gian, trạm hoặc địa điểm thay vì phân phối ngẫu nhiên các khung hình video gần như giống hệt nhau.

Ultralytics Platform hỗ trợ tổ chức dataset, gán nhãn, huấn luyện model và quản lý model trong một quy trình làm việc kết nối. Hướng dẫn thu thập và gán nhãn dữ liệu có thể giúp các nhóm chính thức hóa quyết định về thu thập và gán nhãn.

Bổ sung logic quy trình và tích hợp#

Ứng dụng cần biết cấu hình lắp ráp dự kiến cho sản phẩm hiện tại. Truy xuất cấu hình từ một nguồn được phê duyệt như lệnh sản xuất, công thức hoặc hệ thống sản xuất, sau đó ánh xạ cấu hình sang các quy tắc thị giác có quản lý phiên bản.

Một quy tắc có thể yêu cầu:

• Một vỏ nằm trong vùng đồ gá.
• Hai kẹp ở các vị trí được phê duyệt.
• Một keypoint của đầu nối nằm trong phạm vi dung sai so với vị trí mục tiêu.
• Trạng thái A xuất hiện trước trạng thái B, không có trạng thái nào chưa được phê duyệt xen giữa.
• Yêu cầu người xem xét khi bất kỳ kết quả quan sát bắt buộc nào thấp hơn ngưỡng quyết định.

Dùng một hợp đồng sự kiện ổn định giữa hệ thống thị giác và hệ thống điều khiển. Bao gồm kết quả, lý do, dấu thời gian, trạm, phiên bản model, phiên bản quy tắc và các kết quả quan sát liên quan. Tránh gửi trực tiếp đầu ra thô của model đến logic an toàn trọng yếu hoặc điều khiển chuyển động nếu không có lớp ứng dụng đã được xác thực và các biện pháp bảo vệ phù hợp.

Trải nghiệm của người vận hành là một phần của độ chính xác#

Đèn đỏ hoặc xanh thường không cung cấp đủ thông tin. Khi một sản phẩm không đạt, hãy cho biết yêu cầu nào không đạt và vị trí dự kiến của bộ phận liên quan. Cung cấp quy trình quét lại hoặc xem xét có kiểm soát để phản xạ, bàn tay hoặc vật cản tạm thời không gây ra công việc làm lại không cần thiết.

Thu thập các chỉnh sửa của người vận hành dưới dạng phản hồi có cấu trúc. Phân biệt lỗi model với lỗi quy tắc, ánh xạ sai lệnh sản xuất, sự cố camera hoặc vấn đề lắp ráp thực sự. Việc phân loại này cho nhóm biết cần khắc phục điều gì.

Xác thực toàn bộ trạm#

Đo lường theo yêu cầu lắp ráp và biến thể sản phẩm. Các chỉ số vận hành hữu ích gồm lỗi lắp ráp bị bỏ sót, dừng nhầm, tỷ lệ cần xem xét, ảnh hưởng đến thời gian chu kỳ, các bước kiểm tra không khả dụng và khả năng khôi phục thành công sau khi camera hoặc mạng bị gián đoạn.

Kiểm thử trạm với các tình huống sau:

• Các biến thể được và không được phê duyệt.
• Cụm lắp ráp một phần và các bước không đúng trình tự.
• Bị bàn tay và dụng cụ che khuất.
• Ánh sáng thay đổi, bộ phận phản chiếu, ảnh nhòe và nhiễm bẩn.
• Camera dịch chuyển và thay đổi tiêu cự.
• Bộ phận bị trùng lặp, thiếu, xoay hoặc đặt sai vị trí.
• Tín hiệu kích hoạt bị mất, bị lặp và kết quả trả về trễ.

Chạy model hiện tại và model ứng viên trên một bộ dữ liệu hồi quy cố định trước khi phát hành. Khi mức độ rủi ro yêu cầu, hãy chạy logic quyết định mới ở chế độ shadow mà không điều khiển quy trình cho đến khi kết quả được xem xét.

Ultralytics cho xác minh lắp ráp#

Thị giác máy tính trong sản xuất có thể dùng phát hiện, phân đoạn, pose và theo dõi để biểu diễn các trạng thái lắp ráp có thể quan sát được. Ultralytics Platform kết nối quy trình gán nhãn, huấn luyện và triển khai, trong khi các model Ultralytics YOLO đã xuất có thể chạy trên kiến trúc đám mây, tại chỗ hoặc edge được lựa chọn cho trạm.

Chef Robotics là ví dụ thực tế về việc Ultralytics YOLO hỗ trợ lắp ráp thực phẩm chính xác. Bài học có thể áp dụng không phải là mọi dây chuyền lắp ráp đều gặp cùng một vấn đề chụp ảnh, mà là model perception đã huấn luyện có thể trở thành một thành phần trong quy trình robot hoặc sản xuất lớn hơn.

Ultralytics không cung cấp những gì. Đây là một lớp perception, không phải trạm kiểm tra. Camera, ống kính, hệ thống chiếu sáng, vỏ bảo vệ, tín hiệu kích hoạt, máy tính edge, kết nối PLC, HMI cho người vận hành và việc xác thực trạm vẫn do bạn hoặc đơn vị tích hợp của bạn đảm nhiệm; đây mới là phần công việc lớn hơn. Khi nhà máy muốn có một trạm turnkey được hỗ trợ với kỹ sư hiện trường đi kèm, lựa chọn hợp lý hơn là nhà cung cấp thị giác máy công nghiệp lâu năm như Cognex hoặc Keyence; Ultralytics Platform ra mắt vào tháng 3 năm 2026, trong khi họ đã có hàng chục năm triển khai.

Danh sách kiểm tra triển khai#

• Xác định từng bước kiểm tra bằng bằng chứng trực quan và hành động vận hành.
• Ghi lại các yêu cầu không thể kiểm tra bằng hình ảnh và cần cảm biến hoặc hệ thống khác.
• Xác thực camera, ống kính, hệ thống chiếu sáng, tín hiệu kích hoạt và cách lắp đặt bằng các bộ phận thực tế.
• Quản lý phiên bản các quy tắc sản phẩm riêng với model.
• Kiểm thử mọi biến thể sản phẩm và trạng thái đang trong quá trình phát triển.
• Cung cấp quy trình rà soát, quét lại, bỏ qua và xử lý sự cố.
• Theo dõi chất lượng đầu vào, tình trạng dịch vụ, lỗi model đã được rà soát và kết quả trong môi trường production.
• Xác thực lại sau khi thay đổi camera, ánh sáng, đồ gá, sản phẩm hoặc quy trình.