컴퓨터 비전을 활용한 조립 검증 및 오조립 방지
컴퓨터 비전이 조립 완료 여부, 정확성 및 순서를 검증하는 방법: 이미징 스테이션 설계, 모델 태스크 선택, PLC 통합 및 검증.
컴퓨터 비전은 공정이 진행되기 전에 올바른 가시적 부품이 존재하는지, 올바르게 배치되었는지, 올바른 방향으로 향하고 있는지, 그리고 예상된 순서대로 설치되었는지 확인함으로써 조립 오류를 방지할 수 있습니다. 모델은 시각적 관측 데이터를 제공하고, 상태 머신 또는 제조 애플리케이션은 제품별 규칙을 적용하여 작업자나 제어 시스템에 통과, 검토 또는 중지 결정을 내립니다.
이는 일반적인 결함 감지와는 다릅니다. 결함 검사는 표면이나 부품이 손상되었는지 묻습니다. 조립 검증은 관측된 조립 상태가 작업 지침이나 공정 명세서와 일치하는지 묻습니다.
조립 라인에서 비전이 검증할 수 있는 항목#
| 검증 작업 | 시각적 질문 | 일반적인 비전 작업 | 중요한 한계 |
|---|---|---|---|
| 부품 존재 여부 | 필요한 부품이 보이는가? | 객체 감지 또는 분류 | 가림 현상으로 인해 설치된 부품이 가려질 수 있음 |
| 위치 | 부품이 허용된 영역 내에 있는가? | 감지 또는 분할 | 이미지 좌표에 캘리브레이션이 필요할 수 있음 |
| 방향 | 부품이 올바른 방향을 향하고 있는가? | 키포인트, 방향성 바운딩 박스 또는 분류 | 대칭형 부품에는 구별되는 시각적 특징이 필요함 |
| 개수 | 필요한 수량이 존재하는가? | 감지 및 추적/카운팅 | 겹침으로 인해 카운트가 누락되거나 중복될 수 있음 |
| 순서 | 상태가 승인된 순서대로 발생했는가? | 감지/추적 및 상태 머신 | 모델 단독으로는 공정 순서를 인코딩하지 않음 |
| 체결부 존재 여부 | 보이는 체결부가 예상된 위치에 있는가? | 감지 또는 분할 | 비전은 보이지 않는 토크를 증명할 수 없음 |
| 커넥터 상태 | 보이는 래치나 커넥터가 제대로 장착되었는가? | 감지, 분할 또는 분류 | 카메라 각도와 해상도가 상태를 드러내야 함 |
| 라벨 또는 코드 일치 여부 | 보이는 식별자가 작업 지시서와 일치하는가? | 감지 및 OCR/바코드 로직 | 텍스트 품질과 통합이 신뢰성을 결정함 |
관측 가능한 증거와 추론된 공정 사실을 분리하는 것부터 시작하십시오. 카메라는 볼트 헤드의 존재를 확인할 수 있지만 볼트에 필요한 토크가 적용되었는지는 확인할 수 없습니다. 요구 사항이 시각적으로 관측되지 않는 경우 비전을 공구 컨트롤러 또는 센서 데이터와 페어링하십시오.
참조 아키텍처#
조립 검증 시스템은 대개 6개의 계층으로 구성됩니다:
- 트거: PLC 신호, 센서, 로봇 상태 또는 작업자 액션이 검증 시점을 식별합니다.
- 캡처: 하나 이상의 카메라가 제어된 이미지나 짧은 시퀀스를 획득합니다.
- 인퍼런스: 컴퓨터 비전 모델이 부품, 영역, 키포인트 또는 조립 상태를 감지합니다.
- 결정 로직: 제품 규칙이 관측값과 예상되는 변형 및 공정 단계를 비교합니다.
- 액션: 시스템이 안내를 표시하고, 검토를 요청하고, 합격을 기록하거나, 승인된 제어 경로를 통한 진행을 차단합니다.
- 추적성: 애플리케이션이 작업 지시서, 모델 및 규칙 버전, 결과, 그리고 보존 정책에 따라 허용된 증거를 기록합니다.
인퍼런스와 결정 로직을 분리해 유지하십시오. 동일한 모델이 여러 제품에 걸쳐 부품을 인식할 수 있으며, 규칙은 특정 작업 지시서에 어떤 부품이 필요한지 지정합니다.
올바른 비전 작업 선택#
전체 뷰가 엄격하게 제어되고 출력 결과가 조립됨, 미완성 또는 잘못된 방향과 같은 소수의 상태인 경우 분류를 사용하십시오. 효율적일 수 있으나 문제 해결 시 국소화 정보가 제한적입니다.
애플리케이션이 여러 가시적 부품을 찾아내고 카운트해야 하는 경우 **object detection**을 사용하십시오. Ultralytics YOLO 모델은 하나의 이미지에서 여러 부품 클래스를 감지하고 다운스트림 규칙을 위한 위치를 반환할 수 있습니다.
부품 경계, 겹침 또는 커버리지가 중요한 경우 인스턴스 세그멘테이션을 사용하십시오. 마스크는 씰, 접착제 영역 또는 유연한 부품이 예상 영역을 차지하고 있는지 확인하는 검사를 지원할 수 있습니다.
키포인트나 회전이 중요한 신호를 전달하는 경우 pose 추정 또는 방향성 바운딩 박스를 사용하십시오. 선택한 표현 방식이 정확한 지오메트리와 시점에 대해 안정적인지 검증하십시오.
순서나 연속성이 중요한 경우 추적을 사용하십시오. 트래커는 프레임 간 관측을 연결할 수 있으며, 상태 머신은 승인된 단계가 순서대로 발생했는지 여부를 결정합니다.
학습 전에 이미징 스테이션 설계#
모델 품질은 카메라가 캡처하지 못한 증거를 보완할 수 없습니다. 각 검사에 대해 해결해야 하는 가장 작은 피처, 허용된 부품 움직임, 사이클 타임, 작동 거리, 심도 편차, 반사, 가림 및 진동을 문서화하십시오.
실용적인 경우 조명을 제어하십시오. 확산광은 반사 표면의 눈부심을 줄이고, 역광은 실루엣과 틈새를 더 선명하게 만들 수 있으며, 스트로브 조명은 모션 블러를 줄일 수 있습니다. 적절한 설계는 재질과 지오메트리에 따라 다르므로 실제 부품과 오염 조건에서 테스트하십시오.
단일 카메라로 필요한 모든 피처를 관측할 수 없는 경우 여러 뷰를 사용하십시오. 자동으로 카메라를 추가하지 마십시오. 모든 뷰는 캘리브레이션, 동기화, 연산, 유지보수 및 데이터 관리 작업을 증가시킵니다. 각 카메라는 문서화된 증거 공백을 메워야 합니다.
검증 후 카메라 설정을 고정하거나 모니터링하십시오. 초점, 노출, 자르기 또는 마운트가 변경되면 엔드포인트가 정상 상태를 유지하더라도 데이터 분포가 무효화될 수 있습니다.
조립 데이터셋 구축#
모든 관련 제품 변형, 스테이션, 교대조, 배경, 툴링 상태 및 일반적인 작업자 상호작용을 캡처하십시오. 오류뿐만 아니라 어렵지만 유효한 상태도 포함하십시오. 모든 '양품' 이미지가 하루 동안 수집되고 모든 '불량' 이미지가 다른 날 수집된 경우, 모델은 조립 상태 대신 조명이나 치구 차이를 학습할 수 있습니다.
부분적으로 보이는 부품, 모호한 상태, 반사, 중복 부품 및 진행 중인 작업에 대한 라벨링 규칙을 작성하십시오. 거의 동일한 비디오 프레임을 무작위로 분배하는 대신 생산 실행, 시간, 스테이션 또는 사이트별로 검증 데이터를 분할하십시오.
Ultralytics Platform은 연결된 워크플로에서 데이터셋 조직, 어노테이션, 모델 학습 및 모델 관리를 지원합니다. 팀이 캡처 및 라벨링 결정을 체계화하는 데 data collection and annotation guide가 도움이 될 수 있습니다.
공정 로직 및 통합 추가#
애플리케이션에는 현재 유닛에 대한 예상 빌드 구성이 필요합니다. 작업 지시서, 레시피 또는 제조 시스템과 같은 승인된 소스에서 이를 가져온 다음 버전 관리되는 시각적 규칙에 매핑하십시오.
규칙에는 다음이 요구될 수 있습니다:
- 치구 영역 내의 하우징 1개.
- 승인된 위치의 클립 2개.
- 타겟 허용 오차 내의 커넥터 키포인트.
- 상태 A와 상태 B가 순서대로 진행되며, 그 사이에 승인되지 않은 상태가 없음.
- 필수 관측값이 결정 임계값 미만인 경우 사람의 검토 수행.
비전과 제어 간에 안정적인 이벤트 계약을 사용하십시오. 결과, 이유, 타임스탬프, 스테이션, 모델 버전, 규칙 버전 및 관련 관측값을 포함하십시오. 검증된 애플리케이션 레이어와 적절한 안전장치 없이 원시 모델 출력을 안전에 중요한 또는 모션 제어 로직에 직접 보내지 마십시오.
작업자 경험은 정확도의 일부입니다#
빨간색 또는 초록색 표시등만으로는 충분한 정보를 제공하지 못하는 경우가 많습니다. 유닛에 실패가 발생하면 어떤 요구 사항이 실패했고 관련 부품이 어디에 있어야 했는지 표시하십시오. 반사, 손 또는 임시 가림으로 인해 불필요한 재작업이 발생하지 않도록 제어된 재스캔 또는 검토 경로를 제공하십시오.
작업자의 수정 사항을 구조화된 피드백으로 수집하십시오. 모델 오류를 규칙 오류, 잘못된 작업 지시서 매핑, 카메라 문제 또는 실제 조립 문제와 구분하십시오. 해당 분류는 팀에게 수정해야 할 사항을 알려줍니다.
완전한 스테이션 검증#
조립 요구 사항 및 제품 변형별로 측정하십시오. 유용한 운영 지표에는 누락된 조립 오류, 오작동 중지, 검토율, 사이클 타임 영향, 사용할 수 없는 검사, 그리고 카메라나 네트워크 중단 후 성공적인 복구가 포함됩니다.
다음 요소로 스테이션을 테스트하십시오:
- 승인된 변형 및 승인되지 않은 변형.
- 부분 조립품 및 순서가 잘못된 단계.
- 손과 공구에 의한 가림.
- 조명 드리프트, 반사 부품, 흐림 및 오염.
- 카메라 움직임 및 초점 변경.
- 중복되거나 누락되었거나 회전되었거나 잘못 배치된 부품.
- 손실된 트리거, 중복 트리거 및 늦은 결과.
배포 전에 고정된 회귀 세트에서 기존 모델과 후보 모델을 실행하십시오. 위험이 보증되는 경우 결과가 검토될 때까지 공정을 제어하지 않고 새로운 결정 로직을 섀도잉(shadow)하십시오.
조립 검증을 위한 Ultralytics#
Computer vision in manufacturing은 감지, 세그멘테이션, 포즈 및 추적을 사용하여 가시적 조립 상태를 표현할 수 있습니다. Ultralytics Platform은 어노테이션, 학습 및 배포를 연결하는 반면, 내보낸 Ultralytics YOLO 모델은 스테이션에 선택된 클라우드, 온프레미스 또는 엣지 아키텍처에서 실행될 수 있습니다.
Chef Robotics는 Ultralytics YOLO supporting precise food assembly의 실용적인 예를 제공합니다. 전송 가능한 교훈은 모든 조립 라인이 동일한 이미징 문제를 가지고 있다는 것이 아니라, 학습된 인퍼런스 모델이 더 큰 로봇 또는 생산 워크플로의 한 구성 요소가 될 수 있다는 점입니다.
Ultralytics가 제공하지 않는 것. 이것은 검사 스테이션이 아닌 인퍼런스 레이어입니다. 카메라, 렌즈, 조명, 인클로저, 트리거, 엣지 컴퓨터, PLC 연결, 작업자 HMI 및 스테이션 검증은 귀하 또는 통합업체의 몫으로 남으며, 이는 작업의 큰 부분을 차지합니다. 공장에서 현장 엔지니어가 포함된 지원되는 턴키 스테이션을 원하는 경우 Cognex나 Keyence와 같은 기존 머신비전 공급업체가 더 타당한 선택이며, Ultralytics Platform은 이들의 수십 년 간의 배포 역사에 대항하여 2026년 3월에 출시되었습니다.
롤아웃 체크리스트#
- 모든 검사를 시각적 증거와 운영 작업으로 정의하십시오.
- 다른 센서나 시스템이 필요한 비시각적 요구 사항을 기록하십시오.
- 실제 부품으로 카메라, 렌즈, 조명, 트리거 및 마운팅을 검증하십시오.
- 모델과 별도로 제품 규칙 버전을 관리하십시오.
- 모든 제품 변형 및 진행 중인 작업 상태를 테스트하십시오.
- 검토, 재스캔, 우회 및 인시던트 절차를 제공하십시오.
- 입력 품질, 서비스 상태, 검토된 모델 오류 및 생산 결과를 모니터링하십시오.
- 카메라, 조명, 치구, 제품 또는 공정 변경 후 다시 검증하십시오.
자주 묻는 질문
이는 관찰 가능한 조립 상태를 확인하고 오류가 후속 공정으로 이동하기 전에 조치를 지원하는 시각적 오류 방지 기능입니다. 비전 결과는 대개 제품 규칙 및 제조 워크플로와 결합됩니다.
네, 관련 상태가 시간에 따라 가시적인 경우 가능합니다. 감지 또는 트래킹을 통해 관측값이 제공되며, 상태 머신이 이를 승인된 공정 순서와 비교합니다. 시스템은 누락된 프레임, 반복된 단계, 불확실한 관측값을 처리할 수 있어야 합니다.
일반적으로 외관만으로는 어렵습니다. 비전은 가시적인 체결구의 존재 여부, 위치 또는 마킹을 확인할 수 있으며, 토크는 검증된 툴 컨트롤러나 센서에서 측정되어야 합니다.
조립 검증은 구성, 존재 여부, 방향, 공정 상태를 확인합니다. 결함 검사는 손상이나 품질 이상을 찾습니다. 하나의 스테이션에서 두 작업을 모두 수행할 수 있지만, 데이터, 로직, 합격 기준은 명확하게 유지되어야 합니다.
증거에 따라 다릅니다. 통제된 전체 이미지 상태에는 분류(classification), 부품 존재 및 개수 확인에는 감지(detection), 경계 및 중첩에는 분할(segmentation), 형상에는 포즈(pose) 또는 회전된 박스(oriented boxes), 순서에는 트래킹(tracking)이 적합합니다. 필요한 증거를 안정적으로 보여주는 가장 간단한 작업을 테스트해 보세요.
