컴퓨터 비전을 활용한 조립 검증 및 오류 방지

컴퓨터 비전은 공정이 다음 단계로 진행되기 전에 올바른 부품이 있는지, 올바른 위치와 방향으로 설치되었는지, 예상된 순서대로 설치되었는지를 확인하여 조립 오류를 방지할 수 있습니다. 모델은 시각적 관측 결과를 제공하고, 상태 머신 또는 제조 애플리케이션은 제품별 규칙을 적용하여 작업자나 제어 시스템에 통과, 검토 또는 중지 결정을 전달합니다.

이는 일반적인 결함 감지와 다릅니다. 결함 검사는 표면이나 부품이 손상되었는지 확인합니다. 조립 검증은 관측된 조립 상태가 작업 지침이나 공정표와 일치하는지 확인합니다.

조립 라인에서 비전으로 검증할 수 있는 항목#

먼저 관측 가능한 증거와 추론된 공정 사실을 구분합니다. 카메라로 볼트 머리가 있는지는 확인할 수 있지만, 볼트가 요구 토크로 조여졌는지는 확인할 수 없습니다. 요구 사항을 시각적으로 관측할 수 없는 경우에는 비전과 공구 컨트롤러 또는 센서 데이터를 함께 사용합니다.

참조 아키텍처#

조립 검증 시스템은 일반적으로 다음 여섯 계층으로 구성됩니다.

1. 트리거: PLC 신호, 센서, 로봇 상태 또는 작업자 동작이 검증 시점을 지정합니다.
2. 캡처: 하나 이상의 카메라가 제어된 이미지 또는 짧은 시퀀스를 촬영합니다.
3. 추론: 컴퓨터 비전 모델이 부품, 영역, 키포인트 또는 조립 상태를 감지합니다.
4. 의사결정 로직: 제품 규칙이 관측 결과를 예상된 제품 변형 및 공정 단계와 비교합니다.
5. 조치: 시스템이 안내를 표시하거나, 검토를 요청하거나, 통과 결과를 기록하거나, 승인된 제어 경로를 통해 다음 단계로의 진행을 차단합니다.
6. 추적성: 애플리케이션이 작업 지시, 모델 및 규칙 버전, 결과, 보존 정책에서 허용하는 증거를 기록합니다.

추론과 의사결정 로직은 분리합니다. 동일한 모델이 여러 제품에 사용되는 부품을 인식할 수 있지만, 특정 작업 지시에 필요한 부품은 규칙으로 지정합니다.

적합한 비전 작업 선택#

전체 화면의 구도가 엄격히 제어되고 조립 완료, 미완료 또는 방향 오류와 같이 출력 상태가 몇 가지로 제한되는 경우에는 분류를 사용합니다. 효율적일 수 있지만, 문제를 해결할 때 위치를 파악하는 데에는 한계가 있습니다.

애플리케이션에서 보이는 여러 부품의 위치를 찾고 개수를 세어야 한다면 객체 감지를 사용합니다. Ultralytics YOLO 모델은 한 이미지에서 여러 부품 클래스를 감지하고 후속 규칙에서 사용할 위치를 반환할 수 있습니다.

부품 경계, 겹침 또는 피복 범위가 중요하다면 인스턴스 세그멘테이션을 사용합니다. 마스크를 활용하면 씰, 접착 영역 또는 유연한 부품이 예상 영역을 차지하는지 확인할 수 있습니다.

키포인트나 회전이 중요한 신호인 경우 포즈 추정 또는 방향 지정 바운딩 박스를 사용합니다. 선택한 표현 방식이 실제 형상과 시점에서 안정적인지 검증합니다.

순서나 연속성이 중요하다면 추적을 사용합니다. 추적기는 프레임 간 관측 결과를 연결하고, 상태 머신은 승인된 단계가 순서대로 발생했는지 판단합니다.

학습 전에 이미징 스테이션 설계#

카메라가 촬영하지 못한 증거를 모델 품질로 보완할 수는 없습니다. 각 검사 항목에 대해 판별해야 하는 최소 크기의 특징, 허용되는 부품 움직임, 사이클 타임, 작업 거리, 깊이 변화, 반사, 가림, 진동을 문서화합니다.

가능한 경우 조명을 제어합니다. 확산광은 반사 표면의 눈부심을 줄이고, 백라이트는 실루엣과 간격을 더 선명하게 만들며, 스트로브 조명은 모션 블러를 줄일 수 있습니다. 적합한 설계는 재료와 형상에 따라 다르므로 실제 부품과 오염 조건에서 테스트합니다.

단일 카메라로 필요한 모든 특징을 관측할 수 없다면 여러 시점을 사용합니다. 카메라를 무조건 추가하지 마세요. 시점이 추가될 때마다 보정, 동기화, 컴퓨팅, 유지보수, 데이터 관리 작업이 늘어납니다. 각 카메라는 문서화된 증거 공백을 해소해야 합니다.

검증 후에는 카메라 설정을 고정하거나 모니터링합니다. 엔드포인트가 정상 상태여도 초점, 노출, 크롭 또는 마운트가 바뀌면 데이터 분포가 무효화될 수 있습니다.

조립 데이터셋 구축#

관련된 모든 제품 변형, 스테이션, 교대조, 배경, 툴링 상태, 일반적인 작업자 동작을 촬영합니다. 오류뿐 아니라 어렵지만 유효한 상태도 포함합니다. 모든 '양품' 이미지가 하루 동안 촬영되고 모든 '불량' 이미지가 다른 날 촬영되었다면, 모델은 조립 상태가 아니라 조명이나 지그의 차이를 학습할 수 있습니다.

부분적으로 보이는 부품, 모호한 상태, 반사, 중복 부품, 작업 진행 중인 상태에 대한 라벨링 규칙을 작성합니다. 거의 동일한 비디오 프레임을 무작위로 나누지 말고 생산 실행, 시간, 스테이션 또는 사업장별로 검증 데이터를 분리합니다.

Ultralytics Platform은 데이터셋 구성, 어노테이션, 모델 학습, 모델 관리를 통합된 워크플로로 지원합니다. 데이터 수집 및 어노테이션 가이드를 통해 팀이 촬영 및 라벨링 방식을 체계화할 수 있습니다.

공정 로직 및 통합 추가#

애플리케이션에는 현재 제품의 예상 조립 구성이 필요합니다. 작업 지시, 레시피 또는 제조 시스템과 같은 승인된 출처에서 구성을 가져온 다음, 버전 관리되는 시각적 규칙에 매핑합니다.

규칙은 다음과 같은 항목을 요구할 수 있습니다.

• 지그 영역 안에 하우징 하나가 있어야 합니다.
• 승인된 위치에 클립 두 개가 있어야 합니다.
• 커넥터 키포인트가 허용 오차 범위 내에서 목표 위치에 있어야 합니다.
• 상태 A가 상태 B보다 먼저 발생해야 하며, 그 사이에 승인되지 않은 상태가 없어야 합니다.
• 필수 관측 결과가 결정 임계값 미만이면 작업자의 검토가 필요합니다.

비전 시스템과 제어 시스템 사이에 안정적인 이벤트 계약을 사용합니다. 결과, 사유, 타임스탬프, 스테이션, 모델 버전, 규칙 버전, 관련 관측 결과를 포함합니다. 검증된 애플리케이션 계층과 적절한 보호 장치 없이 원시 모델 출력을 안전 필수 또는 모션 제어 로직에 직접 전달하지 마세요.

작업자 경험도 정확도의 일부입니다#

빨간색 또는 초록색 표시등만으로는 충분한 정보를 제공하기 어려운 경우가 많습니다. 제품이 검사를 통과하지 못하면 어떤 요구 사항이 실패했는지와 관련 부품이 있어야 했던 위치를 표시합니다. 반사, 손 또는 일시적인 가림으로 불필요한 재작업이 발생하지 않도록 통제된 재촬영 또는 검토 절차를 제공합니다.

작업자의 수정 사항을 구조화된 피드백으로 수집합니다. 모델 오류, 규칙 오류, 잘못된 작업 지시 매핑, 카메라 문제, 실제 조립 문제를 구분합니다. 이러한 분류를 바탕으로 팀은 수정할 대상을 파악할 수 있습니다.

전체 스테이션 검증#

조립 요구 사항 및 제품 변형별로 측정합니다. 유용한 운영 지표에는 조립 오류 미검출, 오검출에 따른 공정 중단, 검토 비율, 사이클 타임 영향, 사용할 수 없는 검사, 카메라 또는 네트워크 중단 후 성공적인 복구가 포함됩니다.

다음 조건으로 스테이션을 테스트합니다.

• 승인된 제품 변형과 승인되지 않은 제품 변형.
• 부분 조립 및 순서가 잘못된 단계.
• 손과 공구에 의한 가림.
• 조명 변화, 반사 부품, 블러, 오염.
• 카메라 이동 및 초점 변화.
• 부품 중복, 누락, 회전 또는 위치 오류.
• 트리거 유실, 중복 트리거, 지연된 결과.

배포 전에 고정된 회귀 테스트 세트에서 기존 모델과 후보 모델을 실행합니다. 리스크가 큰 경우 새 의사결정 로직이 프로세스를 제어하지 않도록 섀도 모드로 운영한 뒤 결과를 검토합니다.

조립 검증을 위한 Ultralytics#

제조 분야의 컴퓨터 비전은 감지, 세그멘테이션, 포즈, 추적을 활용해 눈에 보이는 조립 상태를 표현할 수 있습니다. Ultralytics Platform은 어노테이션, 학습, 배포를 연결하며, 내보낸 Ultralytics YOLO 모델은 해당 스테이션에 적합한 클라우드, 온프레미스 또는 엣지 아키텍처에서 실행할 수 있습니다.

Chef Robotics는 Ultralytics YOLO를 활용한 정밀 식품 조립의 실용적인 사례입니다. 여기서 다른 분야에도 적용할 수 있는 교훈은 모든 조립 라인이 동일한 이미징 문제를 겪는다는 것이 아니라, 학습된 인식 모델이 더 큰 로봇 또는 생산 워크플로의 한 구성 요소가 될 수 있다는 점입니다.

Ultralytics에서 제공하지 않는 항목. 이는 인식 계층이지 검사 스테이션이 아닙니다. 카메라, 렌즈, 조명, 인클로저, 트리거, 엣지 컴퓨터, PLC 연결, 작업자 HMI, 스테이션 검증은 고객 또는 통합업체가 담당하며, 이러한 항목이 전체 작업에서 더 큰 비중을 차지합니다. 현장에서 엔지니어가 지원하는 턴키 스테이션을 원하는 공장이라면 Cognex 또는 Keyence와 같은 기존 머신 비전 업체를 선택하는 것이 더 적절합니다. Ultralytics Platform은 2026년 3월에 출시되었으며, 해당 업체들은 수십 년간 배포 경험을 쌓아 왔습니다.

도입 체크리스트#

• 모든 검사를 눈으로 확인할 수 있는 증거와 운영 조치로 정의합니다.
• 다른 센서나 시스템이 필요한 비시각적 요구 사항을 기록합니다.
• 실제 부품으로 카메라, 렌즈, 조명, 트리거, 마운트를 검증합니다.
• 제품 규칙은 모델과 별도로 버전 관리합니다.
• 모든 제품 변형과 작업 진행 중 상태를 테스트합니다.
• 검토, 재검사, 우회 및 사고 대응 절차를 제공합니다.
• 입력 품질, 서비스 상태, 검토된 모델 오류 및 운영 결과를 모니터링합니다.
• 카메라, 조명, 고정 장치, 제품 또는 공정이 변경된 후 다시 검증합니다.