조립 및 픽앤플레이스를 위한 비전 가이드 로보틱스

픽앤플레이스 로봇에 가장 적합한 비전 소프트웨어는 우선 작업 환경에 따라 달라집니다. 물체를 시각적으로 구별할 수 있고 깊이 정보를 제한하거나 별도로 제공할 수 있다면 Ultralytics YOLO와 같은 구성 가능한 2D 컴퓨터 비전 스택을 사용하십시오. 무작위 적재 빈의 형상 처리, 포인트 클라우드 처리, 캘리브레이션, 그립 생성이 하나의 지원 시스템으로 제공되어야 한다면 Pickit, Mech-Mind, Photoneo, Zivid, Apera AI와 같은 공급업체의 통합 3D 로봇 비전 제품을 고려하십시오. Cognex 또는 Keyence의 기존 산업용 비전 제품군은 엄격하게 제어되는 셀과 기존 자동화 환경에 적합할 수 있습니다.

어떤 모델도 완전한 픽킹 시스템은 아닙니다. 생산 셀은 센싱, 인식, 좌표 변환, 그립 선택, 모션 계획, 로봇 제어, 오류 복구를 통합합니다.

픽앤플레이스 비전 옵션 비교#

공급업체마다 패키징하는 계층이 다릅니다. 인식 인터페이스만 비교하지 말고 전체 자재 명세서와 운영 책임을 비교하십시오.

픽킹 형상부터 파악합니다#

소프트웨어를 선택하기 전에 작업을 분류하십시오.

• 고정형 2D 픽킹: 부품이 알려진 평면에 놓여 있고 로봇에는 이미지 위치와 방향 정보가 필요합니다.
• 컨베이어 픽킹: 물체가 이동하므로 감지, 추적, 타이밍, 엔코더 동기화가 중요합니다.
• 정형 트레이: 알려진 포켓이 위치를 제한하지만 변형이나 방향은 여전히 확인해야 합니다.
• 무작위 빈 픽킹: 부품이 서로 다른 깊이에서 겹쳐 쌓여 있으므로 3D 인식과 충돌을 고려한 그립 계획이 필요합니다.
• 유연하거나 변형 가능한 물체: 픽킹할 때마다 형상이 바뀌므로 세그멘테이션과 그립 선택이 더 어려워집니다.
• 조립 삽입: 허용 오차와 최종 정렬을 위해 대략적인 물체 위치 파악 이상의 추가 센싱이 필요할 수 있습니다.

형상이 제한된 작업에는 2D 시스템이 가장 단순하고 신뢰성 높은 선택일 수 있습니다. 무작위 빈 작업에는 대개 깊이 정보나 다중 시점 재구성이 필요합니다. 이미지 위치만으로는 안전한 로봇 목표 위치를 정할 수 없기 때문입니다.

비전 유도 로봇의 6개 계층#

1. 센싱#

필요한 정보에 따라 영역 스캔, 라인 스캔, 스테레오, 구조광, ToF 등의 센서를 선택합니다. 시야, 최소 특징 크기, 작동 거리, 깊이 범위, 표면 특성, 움직임, 환경 제약을 기록합니다.

반사성, 어두운 색상, 투명성, 질감 부족 등의 특성은 깊이 센싱을 어렵게 만들 수 있습니다. 실제 부품, 빈, 라이너, 조명 조건에서 테스트하십시오. 유리한 물체를 사용한 공급업체 데모는 셀 시험을 대체할 수 없습니다.

2. 인식#

감지는 물체의 위치와 클래스를 파악하고, 세그멘테이션은 물체 윤곽을 제공하며, 방향 경계 상자는 회전된 범위를 추정하고, 포즈 모델은 키포인트를 식별하며, 추적은 시간에 따라 물체를 연관 짓습니다. Ultralytics YOLO는 하나의 모델 생태계에서 이러한 컴퓨터 비전 작업 중 여러 가지를 지원합니다.

인식 출력은 후속 그립 플래너가 사용할 수 있을 만큼 안정적이어야 합니다. 데이터셋 전체 점수만 평가하지 말고 위치 오차, 누락 및 중복 감지, 마스크 품질, 방향 오차, 물체가 겹칠 때의 동작을 평가하십시오.

3. 캘리브레이션 및 좌표#

시스템은 카메라 좌표에서 로봇 또는 셀 좌표로 관측값을 변환합니다. 핸드-아이 캘리브레이션, 카메라 장착, 렌즈 효과, 깊이 정렬, 툴 중심점 캘리브레이션은 모두 픽 오차에 영향을 줍니다.

캘리브레이션을 지속적으로 관리해야 하는 생산 자산으로 취급하십시오. 절차와 허용 잔차를 기록하고 카메라 마운트를 보호하며, 툴링 또는 유지보수 작업으로 재캘리브레이션이 필요한 시점을 정하십시오.

4. 그립 계획#

그립 선택 시 접근 가능한 표면, 그리퍼 형상, 물체 안정성, 충돌 위험, 주변 부품, 목적지 포즈를 고려합니다. 2D 모델은 물체 위치와 방향을 규칙 기반 그립 로직에 제공할 수 있습니다. 3D 솔루션은 포인트 클라우드에서 순위가 매겨진 그립 후보를 생성할 수 있습니다.

신뢰도가 가장 높은 감지 결과가 반드시 가장 안전한 픽을 의미하지는 않습니다. 인식 신뢰도, 그립 품질, 경로 실행 가능성을 별도의 신호로 유지하십시오.

5. 모션 및 로봇 통합#

로봇 어댑터 또는 API가 목표값을 컨트롤러에 전달합니다. 통합업체는 타이밍, 좌표계, 속도, 구역, 충돌 모델, 컨베이어 움직임, 승인 응답을 관리해야 합니다. 안전 기능은 검증되지 않은 모델 출력이 아니라 검증된 로봇 및 셀 안전 아키텍처에 포함해야 합니다.

6. 복구#

유효한 물체 없음, 불확실한 클래스, 안전한 그립 없음, 부품 낙하, 픽업 실패, 빈 이동, 오래된 프레임, 카메라 사용 불가, 반복 시도 등 예상되는 오류 상태를 고려해 설계하십시오. 쉬운 픽은 성공하지만 예외가 발생할 때마다 수동으로 재설정해야 하는 셀은 확장할 수 없습니다.

Ultralytics를 활용할 수 있는 영역#

Ultralytics Platform에서 이미지 데이터를 정리하고 주석을 달며, Ultralytics YOLO 모델을 학습하고, 모델 버전을 관리할 수 있습니다. 이후 Platform 엔드포인트를 통해 모델을 배포하거나 셀 가까이에서 실행되는 로보틱스 런타임에 통합할 수 있도록 내보낼 수 있습니다.

이 접근 방식은 맞춤형 물체 클래스, 변경되는 SKU, 이례적인 시각적 조건, 애플리케이션별 인식이 차별화 요소인 경우에 유용합니다. 또한 팀이 주변 카메라, 깊이 정보 소스, 그립 플래너, 로봇 프레임워크를 선택할 수 있게 합니다.

통합 3D 빈 픽킹 제품의 모든 구성 요소를 대체하는 방식은 아닙니다. 로보틱스 인식 및 통합 전문성을 갖추지 않은 조직은 캘리브레이션, 3D 처리, 그립 로직, 인증된 로봇 어댑터가 포함된 지원 패키지를 선호할 수 있습니다.

공급업체 평가 방법#

모든 시험에서 동일한 부품과 셀 조건을 사용하십시오. 빈이 가득 찬 상태와 거의 빈 상태, 최악의 겹침, 손상된 포장, 다양한 변형 제품의 혼합, 반사 표면, 일반적인 오염, 예상되는 조명 변화를 포함하십시오.

측정 항목:

• 부품 및 빈 상태별 정상 픽업률.
• 인식 및 복구 시간을 포함한 사이클 시간 분포.
• 첫 시도 픽업 확인율.
• 오분류, 중복 타깃 및 충돌 위험 이벤트.
• 수동 개입 및 리셋 시간.
• 유지보수 또는 진동 후 캘리브레이션 안정성.
• 새 SKU를 추가하고 업데이트를 검증하는 데 걸리는 시간.
• 진단에 사용할 수 있는 로그 및 증거.

각 벤더에 어떤 측정값이 카메라, 모델, 그립 플래너, 로봇 및 외부 센서에서 나오는지 명시해 달라고 요청합니다. 이렇게 하면 아키텍처와 책임 소재를 명확히 파악할 수 있습니다.

2D와 3D 선택 가이드#

부품이 알려진 평면에 놓여 있고, 그립 높이가 고정되어 있으며, 겹침이 제한적이고, 명확한 시각적 특징으로 클래스와 방향을 판별할 수 있다면 먼저 2D를 선택합니다. 2D는 조명 설정, 라벨링, 디버깅 및 운영이 더 쉬운 경우가 많습니다.

높이가 다양하거나, 적재된 부품의 겹침이 상당하거나, 표면 형상이 그립을 결정하거나, 충돌 여유 공간이 좁거나, 로봇이 복잡한 물체로 가득 찬 공간을 추론해야 한다면 3D를 선택합니다. 일부 셀에서는 2D 학습 기반 인식과 정합된 depth를 결합해 맞춤형 분류를 유지하면서 3D 좌표를 얻습니다.

센서 유행에 따라 결정하지 마십시오. 셀의 최악 조건 테스트를 통과하는 구성 중 복잡도가 가장 낮은 센싱 구성을 사용합니다.

구현 체크리스트#

• 객체, 포즈, 사이클 및 복구 요구사항을 정의합니다.
• 빈과 환경의 전체 범위에서 실제 부품을 촬영합니다.
• 형상과 표면 특성에 따라 센싱 방식을 선택합니다.
• 모델 정확도와 별개로 캘리브레이션 및 좌표 변환을 검증합니다.
• 실제 그리퍼와 인접 객체를 사용해 그립 플래너를 테스트합니다.
• 로봇 안전 기능과 학습 기반 인식을 분리합니다.
• 검출 결과, 변환값, 그립 후보, 컨트롤러 응답 및 결과를 기록합니다.
• 불확실하거나 더 이상 시도할 수 없는 사례에 대해 사람이 복구할 수 있는 절차를 마련합니다.
• 새 모델, SKU, 그리퍼, 카메라 및 셀 구성을 추가할 때마다 회귀 테스트를 수행합니다.