조립 및 피크 앤 플레이스를 위한 비전 유도 로보틱스

픽앤플레이스 로봇에 가장 적합한 비전 소프트웨어는 무엇보다도 작업 장면에 따라 달라집니다. 객체가 시각적으로 구별되고 깊이를 제한하거나 별도로 제공할 수 있는 경우 Ultralytics YOLO와 같은 구성 가능한 2D 컴퓨터 비전 스택을 사용하십시오. 무작위 빈(bin) 지오메트리, 포인트 클라우드 처리, 캘리브레이션 및 그라스프 생성이 하나의 지원 시스템으로 통합되어야 하는 경우 Pickit, Mech-Mind, Photoneo, Zivid, Apera AI와 같은 공급업체의 통합 3D 로봇 비전 제품을 고려해 보십시오. Cognex 또는 Keyence의 전통적인 산업용 비전 스위트는 엄격하게 제어되는 셀 및 기존 자동화 환경에 매우 적합할 수 있습니다.

어떠한 모델도 완벽한 피킹 시스템은 아닙니다. 프로덕션 셀은 센싱, 인지, 좌표 변환, 그라스프 선택, 모션 플래닝, 로봇 제어 및 장애 복구를 결합합니다.

픽앤플레이스 비전 옵션 비교#

공급업체마다 패키징하는 레이어가 다릅니다. 인지 인터페이스뿐만 아니라 전체 자재 명세서(BOM)와 운영 책임을 비교하십시오.

피킹 지오메트리부터 시작하십시오#

소프트웨어를 선택하기 전에 태스크를 분류하십시오:

• 고정 2D 픽: 부품이 알려진 평면에 놓여 있으며 로봇은 이미지 위치와 방향이 필요합니다.
• 컨베이어 픽: 객체가 이동하므로 감지, 트래킹, 타이밍 및 엔코더 동기화가 중요합니다.
• 구조화된 트레이: 알려진 포켓이 위치를 제한하지만 변형이나 방향은 여전히 검증이 필요합니다.
• 무작위 빈 피킹: 부품들이 서로 다른 깊이에서 겹쳐 있으며 3D 인지 및 충돌 인지형 그라스프 플래닝이 필요합니다.
• 유연성 또는 변형 가능 객체: 피킹 간에 모양이 변경되므로 세그멘테이션과 그라스프 선택이 더욱 어려워집니다.
• 조립 삽입: 공차 및 최종 정렬은 대략적인 객체 위치 파악을 넘어 추가적인 센싱이 필요할 수 있습니다.

제한된 지오메트리에서는 2D 시스템이 가장 간단하고 신뢰할 수 있는 옵션일 수 있습니다. 무작위 빈의 경우 이미지 위치만으로는 안전한 로봇 타겟을 제공할 수 없으므로 대개 깊이 정보나 멀티뷰 재구성이 필요합니다.

비전 유도 로봇의 6가지 레이어#

1. 센싱#

필요한 증거에 따라 영역 스캔, 라인 스캔, 스테레오, 구조광, 비행시간측정(ToF) 또는 기타 센서 중에서 선택하십시오. 시야(FOV), 최소 피처, 작업 거리, 깊이 범위, 표면 속성, 모션 및 환경 제약 조건을 기록하십시오.

반사성, 어두운 색상, 투명 및 텍스처가 없는 부품은 깊이 센싱에 어려움을 줄 수 있습니다. 실제 부품, 빈, 라이너 및 조명을 테스트하십시오. 유리한 객체를 사용한 공급업체 데모는 셀 트라이얼을 대체할 수 없습니다.

2. 인지#

감지는 객체를 찾아내고 분류하며, 세그멘테이션은 객체 윤곽을 제공하고, 지향성 바운딩 박스는 회전된 범위를 추정하며, 포즈 모델은 키포인트를 식별하고, 트래킹은 시간에 따라 객체를 연결합니다. Ultralytics YOLO는 이러한 여러 컴퓨터 비전 태스크를 단일 모델 생태계에서 지원합니다.

인지 출력은 다운스트림 그라스프 플래너가 안정적으로 처리할 수 있을 만큼 안정적이어야 합니다. 데이터셋 전반의 점수뿐만 아니라 국소화 오차, 누락 및 중복 객체, 마스크 품질, 방향 오차, 겹침 상황에서의 거동을 평가하십시오.

3. 캘리브레이션 및 좌표#

시스템은 카메라 좌표계의 관측값을 로봇 또는 셀 좌표계로 변환합니다. 핸드아이 캘리브레이션, 카메라 마운팅, 렌즈 효과, 깊이 정렬 및 툴 센터 포인트(TCP) 캘리브레이션은 모두 픽 오차에 영향을 줍니다.

캘리브레이션을 유지 관리되는 프로덕션 자산으로 취급하십시오. 절차와 허용된 잔차를 기록하고, 카메라 마운트를 보호하며, 툴링이나 유지 보수가 재보정을 트리거하는 시점을 정의하십시오.

4. 그라스프 플래닝#

그라스프 선택 시 도달 가능한 표면, 그리퍼 지오메트리, 객체 안정성, 충돌 위험, 인접 부품 및 목적지 포즈를 고려합니다. 2D 모델은 규칙 기반 그라스프 로직에 객체 위치와 방향을 제공할 수 있습니다. 3D 솔루션은 포인트 클라우드에서 순위가 매겨진 그라스프 후보를 생성할 수 있습니다.

가장 신뢰도가 높은 감지가 반드시 가장 안전한 픽인 것은 아닙니다. 인지 신뢰도, 그라스프 품질 및 경로 실현 가능성을 별도의 신호로 유지하십시오.

5. 모션 및 로봇 통합#

로봇 어댑터나 API는 타겟을 컨트롤러에 전달합니다. 인테그레이터는 타이밍, 좌표 프레임, 속도, 구역, 충돌 모델, 컨베이어 모션 및 확인 응답을 관리해야 합니다. 안전 기능은 검증되지 않은 모델 출력이 아니라 검증된 로봇 및 셀 안전 아키텍처에 속해야 합니다.

6. 복구#

유효한 객체 없음, 불확실한 클래스, 안전한 그라스프 없음, 부품 낙하, 픽업 실패, 이동된 빈, 오래된 프레임, 카메라 사용 불가 또는 반복 시도와 같은 예상되는 실패 상태를 설계하십시오. 쉬운 픽에서는 성공하지만 모든 예외 상황 후에 수동 재설정이 필요한 셀은 확장할 수 없습니다.

Ultralytics가 적합한 영역#

Ultralytics Platform은 이미지 데이터를 정리 및 주석 처리하고, Ultralytics YOLO 모델을 학습시키며, 모델 버전을 관리할 수 있습니다. 그런 다음 플랫폼 엔드포인트를 통해 모델을 배포하거나 셀 근처의 로보틱스 런타임에 통합하기 위해 내보낼 수 있습니다.

이 접근 방식은 차별화 요소가 맞춤형 객체 클래스, 변경되는 SKU, 특이한 시각적 조건 또는 애플리케이션별 인지에 있을 때 유용합니다. 또한 팀이 주변 카메라, 깊이 소스, 그라스프 플래너 및 로봇 프레임워크를 선택할 수 있도록 합니다.

이는 통합형 3D 빈 피킹 제품의 모든 구성 요소를 대체하는 것은 아닙니다. 로보틱스 인지 및 통합 전문성이 없는 조직은 캘리브레이션, 3D 처리, 그라스프 로직 및 인증된 로봇 어댑터를 포함하는 지원 패키지를 선호할 수 있습니다.

공급업체를 평가하는 방법#

모든 트라이얼에 동일한 부품과 셀 조건을 사용하십시오. 가득 찬 빈과 거의 빈 빈, 최악의 겹침, 손상된 포장, 변형 혼합물, 반사 표면, 일반적인 오염 및 예상되는 조명 변화를 포함하십시오.

측정 항목:

• 부품 및 빈 상태별 유효 픽 레이트.
• 인지 및 복구를 포함한 사이클 타임 분포.
• 첫 번째 시도 픽업 확인.
• 오분류, 중복 타겟 및 충돌 위험 이벤트.
• 수동 개입 및 재설정 시간.
• 유지 보수 또는 진동 후 캘리브레이션 안정성.
• 새로운 SKU를 추가하고 업데이트를 검증하는 데 걸리는 시간.
• 진단에 사용할 수 있는 로그 및 증거.

각 공급업체에 카메라, 모델, 그라스프 플래너, 로봇 및 외부 센서 중 어떤 요소에서 측정값이 유래하는지 식별하도록 요청하십시오. 이를 통해 아키텍처와 소유권을 가시화할 수 있습니다.

2D 대 3D 결정 가이드#

부품이 알려진 평면에 유지되고, 그라스프 높이가 고정되어 있으며, 겹침이 제한되고, 명확한 시각적 피처로 클래스와 방향이 결정되는 경우 2D를 먼저 선택하십시오. 조명, 라벨링, 디버깅 및 운영이 더 쉬운 경우가 많습니다.

높이가 다양하고, 파일(pile)이 심각한 겹침을 유발하며, 표면 지오메트리가 그라스프를 결정하고, 충돌 여유 공간이 좁거나, 로봇이 혼잡한 볼륨을 추론해야 하는 경우 3D를 선택하십시오. 일부 셀은 학습된 2D 인지와 등록된 깊이를 결합하여 맞춤형 분류를 유지하면서 3D 좌표를 얻습니다.

센서 트렌드에 따라 결정하지 마십시오. 셀의 최악의 경우 테스트를 통과하는 가장 낮은 복잡도의 센싱 구성을 사용하십시오.

구현 체크리스트#

• 객체, 포즈, 사이클 및 복구 요구사항을 정의하십시오.
• 전체 빈 및 환경 범위에 걸쳐 실제 부품을 캡처하십시오.
• 지오메트리와 표면 거동에 따라 센싱을 선택하십시오.
• 모델 정확도와 독립적으로 캘리브레이션 및 좌표 변환을 검증하십시오.
• 실제 그리퍼와 인접 객체를 사용하여 그라스프 플래너를 테스트하십시오.
• 로봇 안전 기능을 학습된 인지로부터 분리하십시오.
• 감지, 변환, 그라스프 후보, 컨트롤러 응답 및 결과를 로깅하십시오.
• 불확실하거나 완료된 케이스에 대해 사람의 복구를 제공하십시오.
• 모든 신규 모델, SKU, 그리퍼, 카메라 및 셀 구성에 대해 회귀 테스트를 수행하십시오.