컴퓨터 비전이 AMR, AGV 및 자율주행 지게차를 안내하는 방법

컴퓨터 비전은 자율이동로봇(AMR), 무인운반차(AGV) 및 자율주행 지게차가 사람, 파레트, 랙, 화물, 표지판, 바닥 구역 및 기타 차량을 인식하는 데 도움을 줍니다. Ultralytics YOLO는 해당 인식 스택 내에서 감지, 분할, 포즈 및 트래킹 관측값을 제공할 수 있습니다. 이는 위치 추정, 경로 계획, 차량 제어 또는 검증된 안전 시스템을 대체하지 않습니다.

최적의 아키텍처는 대개 센서 융합입니다. 카메라는 의미론적 이해와 풍부한 외형 정보를 제공합니다. 라이다와 깊이 센서는 기하학과 거리 정보를 제공합니다. 엔코더와 관성 센서는 모션 정보를 제공합니다. 내비게이션 시스템은 차량, 환경 및 위험 평가에 따라 이러한 입력들을 결합합니다.

AMR, AGV 및 자율주행 지게차의 요구사항은 서로 다릅니다.#

AGV는 종종 고정되거나 반고정된 경로를 따르며 마커, 반사판 또는 매핑된 경로와 같은 인프라에 의존합니다. AMR은 일반적으로 매핑된 환경에서 변화하는 장애물을 피해 경로를 계획합니다. 자율주행 지게차는 화물 처리, 마스트 및 포크 기하학, 고소 적재 화물, 그리고 파레트 및 랙 주변에서의 상호작용 요소가 추가됩니다.

라벨을 요구사항의 대체물로 사용하지 마십시오. 다음을 정의하십시오:

• 작동 구역 및 허용된 경로.
• 차량 속도, 정지 동작 및 페이로드 범위.
• 반드시 인식해야 하는 사람, 차량 및 객체 클래스.
• 실내외 조명, 날씨, 먼지 및 바닥 상태.
• 필요한 위치 추정 및 맵 동작.
• 차량과 화물에 의해 생성되는 사각지대.
• 네트워크 가용성 및 온보드 연산 제한.
• 적용 가능한 기계, 차량 및 작업장 안전 요구사항.

컴퓨터 비전이 기여하는 부분#

내비게이션 애플리케이션은 명시적이고 타임스탬프가 찍힌 관측값을 사용해야 합니다. 오래되거나 일관되지 않은 데이터를 거부할 수 있도록 각 결과의 카메라 프레임, 모델 버전, 신뢰도 및 경과 시간을 알아야 합니다.

카메라, 라이다 및 깊이 센서는 상호 보완적입니다.#

단안 카메라는 상대적으로 낮은 하드웨어 복잡도로 색상과 텍스처를 제공하지만 미터법 깊이를 직접 측정하지는 않습니다. 스테레오 및 능동형 깊이 카메라는 작동 범위 내에서 거리를 추정합니다. 라이다는 직접적인 기하학적 측정을 제공하며 외형이 변하는 곳에서도 유용하게 유지될 수 있지만 재질, 날씨 및 기하학적 구조는 여전히 중요합니다.

센서 선택은 고장 분석에 따라야 합니다. 하나의 센서가 차단되거나, 포화되거나, 오염되거나, 사용할 수 없게 될 경우 어떤 위험이나 내비게이션 기능이 누락될지 자문해 보십시오. 중복성은 고장 모드가 충분히 독립적이고 융합 로직이 불일치를 처리할 때만 도움이 됩니다.

카메라 배치는 선회, 후진, 포크 위치 및 변경되는 화물을 고려해야 합니다. 허용된 최대 화물과 모든 마스트 상태에서 시야각(FOV)을 검증하십시오. 유지보수 절차에 청소, 검사 및 정렬 확인을 추가하십시오.

고립된 이미지가 아닌 경로 기반으로 인식 데이터셋을 구축하십시오.#

현장, 교대조, 통로 유형, 교차로, 도킹 구역, 사람 및 차량 통행, 화물 상태 및 유지보수 조건 전반에 걸쳐 완전한 경로 조건을 수집하십시오. 포스터, 반사, 마네킹, 적재된 자재, 그리고 타겟 클래스와 유사한 부분 뷰와 같은 하드 네거티브를 포함하십시오.

훈련 및 테스트에서 거의 중복되는 비디오 프레임을 피하기 위해 경로, 시간 또는 현장별로 평가 데이터를 분할하십시오. 거리, 가림 현상, 조명, 모션 및 객체 유형별로 성능을 보고하십시오. 단일 평균값은 교차로 나 도킹 구역 근처에서 가장 중요한 사례들을 가릴 수 있습니다.

Ultralytics Platform은 커스텀 Ultralytics YOLO 인식 모델에 대한 어노테이션, 훈련 및 버전 관리를 지원할 수 있습니다. 내보낸 모델은 차량의 연산 및 지연 시간 제약에 맞춰 선택된 지원되는 온보드 또는 엣지 런타임에서 실행될 수 있습니다.

인식을 ROS 2 또는 기타 로봇 공학 스택과 통합하십시오.#

로봇 공학 통합은 일반적으로 타임스탬프와 좌표계 정보가 포함된 감지 결과나 마스크를 발행합니다. 변환 레이어는 카메라 좌표를 차량과 연관시킵니다. 내비게이션 또는 동작 레이어는 맵, 거리 센서, 오도메트리 및 태스크 상태와 함께 관측값을 사용합니다.

다음 사항을 고려하여 설계하십시오:

• 센서 간 시간 동기화.
• 제한된 지연 시간 및 만료된 메시지 거부.
• 카메라 상태 및 모델 상태.
• 센서 간 불일치 시 명시적인 동작.
• 이벤트를 재현하기에 충분한 기록된 데이터.
• 버전이 지정된 메시지 스키마 및 모델 출력.
• 인식, 위치 추정 및 계획 간의 리소스 경합.

문서화되지 않은 모델 출력에 내비게이션을 직접 결합하는 것을 피하십시오. 안정적인 인터페이스를 통해 차량 동작을 조용히 변경하지 않고도 인식을 진화시킬 수 있습니다.

안전 경계#

범용 컴퓨터 비인은 인식 및 운영 결정을 지원할 수 있지만 인증된 보호 장치로 설명되어서는 안 됩니다. 차량 정지, 보호 필드, 비상 기능 및 안전 검증은 해당 안전 아키텍처 및 유능한 엔지니어링 프로세스에 속합니다.

모델, 카메라, 연산 장치 또는 네트워크가 고장 났을 때 발생하는 상황을 문서화하십시오. 시스템 설계에 따라 안전 상태에는 속도 감소, 제어된 정지, 경로 제한 또는 다른 작동 모드로의 전환이 필요할 수 있습니다. 완전한 차량에서 이러한 동작을 검증하십시오.

평가 계획#

인식, 내비게이션 및 운영을 별도로 그리고 함께 테스트하십시오.

인식 테스트#

• 거리, 방향, 조명 및 가림 현상별 감지 및 위치 추정.
• 교차로 및 임시 장애물 통과 시 트래킹 연속성.
• 배경 객체 및 반사로 인한 오탐지(False Positive).
• 오염되거나, 위치가 틀렸거나, 흐리거나, 부분적으로 차단된 카메라에서의 성능.
• 타겟 연산 장치에서의 엔드투엔드 지연 시간 및 리소스 사용량.

내비게이션 테스트#

• 교차로, 좁은 통로, 합류, 추월, 후진 및 도킹.
• 대표 속도에서의 정적 및 동적 장애물.
• 맵 변경, 임시 차단물 및 경로 폐쇄.
• 센서 불일치, 메시지 지연 및 누락된 입력.
• 위치 추정 손실 또는 사용할 수 없는 인식 컴포넌트로부터의 복구.

운영 테스트#

• 파레트 종류별 화물 픽업, 운송 및 배치.
• 고소 적재 화물 또는 시야를 가리는 화물에서의 동작.
• 교대조 변경, 충전, 시작, 종료 및 유지보수.
• 사건 재구성 및 모델 롤백.

미션 완료율, 개입 횟수, 경로 지연, 가용 시간, 인식 오류 및 복구 동작을 측정하십시오. 모델 정확도만으로 내비게이션 안전성을 유추하지 마십시오.

배포 선택#

온보드 추론은 네트워크 연결성에 대한 의존성을 최소화하고 고속 센서 데이터를 차량에 유지할 수 있습니다. 이는 제어된 소프트웨어 업데이트, 리소스 모니터링, 스토리지 관리 및 함대(Fleet) 전반의 하드웨어 지원이 필요합니다.

중앙 집중식 서비스는 모델 관리를 단순화하고 검토 데이터를 집계할 수 있지만 실시간 차량 동작은 네트워크 지연 및 손실을 고려해야 합니다. 하이브리드 설계는 온보드에서 즉각적인 인식을 실행하는 동시에 승인된 모델 아티팩트, 메타데이터 및 선택된 검토 샘플을 중앙에서 관리할 수 있습니다.

단계적 릴리스를 사용하십시오. 광범위한 출시 전에 기록된 리플레이부터 시작하여 테스트 구역, 섀도우 관측, 제한된 운영 및 제어된 함대 하위 집합 순으로 진행하십시오. 롤백을 위해 알려진 안정적인 모델과 구성을 유지하십시오.