컴퓨터 비전으로 AMR, AGV, 자율주행 지게차를 안내하는 방법

컴퓨터 비전은 자율 이동 로봇, 무인운반차 및 자율 지게차가 사람, 팔레트, 랙, 적재물, 표지판, 바닥 영역 및 다른 차량을 인식하는 데 도움이 됩니다. Ultralytics YOLO는 해당 인식 스택에서 탐지, 분할, 포즈 및 추적 관측값을 제공할 수 있습니다. Ultralytics YOLO는 위치 추정, 경로 계획, 차량 제어 또는 검증된 안전 시스템을 대체하지 않습니다.

가장 적합한 아키텍처는 대개 센서 퓨전입니다. 카메라는 의미론적 이해와 풍부한 외관 정보를 제공합니다. 라이다와 깊이 센서는 기하 정보와 거리를 제공합니다. 엔코더와 관성 센서는 움직임 정보를 제공합니다. 내비게이션 시스템은 차량, 환경 및 위험 평가에 따라 이러한 입력을 결합합니다.

AMR, AGV 및 자율 지게차의 요구 사항 차이#

AGV는 고정 또는 반고정 경로를 따르며 마커, 반사경 또는 맵 기반 경로와 같은 인프라에 의존하는 경우가 많습니다. AMR은 일반적으로 맵이 있는 환경에서 변화하는 장애물을 피해 경로를 계획합니다. 자율 지게차에는 적재물 취급, 마스트와 포크의 형상, 상승된 적재물, 팔레트 및 랙 주변에서의 상호작용이 추가됩니다.

요구 사항을 정의할 때 이러한 명칭에만 의존하지 않습니다. 다음 항목을 정의합니다.

• 운영 구역 및 허용 경로.
• 차량 속도, 정지 동작 및 적재 중량 범위.
• 인식해야 하는 사람, 차량 및 객체 클래스.
• 실내외 조명, 날씨, 먼지 및 바닥 상태.
• 필요한 위치 추정 및 맵 동작.
• 차량과 적재물로 인해 발생하는 사각지대.
• 네트워크 가용성 및 온보드 컴퓨팅 한도.
• 적용되는 기계, 차량 및 작업장 안전 요구 사항.

컴퓨터 비전의 기여 요소#

내비게이션 애플리케이션은 타임스탬프가 명시된 관측값을 사용해야 합니다. 결과가 오래되었거나 일관성이 없는 경우 제외할 수 있도록 카메라 프레임, 모델 버전, 신뢰도, 각 결과의 경과 시간을 알아야 합니다.

카메라, 라이다, 깊이 센서는 서로를 보완합니다#

모노큘러 카메라는 비교적 낮은 하드웨어 복잡도로 색상과 질감 정보를 제공하지만, 미터법 기준의 깊이를 직접 측정하지는 않습니다. 스테레오 카메라와 능동 깊이 카메라는 작동 범위 내에서 거리를 추정합니다. 라이다는 직접적인 기하 측정값을 제공하며 외관이 달라지는 환경에서도 유용할 수 있지만, 재질, 날씨, 기하 구조 역시 영향을 미칩니다.

센서 선택은 고장 분석을 바탕으로 해야 합니다. 센서 하나가 가려지거나 포화되거나 오염되거나 사용할 수 없을 때 놓칠 수 있는 위험 요소나 내비게이션 기능이 무엇인지 확인하세요. 고장 모드가 충분히 독립적이고 융합 로직이 불일치를 처리하는 경우에만 이중화가 도움이 됩니다.

카메라 배치를 정할 때 회전, 후진, 포크 위치, 적재물 변화를 고려해야 합니다. 허용되는 최대 적재물과 모든 마스트 상태에서 시야를 검증하세요. 유지보수 절차에 청소, 점검, 정렬 확인을 포함하세요.

개별 이미지가 아닌 경로를 바탕으로 인식 데이터셋을 구축하세요#

사이트, 교대 시간, 통로 유형, 교차로, 도크 구역, 사람과 차량의 통행, 적재 상태, 유지보수 상태를 아우르는 전체 경로 조건에서 데이터를 수집하세요. 포스터, 반사, 마네킹, 적재된 자재, 대상 클래스와 유사한 부분적인 시야 등 어려운 하드 네거티브도 포함하세요.

학습 및 테스트 데이터에 거의 중복되는 비디오 프레임이 포함되지 않도록 경로, 시간 또는 사이트별로 평가 데이터를 분리하세요. 거리, 가림, 조명, 움직임, 객체 유형별 성능을 보고하세요. 단일 평균값으로는 교차로나 도크 구역에서 가장 중요한 사례가 가려질 수 있습니다.

Ultralytics Platform은 맞춤형 Ultralytics YOLO 인식 모델의 어노테이션, 학습, 버전 관리를 지원할 수 있습니다. 내보낸 모델은 차량의 연산 및 지연 시간 제약에 맞게 선택한 지원 대상 온보드 또는 엣지 런타임에서 실행할 수 있습니다.

ROS 2 또는 다른 로보틱스 스택과 통합하세요#

로보틱스 통합에서는 일반적으로 타임스탬프와 좌표 프레임 정보가 포함된 감지 결과나 마스크를 게시합니다. 변환 계층은 카메라 좌표와 차량 좌표를 연결합니다. 내비게이션 또는 동작 계층은 지도, 거리 센서, 오도메트리, 작업 상태와 함께 관측값을 사용합니다.

다음 사항을 고려하세요:

• 센서 간 시간 동기화
• 지연 시간 제한 및 오래된 메시지 거부
• 카메라 상태 및 모델 상태
• 센서가 서로 불일치할 때의 명시적 동작
• 이벤트를 재현하기에 충분한 기록 데이터
• 버전이 관리되는 메시지 스키마 및 모델 출력
• 인식, 위치 추정, 경로 계획 간 리소스 경합

문서화되지 않은 모델 출력에 내비게이션을 직접 결합하지 마세요. 안정적인 인터페이스를 사용하면 인식 기능이 발전하더라도 차량 동작이 예고 없이 바뀌지 않습니다.

안전 경계#

범용 컴퓨터 비전은 상황 인식 및 운영 의사 결정을 지원할 수 있지만, 인증된 보호 장치라고 설명해서는 안 됩니다. 차량 정지, 보호 필드, 비상 기능, 안전성 검증은 해당 안전 아키텍처와 자격을 갖춘 엔지니어링 프로세스의 범위에 속합니다.

모델, 카메라, 연산 장치 또는 네트워크에 장애가 발생했을 때의 동작을 문서화하세요. 시스템 설계에 따라 안전 상태로 전환하려면 속도 감소, 제어된 정지, 경로 제한 또는 다른 작동 모드로의 전환이 필요할 수 있습니다. 전체 차량에서 이러한 동작을 검증하세요.

평가 계획#

인식, 내비게이션, 운영을 각각 따로, 그리고 함께 테스트하세요.

인식 테스트#

• 거리, 방향, 조명, 가림 조건별 감지 및 위치 추정
• 교차 및 일시적인 가림 상황에서의 추적 연속성
• 배경 객체 및 반사로 인한 오탐
• 카메라가 더럽거나, 위치가 바뀌거나, 흐릿하거나, 부분적으로 가려진 경우의 성능
• 대상 연산 장치에서의 엔드투엔드 지연 시간 및 리소스 사용량

내비게이션 테스트#

• 교차로, 좁은 통로, 합류, 추월, 후진, 도킹
• 대표적인 속도에서의 정적 및 이동 장애물
• 지도 변경, 임시 장벽, 경로 폐쇄
• 센서 불일치, 메시지 지연, 입력 누락
• 위치 추정이 손실되거나 인식 구성 요소를 사용할 수 없을 때의 복구

운영 테스트#

• 다양한 팔레트 유형에 걸친 적재물 픽업, 운반, 배치
• 높거나 시야를 가리는 적재물이 있을 때의 동작
• 교대 근무 변경, 충전, 시작, 종료, 유지보수
• 사고 재구성 및 모델 롤백

작업 완료율, 개입 횟수, 경로 지연, 사용 불가 시간, 인식 오류, 복구 동작을 측정하세요. 모델 정확도만으로 내비게이션 안전성을 추론하지 마세요.

배포 방식#

온보드 추론은 네트워크 연결 의존성을 최소화하고 고속 센서 데이터를 차량 내에 유지할 수 있습니다. 이를 위해서는 소프트웨어 업데이트 제어, 리소스 모니터링, 스토리지 관리, 전체 차량군을 아우르는 하드웨어 지원이 필요합니다.

중앙 집중식 서비스는 모델 관리를 간소화하고 검토 데이터를 통합할 수 있지만, 실시간 차량 동작에서는 네트워크 지연과 연결 손실을 고려해야 합니다. 하이브리드 설계에서는 온보드에서 즉각적인 인식을 수행하면서 승인된 모델 아티팩트, 메타데이터, 선별된 검토 사례를 중앙에서 관리할 수 있습니다.

단계적 릴리스를 사용하세요. 기록 데이터 재생으로 시작한 다음 테스트 구역, 섀도 관측, 제한된 운영, 통제된 차량군 일부 적용 순으로 진행한 뒤 광범위하게 배포하세요. 롤백을 위해 검증된 모델과 구성을 보존하세요.