コンピュータービジョンによるAMR、AGV、自律走行フォークリフトの誘導方法

コンピュータービジョンは、自律移動ロボット、無人搬送車、自律型フォークリフトが人、パレット、ラック、荷物、標識、床面、他の車両などを認識するのに役立ちます。Ultralytics YOLOは、その認識スタックにおいて、検出、セグメンテーション、姿勢推定、トラッキングの情報を提供できます。位置推定、経路計画、車両制御、検証済みの安全システムに取って代わるものではありません。

最適なアーキテクチャは、通常センサーフュージョンを採用します。カメラは意味理解と豊富な外観情報を提供します。Lidarや深度センサーは形状と距離の情報を提供します。エンコーダーや慣性センサーは動きの情報を提供します。ナビゲーションシステムは、車両、環境、リスク評価に応じてこれらの入力を組み合わせます。

AMR、AGV、自律型フォークリフトでは要件が異なります#

AGVは固定または半固定のルートをたどることが多く、マーカー、反射板、マッピングされた経路などのインフラに依存します。AMRは一般に、マッピングされた環境内で変化する障害物を回避する経路を計画します。自律型フォークリフトには、荷役、マストとフォークの形状、上昇した荷物、パレットやラック周辺での相互作用が加わります。

要件の代わりに呼称を使わないでください。次の項目を定義します。

• 稼働区域と許可されたルート。
• 車両の速度、停止動作、積載範囲。
• 認識が必要な人、車両、物体のクラス。
• 屋内外の照明、天候、ほこり、床面の状態。
• 必要な位置推定とマップの動作。
• 車両や荷物によって生じる死角。
• ネットワークの可用性と車載コンピューティングの制限。
• 該当する機械、車両、職場の安全要件。

コンピュータービジョンが担う役割#

ナビゲーションアプリケーションでは、タイムスタンプ付きの明示的な観測データを利用する必要があります。各結果について、カメラフレーム、モデルのバージョン、信頼度、経過時間を把握し、古いデータや一貫性のないデータを拒否できるようにします。

カメラ、LiDAR、深度センサーは相互に補完します#

単眼カメラは、ハードウェアの複雑さを比較的抑えながら色やテクスチャを捉えられますが、メートル単位の深度を直接測定することはできません。ステレオカメラやアクティブ深度カメラは、それぞれの動作範囲内で距離を推定します。LiDARは幾何学的な測定値を直接提供し、外観が変化する環境でも有用な場合がありますが、素材、天候、形状も依然として重要です。

センサーの選定は、故障分析に基づいて行う必要があります。センサーが遮蔽、飽和、汚染された場合、または利用できない場合、どの危険要因やナビゲーション機能を見逃すかを確認します。冗長性が役立つのは、故障モードが十分に独立しており、センサーフュージョンのロジックが不一致に対処できる場合に限られます。

カメラの設置位置は、旋回、後退、フォークの位置、積載量の変化を考慮する必要があります。許可されている最大積載量とすべてのマスト状態で視野を検証します。メンテナンス手順には、清掃、点検、位置合わせの確認を追加します。

単独の画像ではなく、走行ルートに基づいて認識データセットを構築する#

複数の拠点やシフト、通路の種類、交差点、ドックエリア、人や車両の往来、積載状態、メンテナンス状態を網羅する、完全なルート条件を収集します。ポスター、反射、マネキン、積み重ねられた資材、対象クラスに似た部分的な映像など、誤検出につながりやすい難しいネガティブサンプルも含めます。

学習データとテストデータにほぼ重複する動画フレームが含まれないよう、評価データはルート、時間、または拠点ごとに分割します。距離、オクルージョン、照明、動き、物体の種類ごとに性能を報告します。単一の平均値では、交差点やドッキングエリア付近で特に重要なケースが見えなくなることがあります。

Ultralytics Platformは、カスタムのUltralytics YOLO認識モデルのアノテーション、学習、バージョン管理を支援できます。エクスポートしたモデルは、車両のコンピューティング性能とレイテンシの制約に応じて選定した、対応する車載またはエッジランタイムで実行できます。

ROS 2または別のロボティクススタックと認識機能を統合する#

ロボティクスとの統合では通常、タイムスタンプと座標フレーム情報を付けて、検出結果やマスクをパブリッシュします。変換レイヤーによって、カメラ座標と車両座標を対応付けます。ナビゲーション層や動作層は、マップ、測距センサー、オドメトリ、タスク状態と併せて観測データを利用します。

次の点を考慮して設計します:

• センサー間の時刻同期。
• レイテンシの上限設定と古いメッセージの拒否。
• カメラとモデルの健全性状態。
• センサー間に不一致がある場合の明示的な動作。
• 事象を再現するのに十分な記録データ。
• バージョン管理されたメッセージスキーマとモデル出力。
• 認識、ローカライゼーション、プランニング間のリソース競合。

ナビゲーションを、文書化されていないモデル出力に直接依存させないでください。安定したインターフェースを用いることで、車両の動作を知らないうちに変えることなく、認識機能を進化させられます。

安全上の境界#

汎用コンピュータービジョンは、状況認識や運用上の判断を支援できますが、認証済みの保護装置として説明すべきではありません。車両の停止、保護フィールド、緊急機能、安全性の検証は、適用される安全アーキテクチャと適切なエンジニアリングプロセスに従って実施する必要があります。

モデル、カメラ、コンピューティングリソース、またはネットワークに障害が発生した場合の動作を文書化します。システム設計に応じて、安全状態には速度の低下、制御された停止、ルートの制限、または別の運転モードへの移行が必要となる場合があります。これらの動作は車両全体で検証します。

評価計画#

認識、ナビゲーション、運用を個別に、また組み合わせてテストします。

認識テスト#

• 距離、方向、照明、オクルージョン別の検出とローカライゼーション。
• 交差や一時的な遮蔽を通じたトラッキングの継続性。
• 背景の物体や反射による誤検出。
• 汚れ、位置ずれ、ぼけ、一部遮蔽があるカメラでの性能。
• 対象のコンピューティング環境におけるエンドツーエンドのレイテンシとリソース使用量。

ナビゲーションテスト#

• 交差点、狭い通路、合流、追い越し、後退、ドッキング。
• 代表的な速度での静的および移動障害物。
• マップの変更、一時的な障壁、ルートの閉鎖。
• センサー間の不一致、メッセージの遅延、入力の欠落。
• ローカライゼーションの喪失、または認識コンポーネントが利用できない状態からの復旧。

運用テスト#

• さまざまなパレットでの荷物のピックアップ、搬送、配置。
• 高所または視界を遮る荷物がある状態での動作。
• シフト交代、充電、起動、シャットダウン、メンテナンス。
• インシデントの再現とモデルのロールバック。

ミッション完了率、介入回数、ルート遅延、稼働不能時間、認識エラー、復旧時の動作を測定します。モデルの精度だけからナビゲーションの安全性を推定しないでください。

デプロイの選択肢#

車載推論はネットワーク接続への依存を最小限に抑え、高頻度のセンサーデータを車両内に保持できます。そのためには、ソフトウェア更新の管理、リソースの監視、ストレージ管理、フリート全体でのハードウェア対応が必要です。

一元化されたサービスはモデル管理やレビュー用データの集約を簡素化できますが、リアルタイムの車両動作ではネットワークのレイテンシや途絶を考慮する必要があります。ハイブリッド設計では、即時の認識処理を車載で実行しながら、承認済みのモデル成果物、メタデータ、選定したレビュー用サンプルを一元管理できます。

段階的にリリースします。記録データの再生から始め、テストエリア、シャドー観測、制限付き運用、管理されたフリートの一部を経てから、広範囲に展開します。ロールバックに備えて、正常動作が確認されたモデルと設定を保持します。