コンピュータービジョンがAMR、AGV、自動フォークリフトを誘導する仕組み

コンピュータビジョンは、自律移動ロボット、無人搬送車、および自動フォークリフトが人、パレット、ラック、荷物、標識、床面、その他の車両を認識するのに役立ちます。Ultralytics YOLOは、そのパーセプションスタック内で検出、セグメンテーション、ポーズ、およびトラッキングの観測情報を提供できます。ローカリゼーション、ルートプランニング、車両制御、または検証済みの安全性システムの代替となるわけではありません。

最適なアーキテクチャは通常、センサーフュージョンです。カメラは意味的理解と豊富な外観情報を提供します。Lidarと深度センサーは幾何形状と距離を提供します。エンコーダーと慣性センサーは動きを提供します。ナビゲーションシステムは、車両、環境、およびリスク評価に従ってこれらの入力を組み合わせます。

AMR、AGV、および自動フォークリフトの要件の違い#

AGVは多くの場合、固定または半固定のルートに追従し、マーカー、リフレクター、マッピングされたパスなどのインフラストラクチャに依存します。AMRは一般に、マッピングされた環境内の変動する障害物の周囲を計画します。自動フォークリフトには、荷役、マストとフォークの幾何形状、高所での荷役、およびパレットやラック周辺での相互作用が追加されます。

ラベルを要件の代わりとして使用しないでください。以下を定義してください:

• 動作ゾーンと許可されたルート。
• 車両の速度、停止動作、およびペイロード範囲。
• 認識する必要がある人、車両、およびオブジェクトのクラス。
• 屋内および屋外の照明、天候、粉塵、および床の状態。
• 必要なローカリゼーションとマップの動作。
• 車両と荷物によって発生する死角。
• ネットワークの可用性とオンボードの計算制限。
• 適用される機械、車両、および職場の安全要件。

コンピュータビジョンが貢献するもの#

ナビゲーションアプリケーションは、明示的なタイムスタンプ付きの観測結果を使用する必要があります。古いデータや矛盾するデータを拒否できるようにするために、各結果のカメラフレーム、モデルバージョン、信頼度、および経過時間を確認する必要があります。

カメラ、Lidar、および深度センサーは補完的です#

単眼カメラは、比較的低いハードウェア複雑性で色とテクスチャを提供しますが、メトリック深度を直接測定しません。ステレオカメラおよびアクティブ深度カメラは、動作範囲内で距離を推定します。Lidarは直接的な幾何学的測定を提供し、外観が変化する場所でも有用であり続けることができますが、素材、天候、および幾何形状は依然として重要です。

センサーの選定は障害解析に従う必要があります。1つのセンサーが遮断、飽和、汚染、または使用不可になった場合に、どの危険やナビゲーション機能が見落とされるかを問うてください。冗長性は、障害モードが十分に独立しており、フュージョンロジックが不一致に対処する場合にのみ役立ちます。

カメラの配置は、旋回、後退、フォークの位置、および変化する荷物を考慮する必要があります。許可された最大の荷物とすべてのマスト状態で視野を検証してください。メンテナンス手順に、清掃、点検、およびアライメントのチェックを追加してください。

分離された画像ではなく、ルートから認識データセットを構築する#

サイト、シフト、通路タイプ、交差点、ドックエリア、人や車両の交通量、荷物の状態、およびメンテナンスの条件にわたる、完全なルート条件を収集します。ポスター、反射、マネキン、積み重ねられた材料、およびターゲットクラスに似た部分的なビューなどのハードネガティブを含めます。

トレーニングとテストでのほぼ重複するビデオフレームを回避するために、ルート、時間、またはサイトごとに評価データを分割します。距離、オクルージョン、照明、動き、およびオブジェクトタイプ別にパフォーマンスを報告します。単一の平均値では、交差点やドッキングエリアの近くで最も重要なケースが隠されてしまう可能性があります。

Ultralytics Platformは、カスタムのUltralytics YOLO認識モデルのアノテーション、トレーニング、およびバージョン管理をサポートできます。エクスポートされたモデルは、車両の計算能力とレイテンシの制約に合わせて選択された、サポートされているオンボードまたはエッジランタイムで実行できます。

認識機能をROS 2または他のロボット工学スタックと統合する#

ロボット工学の統合では通常、タイムスタンプと座標系情報を含む検出結果やマスクがパブリッシュされます。変換レイヤーは、カメラ座標を車両に関連付けます。ナビゲーションまたはビハイビアレイヤーは、マップ、距離センサー、オドメトリ、およびタスク状態とともに観測情報を使用します。

以下を設計に組み込んでください:

• センサー間の時刻同期。
• 制限されたレイテンシと古いメッセージの拒否。
• カメラのヘルス状態とモデルのヘルス状態。
• センサー間で意見が不一致の場合の明示的な動作。
• イベントを再現するのに十分な記録されたデータ。
• バージョン管理されたメッセージスキーマとモデル出力。
• 認識、ローカリゼーション、およびプランニング間のリソース競合。

ナビゲーションを文書化されていないモデル出力に直接結合することを避けてください。安定したインターフェースにより、車両の動作を密かに変更することなく、認識を進化させることができます。

安全境界#

汎用コンピュータビジョンは認識と運用の決定をサポートできますが、認定された保護デバイスとして説明されるべきではありません。車両の停止、保護フィールド、緊急機能、および安全性の検証は、適用される安全性アーキテクチャおよび適切なエンジニアリングプロセスに属します。

モデル、カメラ、計算、またはネットワークに障害が発生したときに何が起こるかを文書化してください。システム設計に応じて、安全な状態では、速度の低下、制御された停止、ルートの制限、または別の動作モードへの移行が必要になる場合があります。完全な車両でこれらの動作を検証してください。

評価計画#

認識、ナビゲーション、および運用を個別に、また組み合わせてテストします。

認識テスト#

• 距離、方向、照明、およびオクルージョンによる検出とローカリゼーション。
• 交差点や一時的な障害物を通過する際のトラッキングの継続性。
• 背景オブジェクトや反射による誤検出。
• 汚れた、ずれた、ぼやけた、または部分的に遮られたカメラでのパフォーマンス。
• ターゲットの計算環境におけるエンドツーエンドのレイテンシとリソース使用量。

ナビゲーションテスト#

• 交差点、狭い通路、合流、追い越し、後退、およびドッキング。
• 代表的な速度での静的および移動障害物。
• マップの変更、一時的なバリア、およびルートの閉鎖。
• センサーの不一致、メッセージの遅延、および入力の欠落。
• ローカリゼーションの喪失または利用できない認識コンポーネントからの回復。

運用テスト#

• パレットのバリエーションにわたる荷物のピックアップ、輸送、および配置。
• 高所にある荷物や視界を遮る荷物での動作。
• シフトの変更、充電、起動、シャットダウン、およびメンテナンス。
• インシデントの再構築とモデルのロールバック。

ミッションの完了、介入、ルートの遅延、利用できない時間、認識エラー、および回復動作を測定します。モデルの精度単体からナビゲーションの安全性を推測しないでください。

デプロイの選択肢#

オンボード推論により、ネットワーク接続への依存が最小限に抑えられ、高レートのセンサーデータを車両内に保持できます。これには、ソフトウェアの制御された更新、リソースの監視、ストレージ管理、およびフリート全体のハードウェアサポートが必要です。

集中型サービスはモデル管理を簡素化し、レビューデータを集約できますが、リアルタイムの車両動作ではネットワークのレイテンシと損失を考慮する必要があります。ハイブリッド設計では、承認されたモデルアーティファクト、メタデータ、および選択されたレビュー用サンプルを中央で管理しながら、即時の認識をオンボードで実行できます。

段階的なリリースを使用します。記録されたリプレイから始め、テストエリア、シャドウ観測、制限された運用、および広範なロールアウト前の制御されたフリートサブセットへと進めます。ロールバックのために、正常であることが確認されているモデルと設定を保持してください。