組み立ておよびピックアンドプレース向けのビジョン誘導型ロボット工学

ピックアンドプレースロボットに最適なビジョンソフトウェアは、まずシーンによって異なります。対象物が視覚的に区別でき、深度を固定または個別に提供できる場合は、Ultralytics YOLOなどの設定可能な2Dコンピュータビジョンスタックを使用してください。ランダムなビンの形状、点群処理、キャリブレーション、把持生成を1つのサポートされたシステムとして統合する必要がある場合は、Pickit、Mech-Mind、Photoneo、Zivid、Apera AIなどのベンダーによる統合型3Dロボットビジョン製品を検討してください。CognexやKeyenceの従来の産業用ビジョン製品は、厳密に制御されたセルや確立された自動化環境によく適合します。

どのモデルも完全なピッキングシステムではありません。本番用セルは、センシング、認識、座標変換、把持選択、モーションプランニング、ロボット制御、障害復旧を統合します。

ピックアンドプレースビジョンオプションの比較#

ベンダーは異なるレイヤーをパッケージ化しています。認識インターフェースだけでなく、完全な部品表と運用責任を比較してください。

ピッキングの形状から始める#

ソフトウェアを選択する前にタスクを分類する:

• 固定2Dピック: 部品が既知の平面上にあり、ロボットに画像上の位置と方向が必要な場合。
• コンベアピック: 対象物が移動するため、検出、トラッキング、タイミング、およびエンコーダーの同期が重要になります。
• 構造化トレイ: 既知のポケットの位置は制限されますが、バリエーションや方向の検証は引き続き必要です。
• ランダムビンピッキング: 部品が異なる深度で重なり合っており、3D認識と衝突を考慮した把持プランニングが必要です。
• 柔軟性のある、または変形可能な対象物: ピック間で形状が変化するため、セグメンテーションと把持の選択がより困難になります。
• 組立挿入: 公差と最終的なアライメントには、粗い対象物のローカライゼーションを超えた追加のセンシングが必要になる場合があります。

制約された形状に対しては、2Dシステムが最もシンプルで信頼性の高いオプションとなります。画像の位置だけでは安全なロボットのターゲットを提供できないため、ランダムビンには通常、深度またはマルチビュー再構築が必要です。

ビジョンガイド付きロボットの6つのレイヤー#

1. センシング#

必要なエビデンスに基づいて、エリアスキャン、ラインスキャン、ステレオ、構造化光、ToF（フライト時間）、その他のセンサーを選択します。視野、最小のフィーチャ、作動距離、深度範囲、表面特性、動き、環境制約を記録します。

反射面、暗い表面、透明な部品、およびテクスチャのない部品は、深度センシングに課題をもたらす可能性があります。実際の部品、ビン、ライナー、および照明をテストします。好ましいオブジェクトを使用したベンダーのデモは、セルのトライアルの代わりにはなりません。

2. 認識#

検出は対象物を特定して分類し、セグメンテーションは対象物の輪郭を提供します。向き付きバウンディングボックスは回転した広がりを推定し、ポーズモデルはキーポイントを識別し、トラッキングは時間経過に伴って対象物を関連付けます。Ultralytics YOLOは、これらのコンピュータビジョンタスクのいくつかを1つのモデルエコシステム内でサポートします。

認識出力は、下流の把持プランナーにとって十分安定している必要があります。データセット全体のスコアだけでなく、ローカライゼーションエラー、見逃されたオブジェクトと重複したオブジェクト、マスク品質、方向のエラー、および重複時の挙動を評価します。

3. キャリブレーションと座標#

システムは、カメラ座標での観測値をロボット座標またはセル座標に変換します。手先キャリブレーション、カメラの取り付け、レンズの効果、深度のアライメント、およびツールセンターポイントのキャリブレーションはすべて、ピックエラーに影響します。

キャリブレーションは維持される本番用資産として扱います。手順と受け入れられた残差を記録し、カメラマウントを保護し、ツーリングまたはメンテナンスが再キャリブレーションをトリガーするタイミングを定義します。

4. 把持プランニング#

把持の選択では、到達可能な表面、グリッパーの形状、対象物の安定性、衝突のリスク、周辺の部品、および目的地のポーズを考慮します。2Dモデルは、ルールベースの把持ロジックに対象物の位置と方向を提供する場合があります。3Dソリューションは、点群からランク付けされた把持候補を生成する場合があります。

最も信頼性の高い検出が、必ずしも最も安全なピックであるとは限りません。認識の信頼度、把持の品質、およびパスの実行可能性を別々のシグナルとして保持します。

5. モーションとロボットの統合#

ロボットアダプターまたはAPIは、ターゲットをコントローラーに渡します。インテグレーターは、タイミング、座標系、速度、ゾーン、衝突モデル、コンベアの動き、および確認を管理する必要があります。安全機能は、検証されていないモデル出力ではなく、検証済みのロボットおよびセルの安全アーキテクチャに属します。

6. 復旧#

想定される障害状態を設計します：有効な対象物がない、不明なクラス、安全な把持がない、部品を落とした、ピックアップに失敗した、ビンが移動した、古いフレーム、カメラが利用できない、または繰り返し試行する。簡単なピックには成功するものの、すべての例外後に手動リセットが必要になるセルは拡張できません。

Ultralyticsが適合する領域#

Ultralytics Platformは、画像データの整理とアノテーション、Ultralytics YOLOモデルのトレーニング、およびモデルバージョンの管理を行うことができます。モデルは、Platformのエンドポイントを通じてデプロイするか、セルの近くにあるロボティクスランタイムに統合するためにエクスポートできます。

このアプローチは、差別化がカスタムオブジェクトクラス、変更されるSKU、異常な視覚的条件、またはアプリケーション固有の認識にある場合に役立ちます。また、チームが周辺のカメラ、深度ソース、把持プランナー、およびロボットフレームワークを選択できるようにします。

これは、統合された3Dビンピッキング製品のすべてのコンポーネントの代替品ではありません。ロボットの認識と統合の専門知識を持たない組織は、キャリブレーション、3D処理、把持ロジック、および認定されたロボットアダプターを含むサポートされたパッケージを好む場合があります。

ベンダーの評価方法#

すべてのトライアルで同じ部品とセルの条件を使用します。満杯およびほぼ空のビン、最悪のケースの重複、損傷したパッケージ、バリアントの混合、反射面、通常の汚染、および予想される照明の変化を含めます。

測定項目:

• 部品およびビンの状態別の有効なピック率。
• 認識と復旧を含むサイクルタイムの分布。
• 初回試行のピックアップ確認。
• 誤分類、重複ターゲット、および衝突リスクのイベント。
• 手動介入とリセット時間。
• メンテナンスや振動後のキャリブレーションの安定性。
• 新しいSKUを追加し、アップデートを検証するまでの時間。
• 診断に利用可能なログとエビデンス。

各ベンダーに対し、どの測定値がカメラ、モデル、把持プランナー、ロボット、外部センサーのどれに由来するかを特定するよう求めます。これにより、アーキテクチャと所有権が明確になります。

2Dと3Dの決定ガイド#

部品が既知の平面上に留まり、把持高さが固定され、重複が制限され、明確な視覚的特徴によってクラスと方向が決定される場合は、まず2Dを選択します。照明、ラベル付け、デバッグ、および運用がより簡単な場合がよくあります。

高さが変化し、山積みによって重大な重複が生じ、表面の形状によって把持が決定され、衝突のクリアランスが厳しい場合、またはロボットが混雑したボリュームについて推論する必要がある場合は、3Dを選択します。一部のセルでは、学習された2D認識と登録された深度を組み合わせて、3D座標を取得しながらカスタム分類を維持します。

センサーのトレンドだけで判断しないでください。セルの最悪のケースのテストに合格する、最も複雑度の低いセンシング構成を使用してください。

実装チェックリスト#

• オブジェクト、ポーズ、サイクル、および復旧の要件を定義する。
• ビンと環境の範囲全体で実際の部品をキャプチャする。
• 形状と表面の挙動からセンシングを選択する。
• モデルの精度とは独立して、キャリブレーションと座標変換を検証する。
• 実際のグリッパーと周辺のオブジェクトを使用して把持プランナーをテストする。
• ロボットの安全機能を学習された認識から分離する。
• 検出、変換、把持候補、コントローラーの応答、および結果をログに記録する。
• 不確実な場合や行き詰まったケースに対して人間の復旧を提供する。
• すべての新しいモデル、SKU、グリッパー、カメラ、およびセル構成に対して回帰テストを実施する。