組み立てとピックアンドプレース向けビジョン誘導ロボティクス

ピックアンドプレースロボットに最適なビジョンソフトウェアは、まず対象となるシーンによって異なります。物体を視覚的に識別でき、深度を制約できるか別途取得できる場合は、Ultralytics YOLOのような設定可能な2Dコンピュータービジョンスタックを使用します。ランダムに積まれたビンの形状、点群処理、キャリブレーション、把持位置の生成を、サポート付きの単一システムとしてまとめて導入する必要がある場合は、Pickit、Mech-Mind、Photoneo、Zivid、Apera AIなどの統合型3Dロボットビジョン製品を検討します。CognexやKeyenceの従来型産業用ビジョンスイートは、厳密に管理されたセルや、確立された自動化環境に適しています。

単一のモデルでピッキングシステム全体を構成することはできません。本番用セルでは、センシング、認識、座標変換、把持選択、モーションプランニング、ロボット制御、障害復旧を統合します。

ピックアンドプレース向けビジョンの選択肢の比較#

ベンダーごとにパッケージ化するレイヤーが異なります。認識インターフェースだけでなく、部品表全体と運用上の責任範囲を比較してください。

まずピッキングの形状条件を確認する#

ソフトウェアを選ぶ前に、タスクを分類します。

• 固定2Dピック： 部品が既知の平面上にあり、ロボットが画像上の位置と向きを必要とします。
• コンベヤーピック： 物体が移動するため、検出、トラッキング、タイミング、エンコーダー同期が重要です。
• 整列トレイ： 既知のポケットによって位置が制約されますが、バリエーションや向きの確認は必要です。
• ランダムビンピッキング： 部品がさまざまな深度で重なり、3D認識と衝突を考慮した把持計画が必要です。
• 柔軟または変形する物体： ピッキングのたびに形状が変わるため、セグメンテーションと把持選択が難しくなります。
• 組み立て部品の挿入： 許容誤差や最終的な位置合わせのために、大まかな物体位置特定を超える追加センシングが必要になる場合があります。

形状が制約されている場合、2Dシステムが最もシンプルで信頼性の高い選択肢になることがあります。ランダムビンでは、画像上の位置だけでは安全なロボット目標位置が得られないため、通常は深度情報または複数視点からの再構成が必要です。

ビジョンガイド付きロボットの6つのレイヤー#

1. センシング#

必要な情報に基づいて、エリアスキャン、ラインスキャン、ステレオ、構造化光、ToF、その他のセンサーを選択します。視野、最小特徴、作動距離、深度範囲、表面特性、動き、環境上の制約を記録します。

反射する部品、暗い部品、透明な部品、テクスチャのない部品は、深度センシングを難しくする場合があります。実際の部品、ビン、ライナー、照明を使ってテストしてください。条件のよい物体を使ったベンダーのデモは、セルでの試験の代わりにはなりません。

2. 認識#

検出は物体の位置とクラスを特定し、セグメンテーションは物体の輪郭を示し、回転バウンディングボックスは回転した範囲を推定します。ポーズモデルはキーポイントを特定でき、トラッキングは時間経過に伴う物体を関連付けます。Ultralytics YOLOは、単一のモデルエコシステムでこれらのコンピュータービジョンタスクのいくつかに対応します。

認識結果は、後段の把持プランナーで使えるだけの安定性が必要です。データセット全体のスコアだけでなく、位置特定誤差、検出漏れと重複検出、マスク品質、向きの誤差、重なりがある場合の挙動を評価してください。

3. キャリブレーションと座標#

システムはカメラ座標の観測結果をロボット座標またはセル座標に変換します。ハンドアイキャリブレーション、カメラの取り付け、レンズの影響、深度の位置合わせ、ツールセンターポイントのキャリブレーションは、すべてピッキング誤差に影響します。

キャリブレーションを維持管理対象の本番資産として扱います。手順と許容残差を記録し、カメラマウントを保護し、ツーリングやメンテナンスのどのタイミングで再キャリブレーションを行うか定義してください。

4. 把持計画#

把持選択では、到達可能な表面、グリッパー形状、物体の安定性、衝突リスク、隣接部品、移動先の姿勢を考慮します。2Dモデルは物体の位置と向きを把持ロジックに提供できます。3Dソリューションでは、点群から優先順位付きの把持候補を生成できます。

最も高い信頼度で検出された物体が、必ずしも最も安全なピッキング対象とは限りません。認識の信頼度、把持品質、経路の実行可能性は、それぞれ別の指標として扱ってください。

5. モーションとロボット統合#

ロボットアダプターまたはAPIを通じて目標位置をコントローラーに渡します。インテグレーターはタイミング、座標系、速度、ゾーン、衝突モデル、コンベヤーの動き、確認応答を管理する必要があります。安全機能は、未検証のモデル出力ではなく、検証済みのロボットおよびセル安全アーキテクチャに組み込む必要があります。

6. 復旧#

有効な物体がない、不確かなクラス、安全な把持がない、部品を落とした、ピックに失敗した、ビンが移動した、フレームが古い、カメラが利用できない、試行を繰り返したなど、想定される障害状態を設計します。簡単なピックは成功しても、例外のたびに手動リセットが必要なセルでは、規模を拡大できません。

Ultralyticsの活用方法#

Ultralytics Platformでは、画像データの整理とアノテーション、Ultralytics YOLOモデルのトレーニング、モデルバージョンの管理ができます。その後、Platformのエンドポイントを通じてモデルをデプロイするか、セルの近くで動作するロボティクスランタイムに統合するためにエクスポートできます。

このアプローチは、独自の物体クラス、変化するSKU、特殊な視覚条件、アプリケーション固有の認識に差別化要因がある場合に有用です。また、周辺のカメラ、深度ソース、把持プランナー、ロボットフレームワークをチームが選択できます。

この方法は、統合型3Dビンピッキング製品のあらゆる構成要素を置き換えるものではありません。ロボット認識や統合の専門知識がない組織は、キャリブレーション、3D処理、把持ロジック、認定済みロボットアダプターを含む、サポート付きのパッケージを選ぶ方が適している場合があります。

ベンダーの評価方法#

すべての試験で、同じ部品とセル条件を使用してください。満杯およびほぼ空のビン、最悪の重なり状態、破損した包装、異なるバリエーションの混在、反射面、通常発生する汚れ、想定される照明の変化を含めます。

測定項目:

• 部品およびビンの状態別の正常なピック率。
• 認識とリカバリーを含むサイクルタイムの分布。
• 初回試行でのピック成功確認。
• 誤分類、ターゲットの重複、衝突リスクの発生件数。
• 手動介入の回数とリセット時間。
• メンテナンスまたは振動後のキャリブレーション安定性。
• 新しいSKUの追加と更新の検証にかかる時間。
• 診断に利用できるログとエビデンス。

各ベンダーに、各測定値がカメラ、モデル、グラスププランナー、ロボット、外部センサーのどれから得られるのかを明示してもらいます。これにより、アーキテクチャと責任範囲が明確になります。

2Dと3Dの選択ガイド#

部品が既知の平面上にあり、把持高さが固定され、重なりが少なく、明確な視覚的特徴によってクラスと向きを判定できる場合は、まず2Dを選びます。照明の設定、ラベル付け、デバッグ、運用が容易な場合が多いです。

高さにばらつきがある場合、積み重なった部品の重なりが大きい場合、表面形状が把持方法を左右する場合、衝突回避に必要なクリアランスが小さい場合、またはロボットが散乱した立体空間を認識する必要がある場合は、3Dを選びます。カスタム分類を維持しながら3D座標を取得するために、学習ベースの2D認識と位置合わせ済みの深度情報を組み合わせるセルもあります。

センサーの流行で判断しないでください。セルの最悪条件テストに合格する、最もシンプルなセンシング構成を使用します。

実装チェックリスト#

• オブジェクト、ポーズ、サイクル、リカバリーの要件を定義します。
• ビンと環境の全範囲にわたって実際の部品を撮影します。
• 形状と表面の特性に基づいてセンシング方式を選択します。
• モデルの精度とは切り分けて、キャリブレーションと座標変換を検証します。
• 実際のグリッパーと隣接するオブジェクトを使って、グラスププランナーをテストします。
• ロボットの安全機能と学習ベースの認識を分離します。
• 検出結果、座標変換、把持候補、コントローラーの応答、結果をログに記録します。
• 不確実なケースや対応を使い切ったケースから復旧するための、人による対応手順を用意します。
• 新しいモデル、SKU、グリッパー、カメラ、セル構成を導入するたびに回帰テストを実施します。