コンピュータービジョンによる組み立て検証とエラープルーフ

コンピュータビジョンは、プロセスが進行する前に、正しい目視可能な部品が存在しているか、正しく配置されているか、正しい方向を向いているか、そして期待される順序で取り付けられているかを確認することで、組み立てのエラーを防止できます。モデルは視覚的観測を提供し、ステートマシンまたは製造アプリケーションが製品固有のルールを適用して、合格、要確認、または停止の判断を作業員や制御システムに送信します。

これは一般的な欠陥検出とは異なります。欠陥検査では、表面や部品が損傷しているかどうかを問い合せます。一方、組み立て検証では、観測されたビルド状態が作業指示書や工程表と一致しているかどうかを問い合せます。

組み立てラインでビジョンが検証できること#

観測可能な証拠と、推測されるプロセスの事実を切り分けることから始めます。カメラはボルトの頭が存在することは確認できても、ボルトに必要なトルクがかかっていることは確認できない場合があります。要件を目視で確認できない場合は、ビジョンをツールコントローラーやセンサーのデータとペアリングしてください。

リファレンスアーキテクチャ#

組み立て検証システムは通常、6つのレイヤーで構成されます。

1. トリガー: PLC信号、センサー、ロボットの状態、または作業者の操作により、検証のタイミングが特定されます。
2. キャプチャ: 1台以上のカメラが、制御された画像または短いシーケンスを取得します。
3. 推測: コンピュータービジョンモデルが部品、領域、キーポイント、または組み立て状態を検出します。
4. 決定ロジック: 製品ルールにより、観測結果と予想されるバリアントおよび工程ステップが比較されます。
5. アクション: システムはガイダンスを表示し、レビューを要求し、合格を記録し、または承認された制御パスを通じた進行をブロックします。
6. トレーサビリティ: アプリケーションは、作業指示書、モデルおよびルールのバージョン、結果、ならびに保持ポリシーによって許可された証拠を記録します。

推論と決定ロジックを分離してください。同じモデルで製品間でコンポーネントを認識できる一方で、特定の作業指示書にどのコンポーネントが必要かをルールで指定します。

適切なビジョンタスクの選択#

ビュー全体が厳密に制御されており、出力が組み立て済み、不完全、または方向違いといった少数の状態である場合は、分類を使用します。効率的ですが、トラブルシューティング時のローカライゼーションは限定的になります。

アプリケーションで複数の目視可能なコンポーネントの位置を特定して数える必要がある場合は、**object detection**を使用します。Ultralytics YOLOモデルは、1つの画像で複数の部品クラスを検出し、下流のルール用の位置を返すことができます。

コンポーネントの境界、重なり、またはカバー範囲が重要な場合は、インスタンスセグメンテーションを使用します。マスクは、シール、接着剤領域、または柔軟なコンポーネントが予期された領域を占有していることを確認するのに役立ちます。

キーポイントや回転が重要なシグナルとなる場合は、pose 推定または方向付きバウンディングボックスを使用します。選択した表現が、正確なジオメトリと視点に対して安定していることを検証してください。

シーケンスや連続性が重要な場合は、トラッキングを使用します。トラッカーはフレーム間で観測を関連付けることができ、ステートマシンは承認されたステップが順番に発生したかどうかを判断します。

トレーニングの前に撮像ステーションを設計する#

モデルの品質は、カメラが捉えられない証拠を補うことはできません。各チェックについて、解像度が必要な最小の機能、許可される部品の動き、タクトタイム、ワーキングディスタンス、深度の変動、反射、オクルージョン、および振動を文書化してください。

実用的な範囲で照明を制御します。拡散光は反射面でのグレアを軽減できます。バックライトはシルエットや隙間をより鮮明にすることができます。ストロボ照明はモーションブラーを軽減できます。適切な設計は材質やジオメトリによって異なるため、実際の部品や汚染条件でテストしてください。

1台のカメラでは必要なすべての機能を観察できない場合は、複数のビューを使用します。自動的にカメラを追加しないでください。ビューが増えるごとに、キャリブレーション、同期、計算、メンテナンス、およびデータ管理の作業が増加します。各カメラは、文書化された証拠のギャップを埋める必要があります。

検証後にカメラの設定をロックまたは監視してください。フォーカス、露出、クロップ、またはマウントを変更すると、エンドポイントが正常なままであっても、データの分布が無効になる可能性があります。

組み立てデータセットの構築#

関連するすべての製品バリアント、ステーション、シフト、背景、ツーリングの状態、および通常のオペレーターのインタラクションをキャプチャします。エラーだけでなく、困難ではあるが有効な状態も含めてください。「良品」の画像がすべて1日のもので、「不良品」の画像がすべて別の日ものである場合、モデルは組み立ての状態ではなく、照明や治具の違いを学習してしまう可能性があります。

一部のみが見えている部品、あいまいな状態、反射、重複するコンポーネント、および仕掛品に関するラベリングルールを作成します。類似したビデオフレームをランダムに分散させるのではなく、製造ラン、時間、ステーション、またはサイトごとに検証データを分割します。

Ultralytics Platform は、接続されたワークフローでのデータセットの整理、アノテーション、モデルのトレーニング、およびモデル管理をサポートしています。そのデータ収集とアノテーションガイドは、チームがキャプチャおよびラベリングの決定を体系化するのに役立ちます。

プロセスロジックと統合の追加#

アプリケーションには、現在のユニットの期待されるビルド構成が必要です。作業指示書、レシピ、製造システムなどの承認されたソースからそれを取得し、バージョン管理されたビジュアルルールにマッピングします。

ルールでは次のような要求が含まれる場合があります。

• 治具領域内の1つのハウジング。
• 承認された場所にある2つのクリップ。
• ターゲットの許容範囲内にあるコネクタのキーポイント。
• 状態Aの後に状態Bが続き、その間に承認されていない状態がないこと。
• 必要な観測値のいずれかが決定しきい値を下回っている場合の人的レビュー。

ビジョンとコントロールの間で安定したイベントコントラクトを使用してください。結果、理由、タイムスタンプ、ステーション、モデルバージョン、ルールバージョン、および関連する観測結果を含めます。検証済みのアプリケーション層や適切なセーフガードなしに、生のモデル出力を安全クリティカルまたはモーションコントロールのロジックに直接送信することは避けてください。

オペレーターエクスペリエンスは精度の一部です#

赤や緑のライトだけでは十分な情報が得られないことがよくあります。ユニットが失敗したときは、どの要件が失敗したか、そして関連するコンポーネントがどこにあると予想されていたかを示します。反射、手、または一時的なオクルージョンによって不要な手直しが発生しないように、制御された再スキャンまたはレビューのパスを提供してください。

オペレーターの修正を構造化されたフィードバックとして収集します。モデルのエラー、ルールのエラー、間違った作業指示書のマッピング、カメラの問題、または実際の組み立ての問題を区別します。その分類により、チームは何を修正すべきかがわかります。

完全なステーションの検証#

組み立ての要件と製品のバリアントによって測定します。役立つ運用上の測定基準には、組み立てエラーの見落とし、誤った停止、レビュー率、タクトタイムへの影響、利用できないチェック、およびカメラやネットワークの中断からの正常な回復が含まれます。

ステーションに対して以下をテストします。

• 承認されたバリアントと承認されていないバリアント。
• 部分的な組み立てと順序違いのステップ。
• 手やツールによるオクルージョン。
• 照明のドリフト、反射する部品、ブレ、および汚染。
• カメラの動きとフォーカスの変更。
• 重複、欠落、回転、または誤配置されたコンポーネント。
• トリガーの欠落、重複したトリガー、および遅延した結果。

リリース前に、既存のモデルと候補モデルを固定のリグレッションセットで実行します。リスクが正当化される場合は、結果がレビューされるまで、プロセスを制御せずに新しい決定ロジックをシャドウイングします。

組み立て検証のためのUltralytics#

製造業におけるコンピュータビジョンでは、検出、セグメンテーション、ポーズ、およびトラッキングを使用して、目視可能な組み立て状態を表すことができます。Ultralytics Platformはアノテーション、トレーニング、デプロイメントを接続し、エクスポートされたUltralytics YOLOモデルはステーションに合わせて選択されたクラウド、オンプレミス、またはエッジアーキテクチャで実行できます。

Chef Roboticsは、精密な食品の組み立てをサポートするUltralytics YOLOの実用的な例を提供しています。ここから得られる教訓は、すべての組み立てラインが同じ画像処理の問題を抱えているということではなく、訓練された認識モデルがより大きなロボットや生産ワークフローの1つのコンポーネントになり得るということです。

Ultralyticsが提供しないもの。 これは認識層であり、検査ステーションではありません。カメラ、レンズ、照明、エンクロージャー、トリガー、エッジコンピュータ、PLC接続、オペレーターHMI、およびステーションの検証は、お客様またはインテグレーターのものであり、作業の大部分を占めます。工場がフィールドエンジニアが付属するサポートされたターンキーステーションを求めている場合、CognexやKeyenceなどの確立されたマシンビジョンベンダーの方が確実な選択肢であり、Ultralytics Platformはそれらの数十年におる展開の歴史に対抗して2026年3月にリリースされました。

ロールアウトチェックリスト#

• すべてのチェックを目視可能な証拠と運用上のアクションとして定義します。
• 別のセンサーやシステムを必要とする非視覚的な要件を記録します。
• 実際の部品を使用して、カメラ、レンズ、照明、トリガー、およびマウントを検証します。
• 製品ルールをモデルとは別にバージョン管理します。
• すべての製品バリアントと仕掛品の状態をテストします。
• レビュー、再スキャン、バイパス、およびインシデントの手順を提供します。
• 入力の品質、サービスの健全性、レビューされたモデルのエラー、および生産結果を監視します。
• カメラ、照明、治具、製品、またはプロセスの変更後に再検証します。