Ultralytics Agentsのご紹介：ビジュアルAIワークフローをより迅速に構築する

優れたコンピュータビジョンモデルのトレーニングは、プロセスのほんの一部に過ぎません。次の課題は、そのモデルが予測を行ったときに何を実行すべきかを決定することです：画像の保存、追加のコンテキストの要求、チームへのアラート送信、またはレビュー対象としての不確実なサンプルの収集などです。

これまで、開発チームは個別スクリプトや連携を使用してこのオーケストレーションを構築していました。Ultralytics Agentsはこれをビジュアルキャンバス上で実現し、カスタム開発の量を減らしながら予測を実用的なアクションへ変換することを支援します。

Ultralytics Platformで利用可能なAgentsは、画像、Ultralytics YOLOモデル、デプロイ、条件、言語モデル、データセット、そしてアクションを再利用可能なビジュアルワークフローに統合します。

Ultralytics Agentsとは何ですか？#

Agentsは、コンピュータビジョンワークフローを設計および実行するためのビジュアルな方法を提供します。キャンバスにブロックを追加し、各ステップを接続し、画像が特定の条件を満たしたときに何を実行すべきかを定義します。

ワークフローでは、公式のYOLO26モデル、ワークスペースでトレーニングされたモデル、または既存のPlatformデプロイを使用できます。その後、予測をクラス数や信頼度でフィルタリングし、選択した画像をビジョン言語モデルに送信したり、データセットに収集したり、Slackチャンネルに通知したり、結果を表示したりすることができます。

Agentsを使用すると、以下のことが可能です：

• 視覚的な構築： 完全なワークフローを手動で最初から作成することなく、モデル、条件、アクションを接続します。
• 注意の集中： 定義した基準を満たす画像のみを処理します。
• 視覚と言語のインテリジェンスの組み合わせ： 追加のコンテキストをビジョン言語モデルに要求する前に、YOLOを使用して重要な要素を特定します。
• 予測のアクションへの変換： 関連する画像の保存、条件付きのSlackアラートの送信、または結果の次のワークフローへの受け渡しを行います。
• 本番環境のインサイトとデータの接続： レビューや将来のモデル開発のために、不確実な画像や重要な画像を収集します。
• 実装の検査： ビジュアルワークフローから生成されたPythonコードを表示します。

チームは「モデルは何を検出したのか？」で終わるのではなく、より価値のある問いである「次に何を実行すべきか？」に答えることができます。

検出から意思決定への移行#

多くのビジョンAIシステムでは、複数のツールとカスタム接続が必要です。モデルが予測を生成し、アプリケーションロジックがそれを評価し、別のシステムが関連する入力を保存し、さらに別の連携機能が通知を送信します。

Agentsは、これらのステップを1つのビジュアルワークフローに統合します。

例えば、製造チームはトレーニング済みの検査モデルを実行し、欠陥が選択されたしきい値に達しているかどうかを確認し、レビュー用に画像を保存し、オペレーションチャンネルに通知することができます。物流チームは、信頼度の低い検出結果を収集してトレーニングデータのギャップを特定できます。安全管理チームは、ビジョン言語モデルにより広いシーンの記述を要求する前に、YOLOを使用して制限区域内の人物を検出できます。

ワークフローはユーザーが設定した条件に従うため、なぜ各下流ステップが実行されるのか、あるいは実行されないのかが明確になります。

Ultralytics YOLOとビジョン言語モデルの連携#

YOLOモデルは、画像内のオブジェクトの位置特定、分類、およびカウントに優れています。ビジョン言語モデルは、より広いビジュアルコンテキストの自然言語による解釈を追加できます。

Agentsにより、これらの機能を効率的に組み合わせることが可能になります。YOLOが最初のフィルターとして機能することで、画像が要求された条件を満たした場合にのみワークフローがビジョン言語モデルを呼び出すようになります。

例えば、ワークフローで以下の処理を実行できます：

1. 画像に対してYOLO26を実行する。
2. 少なくとも1人の人物が検出されたかどうかを確認する。
3. 条件に一致する画像を、選択したビジョン言語モデルに送信する。
4. シーンの記述をモデルに要求する。
5. 結果として得られた記述を表示する。

条件が満たされない場合、記述ステップは実行されません。これにより、チームはどの画像がワークフローを進むか、そして外部モデルの呼び出しがいつ行われるかをより詳細に制御できるようになります。

編集可能なワークフローテンプレートからの開始#

Agentsには、チームがアイデアから動作するビジュアルAIワークフローへ素早く移行できるようにするテンプレートが含まれています。

• YOLO → VLM Monitor： ビジョン言語モデルに記述を要求する前に、YOLOを使用して関連する画像を特定します。
• 不確実な検出の収集： 信頼度によって予測をフィルタリングし、レビューのために不確実な画像をデータセットに収集します。
• キャプチャとアラート： 検出条件が満たされたときに、画像を保存してSlack通知を送信します。

テンプレートは固定のソリューションではなく、実用的な出発点を提供します。チームは独自の画像、モデル、デプロイ、条件、プロンプト、宛先データセット、および連携を選択できます。

また、ユーザーはワークフローによって生成されたPythonコードを検査することができ、ビジュアル開発のスピードと、技術チームが実装を理解するために必要な透明性を両立させることができます。

デプロイとモデル改善のループの完成#

現実世界の画像は、トレーニング中に欠落していた、または表現が不十分だった条件を明らかにすることがあります。新しい環境、変化するオブジェクトの外観、および不確実な検出はすべて、モデルを改善する機会を示しています。

Agentsは、チームがそれらの観察結果を実行可能なデータループに変換することを支援します：

1. 実行： Ultralytics YOLOモデルまたはPlatformデプロイを通して画像を処理します。
2. フィルタリング： クラスまたは信頼度の条件を使用して結果を絞り込みます。
3. 収集： 選択したオリジナルの画像を宛先データセットに集約します。
4. レビューとアノテーション： Ultralytics Platformで画像をレビューおよびアノテーションします。
5. 再トレーニングと再デプロイ： 現実世界の入力から得られたデータを使用して再トレーニングと再デプロイを行います。

Agentsを通じて収集された画像は、宛先データセットのtrainスプリットにラベルなしで到着し、アノテーションエディターでのレビューの準備が整います。チームはこれらのターゲットサンプルにラベルを付け、次回のモデルイterationの指針として使用できます。

これにより、困難なサンプルの特定から、より優れたトレーニングデータの準備までのパスがより直接的になります。

現実世界の成果を中心としたワークフローの構築#

Agentsは、さまざまな業界やユースケースにわたるワークフローをサポートできます：

• 製造： 潜在的な欠陥をレビュー用にキャプチャし、定義された条件が満たされたときに品質管理チームに通知します。
• 物流： コンテナ、車両、または機器に関する不確実な検出を収集し、データセットのカバレッジを向上させます。
• リテール： 検出されたクラスやカウントに基づいて画像をフィルタリングし、関連する結果を下流のアクションに送信します。
• 安全管理とセキュリティ： 追加のシーンコンテキストを要求する前に、指定されたシナリオで人物やオブジェクトを検出します。
• データセット開発： 信頼度の低いサンプルを見つけ、焦点を絞ったレビューセットにまとめます。

各ワークフローは、1つの条件から複数のアクションへと分岐できます。例えば、同じ一致画像をデータセットに保存すると同時にSlackメッセージをトリガーすることができ、チームが証拠を保全しながらそれをレビューする責任者に通知するのを支援します。

ビジュアルプロトタイプから透明性の高いPythonへ#

ビジュアルワークフロービルダーは試行錯誤を加速させることができますが、技術チームには何が実行されているかについての可視性も必要です。

Agentsを使用すると、ユーザーはワークフローから生成されたPythonコードを検査できます。これにより、ビジュアルキャンバスのアクセシビリティと、開発者が基礎となる実装を理解するために必要な透明性が結び付けられます。

チームは、共有トライアルで小さなワークフローをテストすることも、より大規模なデータセット、長時間の実行、およびトレーニングされたワークスペースモデル向けに専用のPlatformデプロイリソースを選択することもできます。

Agentsによる構築の開始#

**Ultralytics Agents**は、チームが孤立した予測を超えて、接続されたビジュアルAIワークフローを構築することを支援します。YOLO、ビジョン言語モデル、設定可能な条件、データセット、そしてアクションを1つのキャンバスに統合することで、Agentsは予測から実用的な成果までのより迅速なパスを作り出します。

Agentsは現在、Early accessを通じて利用可能です。個人のワークスペースに切り替え、Settings > Profileからenable Early accessを有効にしてください。これは、チームワークスペースで作業している場合も含め、個人の設定項目です。

その後、サイドバーからAgentsをopenし、テンプレートから始めるか、Agents canvasで独自のワークフローを構築してください。サポートされているブロック、条件、実行オプション、およびセットアップガイドについては、Ultralytics Agents documentationをご覧ください。