Ultralytics Agentsのご紹介：ビジュアルAIワークフローをより迅速に構築

優れたコンピュータービジョンモデルのトレーニングは、道のりの一部にすぎません。次の課題は、そのモデルが予測したときに何をするかを決めることです。画像を保存するのか、追加のコンテキストを求めるのか、チームにアラートを送るのか、あるいは不確かなサンプルを収集してレビューするのかを判断する必要があります。

これまで、チームは個別のスクリプトやインテグレーションを使って、このオーケストレーションを構築していました。Ultralytics Agentsは、これをビジュアルキャンバス上で実現し、カスタム開発を抑えながら、予測を実用的なアクションにつなげられるよう支援します。

Ultralytics Platformで利用できるAgentsは、画像、Ultralytics YOLOモデル、デプロイ、条件、言語モデル、データセット、アクションを、再利用可能なビジュアルワークフローで連携させます。

Ultralytics Agentsとは何ですか？#

Agentsは、コンピュータービジョンのワークフローを設計して実行するためのビジュアルな方法を提供します。キャンバスにブロックを追加して各ステップを接続し、画像が特定の条件を満たしたときに何を実行するかを定義できます。

ワークフローでは、公式のYOLO26モデル、ワークスペースでトレーニングしたモデル、または既存のPlatformデプロイメントを使用できます。その後、クラス数や信頼度で予測をフィルタリングしたり、選択した画像を視覚言語モデルに送信したり、画像をデータセットに収集したり、Slackチャンネルに通知したり、結果を表示したりできます。

Agentsでは、次のことができます。

• ビジュアルに構築: モデル、条件、アクションを接続し、ワークフロー全体を一から手動で作成することなく構築できます。
• 注目対象を絞り込む: 定義した条件を満たす画像だけを処理できます。
• 視覚と言語のインテリジェンスを組み合わせる: YOLOで重要な対象を特定してから、視覚言語モデルに追加のコンテキストを求めることができます。
• 予測をアクションにつなげる: 関連する画像を保存したり、条件付きのSlackアラートを送信したり、結果を次のワークフローステップに渡したりできます。
• 本番環境の知見をデータにつなげる: 不確実性の高い画像や重要な画像を収集し、レビューや将来のモデル開発に活用できます。
• 実装を確認する: ビジュアルワークフローから生成されたPythonを確認できます。

チームは「モデルは何を検出したか？」で終わらず、より価値のある「次に何をすべきか？」という問いに答えられます。

検出から意思決定へ#

多くのビジョンAIシステムでは、複数のツールとカスタム接続が必要です。モデルが予測を生成し、アプリケーションロジックが予測を評価し、別のシステムが関連する入力を保存し、さらに別の連携機能が通知を送信します。

Agentsは、これらのステップを1つのビジュアルワークフローにまとめます。

たとえば、製造チームはトレーニング済みの検査モデルを実行し、欠陥が設定したしきい値を満たすか確認し、画像をレビュー用に保存して、運用チャンネルに通知できます。物流チームは、信頼度の低い検出結果を収集し、トレーニングデータの不足を特定できます。安全管理チームは、YOLOで立ち入り制限区域内の人物を検出してから、視覚言語モデルに周囲の状況を説明させることができます。

ワークフローはユーザーが設定した条件に従うため、後続の各ステップが実行される理由、または実行されない理由が明確になります。

Ultralytics YOLOと視覚言語モデルを組み合わせる#

YOLOモデルは、画像内のオブジェクトの位置特定、分類、カウントに効果を発揮します。視覚言語モデルは、より広い視覚的コンテキストを自然言語で解釈できます。

Agentsを使うと、これらの機能を効率よく組み合わせられます。YOLOを最初のフィルターとして使うことで、画像が必要な条件を満たす場合に限り、ワークフローから視覚言語モデルを呼び出せます。

たとえば、次のようなワークフローを作成できます。

1. 画像に対してYOLO26を実行します。
2. 少なくとも1人の人物が検出されたか確認します。
3. 条件に一致する画像を選択した視覚言語モデルに送信します。
4. そのモデルにシーンの説明を求めます。
5. 生成された説明を表示します。

条件を満たさない場合、説明のステップは実行されません。これにより、チームはワークフローを進む画像と、外部モデルを呼び出すタイミングをより細かく制御できます。

編集可能なワークフローテンプレートから始める#

Agentsには、アイデアから実用的なビジュアルAIワークフローへすばやく進むためのテンプレートが用意されています。

• YOLO → VLM Monitor: YOLOで関連する画像を特定してから、視覚言語モデルに画像を説明させます。
• 不確実な検出結果を収集: 信頼度で予測をフィルタリングし、不確実性の高い画像をレビュー用のデータセットに収集します。
• キャプチャして通知: 検出条件を満たしたときに画像を保存し、Slack通知を送信します。

テンプレートは固定のソリューションではなく、実用的な出発点を提供します。チームは独自の画像、モデル、デプロイメント、条件、プロンプト、保存先データセット、連携機能を選択できます。

ユーザーはワークフローから生成されたPythonを確認することもでき、ビジュアル開発のスピードと、実装を理解するために技術チームが必要とする透明性を両立できます。

デプロイメントとモデル改善のフィードバックループを構築する#

実世界の画像から、トレーニング時に不足していた条件や、十分に反映されていなかった条件が明らかになることがあります。新しい環境、変化するオブジェクトの外観、不確実性の高い検出結果は、いずれもモデル改善の機会を示す可能性があります。

Agentsを使うと、チームはこうした気づきを実行可能なデータループに変えられます。

1. 実行: 画像をUltralytics YOLOモデルまたはPlatformデプロイメントで処理します。
2. フィルタリング: クラスまたは信頼度の条件を使って結果を絞り込みます。
3. 収集: 選択した元画像を保存先データセットに収集します。
4. レビューとアノテーション: Ultralytics Platformで画像を確認してアノテーションします。
5. 再トレーニングと再デプロイ: 実世界の入力を反映したデータを使って、モデルを再トレーニングして再デプロイします。

Agentsで収集された画像は、保存先データセットのtrain splitに未ラベルの状態で追加され、アノテーションエディターでレビューできるようになります。チームは対象を絞ったこれらの例にラベルを付け、次のモデルのイテレーションに活用できます。

これにより、扱いが難しい例の特定から、より優れたトレーニングデータの準備までを、より直接的につなげられます。

実世界の成果を中心にワークフローを構築する#

Agentsは、さまざまな業界やユースケースのワークフローを支援できます。

• 製造: 欠陥の可能性がある画像をレビュー用に保存し、定義した条件を満たしたときに品質管理チームに通知します。
• 物流: コンテナ、車両、設備に関する不確実性の高い検出結果を収集し、データセットの網羅性を高めます。
• 小売: 検出されたクラスや個数に基づいて画像をフィルタリングし、関連する結果を後続のアクションに送信します。
• 安全 とセキュリティ: 指定された状況で人物やオブジェクトを検出してから、シーンの追加情報を求めます。
• データセット開発: 信頼度の低い例を見つけ、対象を絞ったレビュー用データセットに集めます。

各ワークフローでは、1つの条件から複数のアクションに分岐できます。たとえば、条件に一致した同じ画像をデータセットに保存し、Slackメッセージを送信することで、レビュー担当者への通知と証拠の保存を同時に行えます。

ビジュアルなプロトタイプから透明性の高いPythonへ#

ビジュアルワークフロービルダーは実験を加速できますが、技術チームには実行中の処理を確認できることも必要です。

Agentsでは、ワークフローから生成されたPythonを確認できます。これにより、ビジュアルキャンバスの使いやすさと、基盤となる実装を理解するために開発者が必要とする透明性を両立できます。

チームは共有トライアルを使って小規模なワークフローをテストすることも、より大規模なデータセット、長時間の実行、トレーニング済みのワークスペースモデル向けに、専用のPlatformデプロイメントリソースを選択することもできます。

Agentsで構築を始める#

Ultralytics Agentsは、個別の予測にとどまらず、つながりのあるビジュアルAIワークフローを構築するための機能です。YOLO、視覚言語モデル、設定可能な条件、データセット、アクションを1つのキャンバスにまとめることで、Agentsは予測から実用的な成果までの道のりを短縮します。

Agentsは現在、Early accessを通じて利用できます。個人用ワークスペースに切り替え、Settings > ProfileでEarly accessを有効にするを選択してください。チームワークスペースで作業している場合も、この設定は個人の環境設定として適用されます。

次に、サイドバーからAgentsを開き、テンプレートを使うか、Agentsキャンバスで独自のワークフローを構築してください。対応ブロック、条件、実行オプション、セットアップ手順については、Ultralytics Agentsのドキュメントをご覧ください。