Présentation d'Ultralytics Agents : construis des flux de travail de vision par IA plus rapidement

Entraîner un modèle de vision par ordinateur performant ne représente qu'une partie du parcours. Le défi suivant consiste à décider de l'action à entreprendre lorsqu'un tel modèle effectue une prédiction : enregistrer une image, demander davantage de contexte, alerter une équipe ou collecter un exemple incertain pour examen.

Auparavant, les équipes construisaient cette orchestration à l'aide de scripts et d'intégrations séparés. Ultralytics Agents l'intègre sur un canevas visuel, aidant les équipes à transformer les prédictions en actions concrètes avec moins de développement personnalisé.

Disponible dans Ultralytics Platform, Agents connecte des images, des modèles YOLO d'Ultralytics, des déploiements, des conditions, des modèles de langage, des ensembles de données et des actions au sein de workflows visuels réutilisables.

Que sont les Ultralytics Agents ?#

Agents offre un moyen visuel de concevoir et d'exécuter des workflows de vision par ordinateur. Ajoute des blocs sur le canevas, connecte chaque étape et définis ce qui doit se produire lorsqu'une image remplit une condition spécifique.

Un workflow peut utiliser un modèle YOLO26 officiel, un modèle entraîné dans ton espace de travail ou un déploiement de Platform existant. Il peut ensuite filtrer les prédictions par nombre de classes ou par confiance, envoyer des images sélectionnées à un modèle vision-langage, les regrouper dans un ensemble de données, notifier un canal Slack ou afficher le résultat.

Avec Agents, tu peux :

• Construire visuellement : connecte des modèles, des conditions et des actions sans créer manuellement l'intégralité du workflow à partir de zéro.
• Cibler l'attention : traite uniquement les images qui remplissent les critères que tu définis.
• Associer intelligence visuelle et textuelle : utilise YOLO pour identifier ce qui importe avant de demander un contexte supplémentaire à un modèle vision-langage.
• Transformer les prédictions en action : enregistre les images pertinentes, envoie des alertes Slack conditionnelles ou transmet les résultats à l'étape suivante du workflow.
• Relier les insights de production aux données : collecte des images incertaines ou importantes pour les examiner et améliorer les futurs modèles.
• Inspecter l'implémentation : consulte le code Python généré à partir de ton workflow visuel.

Plutôt que de s'arrêter à la question « Qu'est-ce que le modèle a détecté ? », les équipes peuvent répondre à une question bien plus utile : « Que doit-il se passer ensuite ? »

Passe de la détection à la décision#

De nombreux systèmes d'IA visuelle nécessitent de multiples outils et connexions personnalisées. Un modèle génère des prédictions, la logique applicative les évalue, un autre système stocke les entrées pertinentes et une intégration distincte envoie des notifications.

Agents réunit toutes ces étapes en un seul workflow visuel.

Par exemple, une équipe de fabrication pourrait exécuter un modèle d'inspection entraîné, vérifier si un défaut atteint un seuil choisi, enregistrer l'image pour examen et alerter un canal des opérations. Une équipe logistique pourrait collecter des détections à faible confiance afin d'identifier les lacunes de ses données d'entraînement. Une équipe de sécurité pourrait utiliser YOLO pour détecter une personne dans une zone restreinte avant de demander à un modèle vision-langage de décrire la scène dans son ensemble.

Le workflow suit les conditions fixées par l'utilisateur, ce qui permet de comprendre clairement pourquoi chaque étape en aval s'exécute ou ne s'exécute pas.

Utilise Ultralytics YOLO et des modèles vision-langage ensemble#

Les modèles YOLO sont efficaces pour localiser, classer et compter des objets au sein d'images. Les modèles vision-langage peuvent apporter une interprétation en langage naturel du contexte visuel plus large.

Agents permet de combiner ces capacités de manière efficace. YOLO peut agir en tant que premier filtre, permettant au workflow d'appeler un modèle vision-langage uniquement lorsqu'une image remplit la condition requise.

Par exemple, un workflow pourrait :

1. Exécuter YOLO26 sur une image.
2. Vérifier si au moins une personne a été détectée.
3. Envoyer les images correspondantes à un modèle vision-langage sélectionné.
4. Lui demander de décrire la scène.
5. Afficher la description obtenue.

Si la condition n'est pas remplie, l'étape de description ne s'exécute pas. Cela offre aux équipes un meilleur contrôle sur les images qui progressent dans le workflow et sur les moments où les appels aux modèles externes sont effectués.

Commence avec un modèle de workflow modifiable#

Agents intègre des modèles qui aident les équipes à passer rapidement d'une idée à un workflow d'IA visuelle fonctionnel.

• YOLO → VLM Monitor : utilise YOLO pour identifier les images pertinentes avant de demander à un modèle vision-langage de les décrire.
• Collecter les détections incertaines : filtre les prédictions par niveau de confiance et rassemble les images incertaines dans un ensemble de données pour examen.
• Capturer et alerter : enregistre une image et envoie une notification Slack lorsqu'une condition de détection est remplie.

Ces modèles constituent un point de départ pratique plutôt qu'une solution figée. Les équipes peuvent sélectionner leurs propres images, modèles, déploiements, conditions, invites (prompts), ensembles de données de destination et intégrations.

Les utilisateurs peuvent également inspecter le code Python généré par un workflow, combinant ainsi la rapidité du développement visuel et la transparence dont les équipes techniques ont besoin pour comprendre l'implémentation.

Boucle la boucle entre le déploiement et l'amélioration du modèle#

Les images du monde réel peuvent révéler des conditions qui étaient absentes ou sous-représentées lors de l'entraînement. De nouveaux environnements, des apparences d'objets changeantes et des détections incertaines peuvent tous indiquer des opportunités d'amélioration d'un modèle.

Agents aide les équipes à transformer ces observations en une boucle de données exploitable :

1. Exécuter des images via un modèle YOLO d'Ultralytics ou un déploiement de Platform.
2. Filtrer les résultats à l'aide de conditions sur les classes ou la confiance.
3. Collecter les images originales sélectionnées dans un ensemble de données de destination.
4. Examiner et annoter les images dans Ultralytics Platform.
5. Réentraîner et redéployer à l'aide de données enrichies par les entrées du monde réel.

Les images collectées par le biais d'Agents arrivent non étiquetées dans la division d'entraînement (train split) de l'ensemble de données de destination, prêtes à être examinées dans l'éditeur d'annotation. Les équipes peuvent étiqueter ces exemples ciblés et les utiliser pour guider la prochaine itération du modèle.

Cela crée un parcours plus direct entre l'identification d'un exemple difficile et la préparation de meilleures données d'entraînement.

Construis des workflows axés sur les résultats du monde réel#

Agents prend en charge des workflows dans de nombreux secteurs et cas d'usage :

• Manufacturing: capture de possibles défauts pour examen et notification des équipes qualité lorsque les conditions définies sont remplies.
• Logistics: collecte de détections incertaines impliquant des conteneurs, des véhicules ou des équipements afin d'améliorer la couverture des ensembles de données.
• Retail: filtrage d'images en fonction des classes détectées ou des décomptes, et transmission des résultats pertinents vers des actions en aval.
• Safety et sécurité : détection de personnes ou d'objets dans des scénarios spécifiques avant de demander un contexte de scène supplémentaire.
• Développement d'ensembles de données : recherche d'exemples à faible confiance pour les regrouper au sein d'un ensemble d'examen ciblé.

Chaque workflow peut se ramifier d'une condition vers plusieurs actions. Par exemple, la même image correspondante peut être enregistrée dans un ensemble de données et déclencher un message Slack, ce qui aide les équipes à conserver des preuves tout en prévenant les personnes chargées de les examiner.

Du prototype visuel au code Python transparent#

Les constructeurs de workflows visuels peuvent accélérer l'expérimentation, mais les équipes techniques ont également besoin de visibilité sur ce qui s'exécute.

Agents permet aux utilisateurs d'inspecter le code Python généré à partir d'un workflow. Cela relie l'accessibilité d'un canevas visuel à la transparence dont les développeurs ont besoin pour comprendre l'implémentation sous-jacente.

Les équipes peuvent tester un petit workflow avec l'essai partagé ou sélectionner des ressources de déploiement Platform dédiées pour des ensembles de données plus vastes, des exécutions plus longues et des modèles d'espace de travail entraînés.

Commence à construire avec Agents#

Ultralytics Agents aide les équipes à aller au-delà des prédictions isolées et à construire des workflows d'IA visuelle connectés. En réunissant YOLO, des modèles vision-langage, des conditions configurables, des ensembles de données et des actions sur un même canevas, Agents offre un parcours plus rapide entre la prédiction et le résultat concret.

Agents est actuellement disponible via l'Early access. Bascule sur ton espace de travail personnel et active l'Early access sous Settings > Profile. Il s'agit d'une préférence personnelle, y compris lorsque tu travailles au sein d'un espace de travail d'équipe.

Ensuite, ouvre Agents depuis la barre latérale, commence avec un modèle ou construis ton propre workflow sur le canas Agents. Explore les blocs pris en charge, les conditions, les options d'exécution et les guides de configuration dans la documentation d'Ultralytics Agents.