Découvrez Ultralytics Agents : créez plus rapidement des workflows d’IA visuelle

Entraîner un modèle de vision par ordinateur performant n’est qu’une partie du parcours. Le défi suivant consiste à décider quoi faire lorsque le modèle effectue une prédiction : enregistrer une image, demander davantage de contexte, avertir une équipe ou recueillir un exemple incertain pour examen.

Historiquement, les équipes créaient cette orchestration à l’aide de scripts et d’intégrations distincts. Ultralytics Agents la transpose sur un canevas visuel, aidant les équipes à transformer les prédictions en actions concrètes avec moins de développement personnalisé.

Disponible dans Ultralytics Platform, Agents relie les images, les modèles Ultralytics YOLO, les déploiements, les conditions, les modèles de langage, les jeux de données et les actions dans des processus visuels réutilisables.

Que sont les Agents Ultralytics ?#

Les Agents offrent une manière visuelle de concevoir et d’exécuter des workflows de vision par ordinateur. Ajoute des blocs au canevas, relie chaque étape et définis ce qui doit se passer lorsqu’une image répond à une condition précise.

Un workflow peut utiliser un modèle YOLO26 officiel, un modèle entraîné dans ton espace de travail ou un déploiement Platform existant. Il peut ensuite filtrer les prédictions selon le nombre de classes ou le niveau de confiance, envoyer les images sélectionnées à un modèle vision-langage, les collecter dans un jeu de données, envoyer une notification à un canal Slack ou afficher le résultat.

Avec les Agents, tu peux :

• Construire visuellement : relie des modèles, des conditions et des actions sans créer manuellement tout le workflow à partir de zéro.
• Cibler l’attention : traite uniquement les images qui répondent aux critères que tu définis.
• Combiner intelligence visuelle et linguistique : utilise YOLO pour identifier les éléments importants avant de demander davantage de contexte à un modèle vision-langage.
• Transformer les prédictions en actions : enregistre les images pertinentes, envoie des alertes Slack conditionnelles ou transmets les résultats à l’étape suivante du workflow.
• Relier les informations de production aux données : collecte les images incertaines ou importantes pour les examiner et développer de futurs modèles.
• Examiner l’implémentation : consulte le code Python généré à partir de ton workflow visuel.

Au lieu de s’arrêter à « Qu’est-ce que le modèle a détecté ? », les équipes peuvent répondre à la question plus utile : « Que faut-il faire ensuite ? »

Passer de la détection à la décision#

De nombreux systèmes d’IA visuelle nécessitent plusieurs outils et des connexions personnalisées. Un modèle génère des prédictions, la logique de l’application les évalue, un autre système stocke les entrées pertinentes et une intégration distincte envoie les notifications.

Les Agents réunissent ces étapes dans un workflow visuel.

Par exemple, une équipe de production pourrait exécuter un modèle d’inspection entraîné, vérifier si un défaut dépasse un seuil choisi, enregistrer l’image pour examen et envoyer une alerte à un canal des opérations. Une équipe logistique pourrait collecter les détections peu fiables pour repérer les lacunes dans ses données d’entraînement. Une équipe chargée de la sécurité pourrait utiliser YOLO pour détecter une personne dans une zone réglementée, puis demander à un modèle vision-langage de décrire la scène dans son ensemble.

Le workflow suit les conditions définies par l’utilisateur, ce qui indique clairement pourquoi chaque étape en aval s’exécute ou ne s’exécute pas.

Utiliser ensemble les modèles Ultralytics YOLO et les modèles vision-langage#

Les modèles YOLO localisent, classifient et comptent efficacement les objets dans les images. Les modèles vision-langage peuvent interpréter en langage naturel le contexte visuel plus général.

Les Agents permettent de combiner ces capacités efficacement. YOLO peut servir de premier filtre, afin que le workflow n’appelle un modèle vision-langage que lorsqu’une image répond à la condition requise.

Par exemple, un workflow pourrait :

1. Exécuter YOLO26 sur une image.
2. Vérifier si au moins une personne a été détectée.
3. Envoyer les images correspondantes à un modèle vision-langage sélectionné.
4. Lui demander de décrire la scène.
5. Afficher la description obtenue.

Si la condition n’est pas remplie, l’étape de description ne s’exécute pas. Les équipes contrôlent ainsi davantage les images qui poursuivent le workflow et le moment où des appels à des modèles externes sont utilisés.

Commencer avec un modèle de workflow modifiable#

Les Agents incluent des modèles qui aident les équipes à passer rapidement d’une idée à un workflow d’IA visuelle opérationnel.

• YOLO → Moniteur VLM : utilise YOLO pour identifier les images pertinentes avant de demander à un modèle vision-langage de les décrire.
• Collecter les détections incertaines : filtre les prédictions selon leur niveau de confiance et collecte les images incertaines dans un jeu de données pour les examiner.
• Capturer et alerter : enregistre une image et envoie une notification Slack lorsqu’une condition de détection est remplie.

Les modèles constituent un point de départ pratique, pas une solution figée. Les équipes peuvent choisir leurs propres images, modèles, déploiements, conditions, invites, jeux de données de destination et intégrations.

Les utilisateurs peuvent aussi examiner le code Python généré par un workflow, combinant ainsi la rapidité du développement visuel à la transparence dont les équipes techniques ont besoin pour comprendre l’implémentation.

Boucler la boucle entre déploiement et amélioration des modèles#

Les images du monde réel peuvent révéler des conditions absentes ou sous-représentées pendant l’entraînement. De nouveaux environnements, l’évolution de l’apparence des objets et les détections incertaines peuvent tous indiquer des possibilités d’amélioration d’un modèle.

Les Agents aident les équipes à transformer ces observations en boucle de données exploitable :

1. Exécuter des images avec un modèle Ultralytics YOLO ou un déploiement Platform.
2. Filtrer les résultats à l’aide de conditions portant sur la classe ou le niveau de confiance.
3. Collecter les images originales sélectionnées dans un jeu de données de destination.
4. Examiner et annoter les images dans Ultralytics Platform.
5. Réentraîner et redéployer à l’aide de données issues de situations réelles.

Les images collectées par les Agents arrivent sans étiquette dans la partition d’entraînement du jeu de données de destination, prêtes à être examinées dans l’éditeur d’annotation. Les équipes peuvent annoter ces exemples ciblés et s’en servir pour orienter la prochaine itération du modèle.

Cela crée un chemin plus direct entre la détection d’un exemple difficile et la préparation de meilleures données d’entraînement.

Créer des workflows axés sur les résultats du monde réel#

Les Agents peuvent prendre en charge des workflows dans différents secteurs et cas d’utilisation :

• Fabrication : Capture les défauts potentiels à examiner et avertis les équipes qualité lorsque les conditions définies sont remplies.
• Logistique : Collecte les détections incertaines impliquant des conteneurs, des véhicules ou des équipements afin d’améliorer la couverture du jeu de données.
• Commerce de détail : Filtre les images selon les classes détectées ou le nombre d’objets détectés, puis envoie les résultats pertinents aux actions en aval.
• Sécurité et sûreté : détecte des personnes ou des objets dans des situations précises avant de demander davantage de contexte sur la scène.
• Développement de jeux de données : trouve les exemples peu fiables et rassemble-les dans un jeu ciblé à examiner.

Chaque workflow peut partir d’une condition et déclencher plusieurs actions. Par exemple, la même image correspondante peut être enregistrée dans un jeu de données et déclencher un message Slack, ce qui aide les équipes à conserver des preuves tout en avertissant les personnes chargées de les examiner.

Du prototype visuel au code Python transparent#

Les outils de création de workflows visuels peuvent accélérer l’expérimentation, mais les équipes techniques ont aussi besoin de savoir ce qui s’exécute.

Les Agents permettent aux utilisateurs d’examiner le code Python généré à partir d’un workflow. Ils associent l’accessibilité d’un canevas visuel à la transparence dont les développeurs ont besoin pour comprendre l’implémentation sous-jacente.

Les équipes peuvent tester un petit workflow avec l’essai partagé ou choisir des ressources de déploiement Platform dédiées pour des jeux de données plus volumineux, des exécutions plus longues et des modèles entraînés dans leur espace de travail.

Commencer à créer avec les Agents#

Agents Ultralytics aide les équipes à dépasser les prédictions isolées et à créer des workflows d’IA visuelle connectés. En réunissant YOLO, les modèles vision-langage, les conditions configurables, les jeux de données et les actions sur un même canevas, Agents accélère le passage de la prédiction à un résultat concret.

Agents est actuellement disponible en accès anticipé. Passe à ton espace de travail personnel et active l’accès anticipé dans Settings > Profile. Il s’agit d’une préférence personnelle, y compris lorsque tu travailles dans un espace de travail d’équipe.

Puis ouvre Agents dans la barre latérale, commence avec un modèle ou crée ton propre workflow sur le canevas Agents. Découvre les blocs pris en charge, les conditions, les options d’exécution et les instructions de configuration dans la documentation Ultralytics Agents.