Presentamos Ultralytics Agents: crea flujos de trabajo de IA visual más rápido

Entrenar un modelo sólido de visión artificial es solo una parte del proceso. El siguiente reto consiste en decidir qué debería ocurrir cuando el modelo hace una predicción: guardar una imagen, solicitar más contexto, avisar a un equipo o recopilar un ejemplo incierto para revisarlo.

Tradicionalmente, los equipos creaban esta orquestación con scripts e integraciones independientes. Ultralytics Agents la traslada a un lienzo visual y ayuda a los equipos a convertir las predicciones en acciones prácticas con menos desarrollo a medida.

Disponible en Ultralytics Platform, Agents conecta imágenes, modelos Ultralytics YOLO, implementaciones, condiciones, modelos de lenguaje, conjuntos de datos y acciones en flujos de trabajo visuales reutilizables.

¿Qué son Ultralytics Agents?#

Agents ofrece una forma visual de diseñar y ejecutar flujos de trabajo de visión artificial. Añade bloques al lienzo, conecta cada paso y define qué debe ocurrir cuando una imagen cumple una condición específica.

Un flujo de trabajo puede usar un modelo oficial YOLO26, un modelo entrenado en tu espacio de trabajo o una implementación existente de Platform. Después, puede filtrar las predicciones por número de clases o confianza, enviar imágenes seleccionadas a un modelo de visión y lenguaje, recopilarlas en un conjunto de datos, avisar a un canal de Slack o mostrar el resultado.

Con Agents, puedes:

• Crea de forma visual: Conecta modelos, condiciones y acciones sin tener que crear manualmente todo el flujo de trabajo desde cero.
• Centra la atención: Procesa solo las imágenes que cumplan los criterios que definas.
• Combina inteligencia visual y lingüística: Usa YOLO para identificar lo importante antes de pedir contexto adicional a un modelo de visión y lenguaje.
• Convierte las predicciones en acciones: Guarda imágenes relevantes, envía alertas condicionales de Slack o pasa los resultados al siguiente paso del flujo de trabajo.
• Conecta la información de producción con los datos: Recopila imágenes inciertas o importantes para revisarlas y desarrollar modelos en el futuro.
• Inspecciona la implementación: Consulta el Python generado a partir de tu flujo de trabajo visual.

En lugar de quedarse en «¿Qué ha detectado el modelo?», los equipos pueden responder a una pregunta más valiosa: «¿Qué debería ocurrir a continuación?»

Pasa de la detección a la toma de decisiones#

Muchos sistemas de IA visual requieren varias herramientas y conexiones personalizadas. Un modelo genera predicciones, la lógica de la aplicación las evalúa, otro sistema almacena las entradas relevantes y una integración independiente envía notificaciones.

Agents reúne estos pasos en un único flujo de trabajo visual.

Por ejemplo, un equipo de fabricación podría ejecutar un modelo de inspección entrenado, comprobar si un defecto supera un umbral determinado, guardar la imagen para revisarla y avisar a un canal de operaciones. Un equipo de logística podría recopilar detecciones con baja confianza para identificar lagunas en sus datos de entrenamiento. Un equipo de seguridad podría usar YOLO para detectar a una persona en una zona restringida antes de pedir a un modelo de visión y lenguaje que describa la escena general.

El flujo de trabajo sigue las condiciones definidas por el usuario, por lo que queda claro por qué se ejecuta cada paso posterior o por qué no se ejecuta.

Combina Ultralytics YOLO y modelos de visión y lenguaje#

Los modelos YOLO son eficaces para localizar, clasificar y contar objetos en imágenes. Los modelos de visión y lenguaje pueden añadir una interpretación en lenguaje natural del contexto visual más amplio.

Agents permite combinar estas capacidades de forma eficiente. YOLO puede actuar como primer filtro y permitir que el flujo de trabajo invoque un modelo de visión y lenguaje solo cuando una imagen cumpla la condición requerida.

Por ejemplo, un flujo de trabajo podría:

1. Ejecutar YOLO26 en una imagen.
2. Comprobar si se ha detectado al menos a una persona.
3. Enviar las imágenes que cumplan la condición a un modelo de visión y lenguaje seleccionado.
4. Pedirle que describa la escena.
5. Mostrar la descripción resultante.

Si no se cumple la condición, no se ejecuta el paso de descripción. Así, los equipos controlan mejor qué imágenes avanzan por el flujo de trabajo y cuándo se usan llamadas a modelos externos.

Empieza con una plantilla de flujo de trabajo editable#

Agents incluye plantillas que ayudan a los equipos a pasar rápidamente de una idea a un flujo de trabajo funcional de IA visual.

• YOLO → Monitor de VLM: Usa YOLO para identificar imágenes relevantes antes de pedir a un modelo de visión y lenguaje que las describa.
• Recopila detecciones inciertas: Filtra las predicciones por confianza y recopila imágenes inciertas en un conjunto de datos para revisarlas.
• Captura y avisa: Guarda una imagen y envía una notificación de Slack cuando se cumpla una condición de detección.

Las plantillas ofrecen un punto de partida práctico, no una solución fija. Los equipos pueden elegir sus propias imágenes, modelos, implementaciones, condiciones, instrucciones, conjuntos de datos de destino e integraciones.

Los usuarios también pueden inspeccionar el Python generado por un flujo de trabajo y combinar la rapidez del desarrollo visual con la transparencia que necesitan los equipos técnicos para entender la implementación.

Cierra el ciclo entre la implementación y la mejora del modelo#

Las imágenes del mundo real pueden revelar condiciones que faltaban o estaban poco representadas durante el entrenamiento. Los nuevos entornos, los cambios en el aspecto de los objetos y las detecciones inciertas pueden indicar oportunidades para mejorar un modelo.

Agents ayuda a los equipos a convertir esas observaciones en un ciclo de datos práctico:

1. Ejecuta imágenes con un modelo Ultralytics YOLO o una implementación de Platform.
2. Filtra los resultados mediante condiciones de clase o confianza.
3. Recopila las imágenes originales seleccionadas en un conjunto de datos de destino.
4. Revisa y anota las imágenes en Ultralytics Platform.
5. Vuelve a entrenar e implementar con datos basados en entradas del mundo real.

Las imágenes recopiladas con Agents llegan sin etiquetar a la partición de entrenamiento del conjunto de datos de destino, listas para revisarlas en el editor de anotaciones. Los equipos pueden etiquetar estos ejemplos específicos y usarlos para orientar la siguiente iteración del modelo.

Esto crea una vía más directa para pasar de identificar un ejemplo difícil a preparar mejores datos de entrenamiento.

Diseña flujos de trabajo en función de resultados reales#

Agents puede ayudar a crear flujos de trabajo para distintos sectores y casos de uso:

• Fabricación: Captura posibles defectos para revisarlos y avisa a los equipos de calidad cuando se cumplan las condiciones definidas.
• Logística: Recopila detecciones inciertas de contenedores, vehículos o equipos para mejorar la cobertura del conjunto de datos.
• Comercio minorista: Filtra imágenes según las clases o cantidades detectadas y envía los resultados pertinentes a acciones posteriores.
• Seguridad y protección: Detecta personas u objetos en situaciones especificadas antes de solicitar contexto adicional sobre la escena.
• Desarrollo de conjuntos de datos: Encuentra ejemplos con baja confianza y recopílalos en un conjunto específico para su revisión.

Cada flujo de trabajo puede ramificarse desde una condición para ejecutar varias acciones. Por ejemplo, la misma imagen que cumpla la condición puede guardarse en un conjunto de datos y activar un mensaje de Slack, lo que ayuda a los equipos a conservar pruebas y avisar a las personas responsables de revisarlas.

Del prototipo visual a un Python transparente#

Los creadores visuales de flujos de trabajo pueden acelerar la experimentación, pero los equipos técnicos también necesitan saber qué se está ejecutando.

Agents permite a los usuarios inspeccionar el Python generado a partir de un flujo de trabajo. Así, combina la accesibilidad de un lienzo visual con la transparencia que necesitan los desarrolladores para entender la implementación subyacente.

Los equipos pueden probar un flujo de trabajo pequeño con la prueba compartida o elegir recursos de implementación dedicados de Platform para conjuntos de datos más grandes, ejecuciones más largas y modelos entrenados en el espacio de trabajo.

Empieza a crear con Agents#

Agents de Ultralytics ayuda a los equipos a ir más allá de las predicciones aisladas y crear flujos de trabajo conectados de IA visual. Al reunir YOLO, modelos de visión y lenguaje, condiciones configurables, conjuntos de datos y acciones en un único lienzo, Agents acelera el paso de la predicción a un resultado práctico.

Agents está disponible actualmente mediante acceso anticipado. Cambia a tu espacio de trabajo personal y activa el acceso anticipado en Settings > Profile. Es una preferencia personal, incluso cuando trabajas en un espacio de trabajo de equipo.

A continuación, abre Agents desde la barra lateral, empieza con una plantilla o crea tu propio flujo de trabajo en el lienzo de Agents. Consulta los bloques compatibles, las condiciones, las opciones de ejecución y las instrucciones de configuración en la documentación de Ultralytics Agents.