Image Captioning

El subtitulado de imágenes es una tarea de IA que genera automáticamente una descripción en lenguaje natural de una imagen. Por ejemplo, a partir de una foto de una calle, un sistema podría generar: «Un autobús urbano pasa junto a unos peatones en un cruce». La tarea combina percepción visual con generación de lenguaje, por lo que el modelo debe identificar el contenido importante, comprender las relaciones entre los objetos y expresar esa información con claridad.

El subtitulado suele realizarse con un modelo de visión y lenguaje, que trabaja con datos visuales y textuales. A diferencia de un pie de foto escrito manualmente, un subtítulo generado por IA es una predicción basada en patrones aprendidos a partir de pares de imagen y texto.

Cómo funciona el subtitulado de imágenes#

Un sistema de subtitulado de imágenes suele tener dos etapas conectadas:

1. Un codificador visual convierte los píxeles en representaciones de características que describen objetos, texturas, ubicaciones e información general de la escena.
2. Un decodificador de lenguaje convierte esas características visuales en una secuencia de palabras.

Muchos sistemas utilizan un decodificador Transformer. Empieza con un token de inicio, predice el siguiente token, lo añade a la secuencia y repite el proceso hasta generar un token de fin o alcanzar un límite de longitud. Este proceso token a token se denomina generación autorregresiva.

El ciclo completo de codificador-decodificador es así:

Un mecanismo de atención ayuda al decodificador a centrarse en las regiones pertinentes de la imagen al elegir cada palabra. Al generar «autobús», puede dar más importancia al vehículo; al generar «calle», puede centrarse en la carretera circundante. Un modelo completo de descripción de imágenes combina características de imagen, tokenización, atención cruzada y un decodificador de texto.

El entrenamiento suele requerir imágenes emparejadas con uno o varios subtítulos escritos por personas. Los subtítulos múltiples son útiles porque una misma imagen puede describirse correctamente de distintas formas, como «Un niño juega con un perro» y «Una persona joven lanza una pelota a su mascota».

Diferencias con tareas de visión relacionadas#

El subtitulado de imágenes comparte características con varias tareas de IA, pero genera un resultado distinto:

• La clasificación de imágenes asigna una o varias etiquetas a toda la imagen, como «playa». La generación de descripciones produce una frase que puede describir objetos, acciones, atributos y contexto.
• La detección de objetos identifica y localiza objetos predefinidos mediante cuadros delimitadores. La generación de descripciones puede mencionar esos objetos, pero también describe sus relaciones, como «Dos ciclistas circulan junto a un coche».
• Reconocimiento óptico de caracteres extrae el texto visible de carteles, documentos o envases. Un subtítulo resume la escena en lugar de transcribir todo el texto.
• Respuesta a preguntas visuales responde a una pregunta concreta sobre una imagen. El subtitulado crea una descripción general sin necesidad de plantear una pregunta.
• Texto alternativo comunica la finalidad de una imagen en un contexto concreto. Un subtítulo automatizado puede servir de borrador, pero no es automáticamente adecuado como texto alternativo, ya que las imágenes decorativas, funcionales y complejas requieren tratamientos distintos según el tutorial de W3C sobre imágenes.

Aplicaciones en el mundo real#

• Contenido web accesible: Una plataforma de publicación puede generar borradores de descripciones para las fotografías que se suban. Para una imagen de una noticia, el subtítulo podría identificar a las personas principales, el entorno y la acción antes de que un editor compruebe su precisión y relevancia. Los diagramas complejos siguen necesitando una descripción larga estructurada, en lugar de un resumen visual genérico.

• Bibliotecas multimedia con búsqueda: Un minorista o una empresa de medios puede generar subtítulos para grandes colecciones de imágenes e indexar el texto generado. Así, los usuarios pueden buscar frases como «mochila roja junto a una tienda de campaña», aunque los archivos nunca se hayan etiquetado manualmente. Los subtítulos pueden complementar las incrustaciones visuales y los metadatos, mejorando la búsqueda en catálogos grandes.

Anclaje práctico con Ultralytics YOLO#

Los generadores de subtítulos pueden inventar detalles sin fundamento, especialmente en escenas abarrotadas o poco conocidas. Una solución práctica es anclar la generación con observaciones estructuradas de Ultralytics YOLO26. El flujo de trabajo documentado de predicción de YOLO que se muestra a continuación extrae los nombres de los objetos detectados, que un componente de lenguaje posterior puede utilizar como contexto visual:

from ultralytics import YOLO

# Detecta objetos que puedan servir de anclaje para un generador de subtítulos posterior
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convierte las detecciones en un contexto textual compacto
detections = result.summary()
object_names = sorted({item["name"] for item in detections})

visual_context = ", ".join(object_names)
print(visual_context)

Este flujo de trabajo no genera el subtítulo final. En su lugar, proporciona etiquetas de objetos verificables que pueden limitar las respuestas de un modelo de lenguaje. Para dominios personalizados, Ultralytics Platform admite la anotación de conjuntos de datos en la nube, el entrenamiento, la implementación y la supervisión del componente de percepción de una canalización de subtitulado.

Limitaciones y evaluación#

Las descripciones pueden omitir objetos importantes, confundir relaciones, reproducir el sesgo del conjunto de datos o alucinar detalles que no son visibles. Las puntuaciones de confianza, como las que devuelve una API de descripción de imágenes, pueden ayudar a ordenar las descripciones candidatas, pero una frase fluida no tiene por qué ser veraz.

Por tanto, la evaluación debe examinar la cobertura de objetos, el anclaje factual, la legibilidad, los sesgos y la utilidad para el público previsto. Como varios subtítulos pueden ser igual de correctos, los equipos deben combinar mediciones automatizadas con revisión humana, siguiendo prácticas como la evaluación de IA generativa y el Marco de gestión de riesgos de IA de NIST, más amplio. La aprobación humana sigue siendo especialmente importante para contenido relacionado con la accesibilidad, la medicina, la seguridad crítica o dirigido al público.