Vision Language Model (VLM)

Un modelo de visión y lenguaje (VLM) es un tipo de inteligencia artificial capaz de procesar e interpretar simultáneamente información visual (imágenes o vídeo) e información textual. A diferencia de los modelos tradicionales de visión artificial, que se centran exclusivamente en los datos de píxeles, o de los grandes modelos de lenguaje (LLM), que solo entienden texto, los VLM conectan estas dos modalidades. Al entrenarse con conjuntos de datos enormes que contienen pares de imagen y texto, estos modelos aprenden a asociar características visuales con conceptos lingüísticos, lo que les permite describir imágenes, responder preguntas sobre escenas visuales e incluso ejecutar comandos basándose en lo que «ven».

Cómo funcionan los modelos de visión y lenguaje#

En esencia, los VLM suelen constar de dos componentes principales: un codificador visual y un codificador de texto. El codificador visual procesa imágenes para extraer mapas de características y representaciones visuales, mientras que el codificador de texto se ocupa de la entrada lingüística. Después, estos flujos de datos distintos se fusionan mediante mecanismos como la atención cruzada, que alinea la información visual y textual en un espacio de incrustación compartido.

Los avances recientes de 2024 y 2025 se han orientado hacia arquitecturas más unificadas, en las que una sola estructura Transformer gestiona ambas modalidades. Por ejemplo, modelos como Google PaliGemma 2 muestran cómo una integración eficaz de estos flujos puede mejorar el rendimiento en tareas de razonamiento complejas. Esta alineación permite que el modelo entienda el contexto; por ejemplo, que la palabra «apple» hace referencia a una fruta en la imagen de una tienda de alimentación, pero a una empresa tecnológica en un logotipo.

Aplicaciones en el mundo real#

La capacidad de comprender el mundo mediante la vista y el lenguaje abre numerosas aplicaciones en diversos sectores:

• Respuesta a preguntas visuales (VQA): Los VLM se utilizan ampliamente en el diagnóstico sanitario para ayudar a los radiólogos. Un médico podría preguntar al sistema «¿Hay una fractura en esta radiografía?» y el modelo analizaría la imagen médica para ofrecer una valoración preliminar y reducir los errores de diagnóstico.
• Búsqueda inteligente en comercio electrónico: En los entornos minoristas, los VLM permiten buscar productos mediante descripciones en lenguaje natural combinadas con imágenes. Un comprador podría subir una foto del conjunto de ropa de una persona famosa y pedir «Encuéntrame un vestido con este estampado, pero azul»; el sistema utilizaría la búsqueda semántica para encontrar coincidencias precisas.
• Generación automática de pies de foto y accesibilidad: Los VLM generan automáticamente texto alternativo descriptivo para las imágenes de la web, lo que hace que el contenido digital sea más accesible para las personas con discapacidad visual que utilizan lectores de pantalla.

Diferencias entre los VLM y conceptos relacionados#

Conviene distinguir los VLM de otras categorías de IA para comprender su función específica:

• VLM frente a LLM: Un gran modelo de lenguaje (como las versiones de GPT-4 que solo procesan texto) procesa únicamente datos textuales. Aunque puede generar historias creativas o código, no puede «ver» una imagen. Un VLM, en la práctica, dota de ojos a un LLM.
• VLM frente a detección de objetos: Los modelos tradicionales de detección de objetos, como las primeras versiones de YOLO, identifican dónde están los objetos y a qué clase pertenecen (por ejemplo, «Coche: 99 %»). Un VLM va más allá y entiende las relaciones y los atributos; por ejemplo, «un coche deportivo rojo aparcado junto a una boca de incendios».
• VLM frente a IA multimodal: La IA multimodal es un término general más amplio. Aunque todos los VLM son multimodales (combinan visión y lenguaje), no todos los modelos multimodales son VLM; algunos pueden combinar audio y texto (como la conversión de voz a texto) o vídeo y datos de sensores sin incluir un componente lingüístico.

Detección de vocabulario abierto con YOLO#

Los VLM modernos permiten la detección de «vocabulario abierto», en la que puedes detectar objetos con indicaciones de texto libres en lugar de clases predefinidas. Esta es una característica clave de modelos como Ultralytics YOLO-World, que permite definir clases de forma dinámica sin volver a entrenar.

El siguiente ejemplo muestra cómo utilizar el paquete ultralytics para detectar objetos específicos descritos mediante texto:

from ultralytics import YOLOWorld

# Carga un modelo capaz de comprender la visión y el lenguaje
model = YOLOWorld("yolov8s-world.pt")

# Define clases personalizadas con indicaciones de texto en lenguaje natural
model.set_classes(["person wearing sunglasses", "red backpack"])

# Ejecuta la inferencia para encontrar en una imagen estos objetos definidos mediante texto
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Muestra los resultados de la detección
results[0].show()

Retos y perspectivas de futuro#

Aunque son potentes, los modelos de visión y lenguaje afrontan retos importantes. Uno de los principales es la alucinación, que se produce cuando el modelo describe con seguridad objetos o texto que en realidad no aparecen en la imagen. Los investigadores trabajan activamente en técnicas como el aprendizaje por refuerzo a partir de comentarios humanos (RLHF) para mejorar la fundamentación y la precisión.

Otro reto es el coste computacional. Entrenar estos modelos de gran tamaño requiere muchos recursos de GPU. Sin embargo, el lanzamiento de arquitecturas eficientes como Ultralytics YOLO26 está ayudando a llevar capacidades de visión avanzadas a los dispositivos periféricos. A medida que avancemos, esperamos que los VLMs desempeñen un papel crucial en los agentes robóticos, lo que permitirá a los robots desplazarse y manipular objetos basándose en instrucciones verbales complejas.

Si te interesan los fundamentos teóricos, el artículo original de CLIP de OpenAI ofrece información excelente sobre el preentrenamiento contrastivo de lenguaje e imágenes. Además, es esencial seguir los artículos de la conferencia CVPR para estar al día de la rápida evolución de estas arquitecturas. Para experimentar con el entrenamiento de tus propios modelos de visión, puedes utilizar la plataforma Ultralytics y simplificar la gestión de conjuntos de datos y la implementación de modelos.