Vision Language Model (VLM)

Un modelo de lenguaje visual (VLM) es un tipo de inteligencia artificial que puede procesar e interpretar información visual (imágenes o vídeo) e información textual simultáneamente. A diferencia de los modelos de computer vision tradicionales que se centran exclusivamente en datos de píxeles, o los Large Language Models (LLMs) que solo comprenden texto, los VLM cierran la brecha entre estas dos modalidades. Al entrenarse con conjuntos de datos masivos que contienen pares de imagen-texto, estos modelos aprenden a asociar características visuales con conceptos lingüísticos, lo que les permite describir imágenes, responder preguntas sobre escenas visuales e incluso ejecutar comandos basados en lo que "ven".

Link to this sectionCómo funcionan los modelos de lenguaje visual#

En esencia, los VLM suelen constar de dos componentes principales: un codificador de visión y un codificador de texto. El codificador de visión procesa imágenes para extraer feature maps y representaciones visuales, mientras que el codificador de texto maneja la entrada lingüística. Estos flujos de datos distintos se fusionan luego mediante mecanismos como la cross-attention para alinear la información visual y textual en un espacio de incrustación compartido.

Los avances recientes en 2024 y 2025 se han orientado hacia arquitecturas más unificadas donde un único backbone Transformer maneja ambas modalidades. Por ejemplo, modelos como Google PaliGemma 2 demuestran cómo la integración efectiva de estos flujos puede mejorar el rendimiento en tareas de razonamiento complejo. Esta alineación permite que el modelo comprenda el contexto, como reconocer que la palabra "apple" se refiere a una fruta en la imagen de una tienda de comestibles, pero a una empresa tecnológica en un logotipo.

Link to this sectionAplicaciones en el mundo real#

La capacidad de comprender el mundo a través de la vista y el lenguaje abre diversas aplicaciones en varios sectores:

• Visual Question Answering (VQA): Los VLM se utilizan ampliamente en el diagnóstico sanitario para asistir a los radiólogos. Un médico podría preguntar a un sistema: "¿Hay alguna fractura en esta radiografía?", y el modelo analiza la imagen médica para proporcionar una evaluación preliminar, reduciendo los errores de diagnóstico.
• Búsqueda inteligente en comercio electrónico: En entornos minoristas, los VLM permiten a los usuarios buscar productos utilizando descripciones en lenguaje natural combinadas con imágenes. Un comprador podría subir una foto del conjunto de una celebridad y preguntar: "Encuéntrame un vestido con este estampado pero en azul", y el sistema utiliza búsqueda semántica para recuperar coincidencias precisas.
• Subtitulado automatizado y accesibilidad: Los VLM generan automáticamente alt text descriptivo para imágenes en la web, haciendo que el contenido digital sea más accesible para los usuarios con discapacidad visual que dependen de lectores de pantalla.

Link to this sectionDiferenciación de los VLM de conceptos relacionados#

Resulta útil distinguir los VLM de otras categorías de IA para comprender su papel específico:

• VLM frente a LLM: Un Large Language Model (como las versiones de solo texto de GPT-4) procesa únicamente datos de texto. Aunque puede generar historias creativas o código, no puede "ver" una imagen. Un VLM le da ojos a un LLM de manera efectiva.
• VLM frente a detección de objetos: Los modelos de object detection tradicionales, como las primeras versiones de YOLO, identifican dónde están los objetos y a qué clase pertenecen (por ejemplo, "Coche: 99%"). Un VLM va más allá al comprender las relaciones y atributos, como "un coche deportivo rojo aparcado junto a una boca de incendios".
• VLM frente a IA multimodal: Multimodal AI es un término general más amplio. Aunque todos los VLM son multimodales (combinan visión y lenguaje), no todos los modelos multimodales son VLM; algunos pueden combinar audio y texto (como la conversión de voz a texto) o vídeo y datos de sensores sin un componente lingüístico.

Link to this sectionDetección de vocabulario abierto con YOLO#

Los VLM modernos permiten la detección de "vocabulario abierto", donde puedes detectar objetos usando prompts de texto de forma libre en lugar de clases predefinidas. Esta es una característica clave de modelos como Ultralytics YOLO-World, que permite definiciones de clase dinámicas sin necesidad de reentrenamiento.

El siguiente ejemplo demuestra cómo usar el paquete ultralytics para detectar objetos específicos descritos mediante texto:

from ultralytics import YOLOWorld

# Load a model capable of vision-language understanding
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes using natural language text prompts
model.set_classes(["person wearing sunglasses", "red backpack"])

# Run inference to find these text-defined objects in an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the detection results
results[0].show()

Link to this sectionDesafíos y direcciones futuras#

Aunque son potentes, los modelos de lenguaje visual se enfrentan a desafíos importantes. Un problema importante es la alucinación, donde el modelo describe con seguridad objetos o texto en una imagen que simplemente no están ahí. Los investigadores trabajan activamente en técnicas como el Reinforcement Learning from Human Feedback (RLHF) para mejorar la fundamentación y la precisión.

Otro desafío es el coste computacional. Entrenar estos modelos masivos requiere importantes recursos de GPU. Sin embargo, el lanzamiento de arquitecturas eficientes como Ultralytics YOLO26 está ayudando a llevar capacidades de visión avanzadas a dispositivos periféricos. A medida que avanzamos, esperamos ver a los VLM desempeñando un papel crucial en los agentes robóticos, permitiendo a los robots navegar y manipular objetos basándose en instrucciones verbales complejas.

Para aquellos interesados en los fundamentos teóricos, el CLIP paper by OpenAI original proporciona una excelente perspectiva sobre el preentrenamiento contrastivo imagen-lenguaje. Además, mantenerse al día con los CVPR conference papers es esencial para seguir la rápida evolución de estas arquitecturas. Para experimentar con el entrenamiento de tus propios modelos de visión, puedes utilizar la Ultralytics Platform para una gestión de conjuntos de datos y despliegue de modelos optimizados.