Vision Language Model (VLM)
Un modelo de visión y lenguaje (VLM) procesa conjuntamente imágenes y texto para generar descripciones, responder preguntas y encontrar objetos por su nombre. Explica sus arquitecturas y ofrece ejemplos.
Un modelo de visión y lenguaje (VLM) es una red neuronal que procesa imágenes y, a menudo, vídeo junto con texto. Según su diseño, puntúa hasta qué punto una imagen coincide con un pie de foto, redacta texto sobre una imagen o encuentra los objetos que nombra una instrucción de texto. Los VLM responden a preguntas como «¿Cuántas personas esperan en la parada del autobús?», convierten gráficos y recibos en datos estructurados y localizan objetos descritos con palabras de texto libre. Combinan la percepción visual de los modelos de visión artificial, que predicen a partir de una lista fija de clases, con el lenguaje abierto de los modelos de lenguaje grandes (LLM).
Cómo funcionan los modelos de visión y lenguaje#
Todo VLM necesita un codificador visual, normalmente un Vision Transformer (ViT), que convierte una imagen en embeddings, y una forma de relacionar esos embeddings con el texto. Hay tres diseños habituales:
- Codificadores duales: CLIP y SigLIP codifican imágenes y texto por separado en un espacio de embeddings compartido, y se entrenan mediante aprendizaje contrastivo con cientos de millones o miles de millones de pares de imagen y pie de foto. Miden la similitud en lugar de generar texto, lo que los convierte en herramientas estándar para la clasificación sin ejemplos y la búsqueda de imágenes.
- VLM generativos: Un codificador visual preentrenado, a menudo de CLIP o SigLIP, alimenta un proyector que convierte sus embeddings de parches en «tokens visuales» en el espacio de entrada del LLM. El LLM los lee junto con la instrucción de texto y redacta la respuesta. LLaVA-1.5 funciona así: su codificador CLIP ViT-L/14 divide una imagen de 336×336 en una cuadrícula de parches de 24×24 y produce 576 tokens visuales. Flamingo, de DeepMind, siguió otra estrategia e insertó capas de atención cruzada en un LLM congelado para que los tokens de texto atendieran a las características de imagen.
- Detectores de vocabulario abierto: Modelos como Grounding DINO, YOLO-World y YOLOE comparan regiones de imagen con embeddings de texto para devolver cajas o máscaras de cualquier objeto nombrado, una tarea denominada anclaje. Algunos VLM generativos también anclan objetos: escriben las coordenadas de las cajas como texto o como tokens de ubicación especiales.
En el diseño generativo, el LLM redacta la respuesta un token cada vez y atiende a los tokens visuales y a la instrucción en cada paso:
Los VLM generativos suelen entrenarse por etapas. Primero, el proyector aprende a alinear los tokens visuales con los embeddings del LLM mediante pares de imagen y pie de foto, mientras el codificador y el LLM permanecen congelados. A continuación, el ajuste visual de instrucciones ajusta el modelo con conversaciones sobre imágenes, y el ajuste de preferencias, como RLHF, reduce las respuestas que describen cosas que no aparecen en la imagen.
Los detectores de vocabulario abierto aplican la misma comparación con texto a la detección en tiempo real. YOLOE, presentado por investigadores de la Universidad de Tsinghua y disponible en el paquete Ultralytics como YOLOE-26 sobre la arquitectura YOLO26, convierte los nombres de clase en embeddings con el codificador de texto MobileCLIP2 de Apple y los compara con regiones de imagen. Así devuelve cajas y máscaras de instancia para categorías que nunca se le enseñó a etiquetar. Las instrucciones siguientes incluyen gafas de sol, que no forman parte de las 80 clases de COCO que detectan los modelos YOLO de conjunto cerrado:
from ultralytics import YOLOE
# Carga un modelo YOLOE-26 de detección y segmentación con vocabulario abierto
model = YOLOE("yoloe-26s-seg.pt")
# Indica las clases con palabras sencillas; el codificador de texto convierte cada una en un embedding
model.set_classes(["person", "glasses", "bus"])
# Detecta y segmenta solo las clases indicadas en el prompt
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
print([result.names[int(c)] for c in result.boxes.cls])
result.save(filename="yoloe_prompts.jpg")La lista impresa contiene el autobús, cuatro personas y las gafas que llevan dos de ellas. Cambiar la lista de palabras cambia lo que detecta el modelo sin necesidad de volver a entrenarlo.
Aplicaciones en el mundo real#
- Respuesta visual a preguntas: Las herramientas de inspección, comercio minorista y asistencia preguntan a un VLM sobre una foto; por ejemplo, si una estantería está completamente surtida o qué luz de advertencia está encendida en la imagen de un salpicadero.
- Comprensión de documentos: Los VLM leen facturas, formularios, tablas y gráficos directamente de imágenes de páginas y devuelven campos estructurados, a menudo sustituyendo un paso independiente de OCR.
- Descripción de imágenes y accesibilidad: Las descripciones generadas proporcionan texto alternativo para lectores de pantalla y metadatos con capacidad de búsqueda para bibliotecas de fotos.
- Robótica: Los modelos de visión, lenguaje y acción, como RT-2 de Google DeepMind, amplían un VLM para generar acciones de robot, de modo que un robot pueda seguir instrucciones como «recoge la lata vacía».
- Etiquetado de datos: Los detectores de vocabulario abierto generan borradores de cuadros y máscaras para clases nuevas a partir de instrucciones de texto, lo que ofrece a los anotadores un punto de partida en lugar de una imagen en blanco. Ultralytics Platform anota automáticamente conjuntos de datos de detección con estos detectores y con VLM generativos antes de entrenar un modelo YOLO26 con las etiquetas.
VLM frente a términos relacionados#
- LLM: Un modelo que solo trabaja con texto. Muchos VLM generativos son LLM a los que se acopla un codificador visual, y heredan su capacidad de razonamiento, sus conocimientos y su tendencia a inventar cosas.
- IA multimodal: Categoría más amplia de modelos que combinan tipos de datos. Un modelo que combina audio con texto o radar con imágenes de cámara es multimodal, pero no es un VLM.
- Detección de objetos: Un detector de conjunto cerrado solo predice las clases con las que se ha entrenado y no admite texto como entrada. Los detectores de vocabulario abierto son los VLM que asumen esta tarea cuando las clases se indican en el momento de la inferencia. La clasificación de VLM compara la precisión con la que los detectores de vocabulario abierto y los VLM generativos detectan objetos en conjuntos de datos del mundo real.
Limitaciones#
Los VLM alucinan: un modelo de descripción puede mencionar un tenedor sobre una mesa aunque no haya ninguno, porque el modelo de lenguaje completa una frase probable. El razonamiento espacial preciso, el recuento de grupos grandes y la lectura de texto pequeño son otros puntos débiles, y cada imagen consume cientos o miles de tokens de la ventana de contexto del LLM. El benchmark POPE mide las alucinaciones de objetos planteando a un modelo preguntas como «¿Hay un coche en la imagen?» y seleccionando al azar objetos ausentes: los más frecuentes del conjunto de datos o los que suelen aparecer junto a los objetos presentes.










