Licencia YOLO
Volver al glosario de Ultralytics

Vision Language Model (VLM)

Un modelo de visión y lenguaje (VLM) procesa conjuntamente imágenes y texto para generar descripciones, responder preguntas y encontrar objetos por su nombre. Explica sus arquitecturas y ofrece ejemplos.

Un modelo de visión y lenguaje (VLM) es una red neuronal que procesa imágenes y, a menudo, vídeo junto con texto. Según su diseño, puntúa hasta qué punto una imagen coincide con un pie de foto, redacta texto sobre una imagen o encuentra los objetos que nombra una instrucción de texto. Los VLM responden a preguntas como «¿Cuántas personas esperan en la parada del autobús?», convierten gráficos y recibos en datos estructurados y localizan objetos descritos con palabras de texto libre. Combinan la percepción visual de los modelos de visión artificial, que predicen a partir de una lista fija de clases, con el lenguaje abierto de los modelos de lenguaje grandes (LLM).

Cómo funcionan los modelos de visión y lenguaje#

Todo VLM necesita un codificador visual, normalmente un Vision Transformer (ViT), que convierte una imagen en embeddings, y una forma de relacionar esos embeddings con el texto. Hay tres diseños habituales:

  • Codificadores duales: CLIP y SigLIP codifican imágenes y texto por separado en un espacio de embeddings compartido, y se entrenan mediante aprendizaje contrastivo con cientos de millones o miles de millones de pares de imagen y pie de foto. Miden la similitud en lugar de generar texto, lo que los convierte en herramientas estándar para la clasificación sin ejemplos y la búsqueda de imágenes.
  • VLM generativos: Un codificador visual preentrenado, a menudo de CLIP o SigLIP, alimenta un proyector que convierte sus embeddings de parches en «tokens visuales» en el espacio de entrada del LLM. El LLM los lee junto con la instrucción de texto y redacta la respuesta. LLaVA-1.5 funciona así: su codificador CLIP ViT-L/14 divide una imagen de 336×336 en una cuadrícula de parches de 24×24 y produce 576 tokens visuales. Flamingo, de DeepMind, siguió otra estrategia e insertó capas de atención cruzada en un LLM congelado para que los tokens de texto atendieran a las características de imagen.
  • Detectores de vocabulario abierto: Modelos como Grounding DINO, YOLO-World y YOLOE comparan regiones de imagen con embeddings de texto para devolver cajas o máscaras de cualquier objeto nombrado, una tarea denominada anclaje. Algunos VLM generativos también anclan objetos: escriben las coordenadas de las cajas como texto o como tokens de ubicación especiales.

En el diseño generativo, el LLM redacta la respuesta un token cada vez y atiende a los tokens visuales y a la instrucción en cada paso:

Los VLM generativos suelen entrenarse por etapas. Primero, el proyector aprende a alinear los tokens visuales con los embeddings del LLM mediante pares de imagen y pie de foto, mientras el codificador y el LLM permanecen congelados. A continuación, el ajuste visual de instrucciones ajusta el modelo con conversaciones sobre imágenes, y el ajuste de preferencias, como RLHF, reduce las respuestas que describen cosas que no aparecen en la imagen.

Los detectores de vocabulario abierto aplican la misma comparación con texto a la detección en tiempo real. YOLOE, presentado por investigadores de la Universidad de Tsinghua y disponible en el paquete Ultralytics como YOLOE-26 sobre la arquitectura YOLO26, convierte los nombres de clase en embeddings con el codificador de texto MobileCLIP2 de Apple y los compara con regiones de imagen. Así devuelve cajas y máscaras de instancia para categorías que nunca se le enseñó a etiquetar. Las instrucciones siguientes incluyen gafas de sol, que no forman parte de las 80 clases de COCO que detectan los modelos YOLO de conjunto cerrado:

from ultralytics import YOLOE

# Carga un modelo YOLOE-26 de detección y segmentación con vocabulario abierto
model = YOLOE("yoloe-26s-seg.pt")

# Indica las clases con palabras sencillas; el codificador de texto convierte cada una en un embedding
model.set_classes(["person", "glasses", "bus"])

# Detecta y segmenta solo las clases indicadas en el prompt
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
print([result.names[int(c)] for c in result.boxes.cls])
result.save(filename="yoloe_prompts.jpg")

La lista impresa contiene el autobús, cuatro personas y las gafas que llevan dos de ellas. Cambiar la lista de palabras cambia lo que detecta el modelo sin necesidad de volver a entrenarlo.

Aplicaciones en el mundo real#

  • Respuesta visual a preguntas: Las herramientas de inspección, comercio minorista y asistencia preguntan a un VLM sobre una foto; por ejemplo, si una estantería está completamente surtida o qué luz de advertencia está encendida en la imagen de un salpicadero.
  • Comprensión de documentos: Los VLM leen facturas, formularios, tablas y gráficos directamente de imágenes de páginas y devuelven campos estructurados, a menudo sustituyendo un paso independiente de OCR.
  • Descripción de imágenes y accesibilidad: Las descripciones generadas proporcionan texto alternativo para lectores de pantalla y metadatos con capacidad de búsqueda para bibliotecas de fotos.
  • Robótica: Los modelos de visión, lenguaje y acción, como RT-2 de Google DeepMind, amplían un VLM para generar acciones de robot, de modo que un robot pueda seguir instrucciones como «recoge la lata vacía».
  • Etiquetado de datos: Los detectores de vocabulario abierto generan borradores de cuadros y máscaras para clases nuevas a partir de instrucciones de texto, lo que ofrece a los anotadores un punto de partida en lugar de una imagen en blanco. Ultralytics Platform anota automáticamente conjuntos de datos de detección con estos detectores y con VLM generativos antes de entrenar un modelo YOLO26 con las etiquetas.
  • LLM: Un modelo que solo trabaja con texto. Muchos VLM generativos son LLM a los que se acopla un codificador visual, y heredan su capacidad de razonamiento, sus conocimientos y su tendencia a inventar cosas.
  • IA multimodal: Categoría más amplia de modelos que combinan tipos de datos. Un modelo que combina audio con texto o radar con imágenes de cámara es multimodal, pero no es un VLM.
  • Detección de objetos: Un detector de conjunto cerrado solo predice las clases con las que se ha entrenado y no admite texto como entrada. Los detectores de vocabulario abierto son los VLM que asumen esta tarea cuando las clases se indican en el momento de la inferencia. La clasificación de VLM compara la precisión con la que los detectores de vocabulario abierto y los VLM generativos detectan objetos en conjuntos de datos del mundo real.

Limitaciones#

Los VLM alucinan: un modelo de descripción puede mencionar un tenedor sobre una mesa aunque no haya ninguno, porque el modelo de lenguaje completa una frase probable. El razonamiento espacial preciso, el recuento de grupos grandes y la lectura de texto pequeño son otros puntos débiles, y cada imagen consume cientos o miles de tokens de la ventana de contexto del LLM. El benchmark POPE mide las alucinaciones de objetos planteando a un modelo preguntas como «¿Hay un coche en la imagen?» y seleccionando al azar objetos ausentes: los más frecuentes del conjunto de datos o los que suelen aparecer junto a los objetos presentes.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático