Visual Instruction Tuning

El ajuste de instrucciones visuales consiste en ajustar un modelo de visión y lenguaje (VLM) con ejemplos que relacionan una imagen y una instrucción en lenguaje natural con la respuesta deseada, para que el modelo aprenda a seguir solicitudes abiertas sobre imágenes: describir una escena, responder a una pregunta, leer texto o razonar sobre lo que aparece. Amplía el ajuste de instrucciones, limitado al texto, a las imágenes y convierte un modelo que solo puede relacionar imágenes y palabras en un asistente visual. Haotian Liu, Chunyuan Li, Qingyang Wu y Yong Jae Lee, de la Universidad de Wisconsin-Madison, Microsoft Research y la Universidad de Columbia, introdujeron el término en Visual Instruction Tuning, un artículo presentado oralmente en NeurIPS 2023, junto con el modelo LLaVA (asistente de lenguaje y visión de gran tamaño) que desarrollaron.

Generación de datos de instrucciones#

Había pocos conjuntos de datos que relacionaran imágenes con instrucciones y respuestas, así que los autores de LLaVA los generaron con un modelo solo de texto. Para cada imagen de COCO, proporcionaron a GPT-4 una descripción simbólica de la imagen —sus pies de foto escritos por personas y sus cajas delimitadoras con categorías de objetos y coordenadas— junto con unos cuantos ejemplos redactados a mano, y le pidieron que escribiera preguntas y respuestas como si pudiera ver la imagen. El conjunto de datos sintéticos resultante, publicado como LLaVA-Instruct-150K, contiene 158 000 muestras de tres tipos: 58 000 conversaciones con varios turnos, 23 000 descripciones detalladas y 77 000 preguntas de razonamiento complejo cuyas respuestas requieren pensar paso a paso sobre la escena.

Arquitectura y entrenamiento#

LLaVA conecta un codificador de imágenes CLIP ViT-L/14 con el modelo de lenguaje de gran tamaño (LLM) Vicuna mediante una única proyección lineal que proyecta las características de imagen al espacio de embeddings de palabras del LLM, de modo que la imagen entra en el LLM como una secuencia de tokens visuales antes de la instrucción. El entrenamiento se desarrolla en dos etapas:

1. Alineación de características: Con 595 000 pares de imágenes y pies de foto filtrados del conjunto de datos CC3M, solo se entrena la proyección, mientras que el codificador de visión y el LLM permanecen congelados, para que el LLM pueda leer los tokens visuales.
2. Ajuste de instrucciones visuales: Con los datos de instrucciones se actualizan tanto la proyección como el LLM, mientras que el codificador de visión permanece congelado. La pérdida del siguiente token se calcula únicamente para las respuestas del asistente, nunca para los tokens de imagen ni para las instrucciones del usuario.

El modelo resultante mantuvo conversaciones sobre imágenes e instrucciones que nunca había visto. En una prueba sintética de seguimiento de instrucciones multimodales evaluada por GPT-4, LLaVA alcanzó el 85,1 % de la puntuación del propio GPT-4 y, tras ajustarlo con la prueba ScienceQA, un conjunto de LLaVA y GPT-4 estableció un nuevo estado del arte con una precisión del 92,53 %.

LLaVA-1.5 simplificó y mejoró la receta: sustituyó la proyección lineal por un perceptrón multicapa de dos capas, aumentó la resolución de entrada de CLIP a 336 píxeles, añadió conjuntos de datos académicos de respuesta visual a preguntas con instrucciones breves que especificaban el formato de respuesta y completó el entrenamiento en aproximadamente un día en un único nodo con ocho GPU A100, utilizando 1,2 millones de muestras públicas para el modelo de 13 000 millones de parámetros. InstructBLIP, de Salesforce, siguió otro camino: convirtió conjuntos de datos etiquetados existentes al formato de instrucciones y condicionó sus características de imagen a la instrucción.

Aplicaciones#

Los VLM ajustados con instrucciones sustituyen muchos modelos de tarea única por un solo sistema que responde a preguntas abiertas, redacta pies de foto con el nivel de detalle que pida el usuario y lee el texto de las fotos, combinando el reconocimiento óptico de caracteres (OCR) con el razonamiento sobre el significado del texto. Los modelos que leen capturas de pantalla de este modo hacen posibles los agentes que interactúan con el ordenador. Este enfoque también se aplica a ámbitos especializados: LLaVA-Med se alineó con pares de figuras y pies de figura biomédicos de PubMed Central, se ajustó con instrucciones generadas por GPT-4 sobre esos pares y se entrenó en menos de 15 horas con ocho GPU A100, un camino hacia asistentes de análisis de imágenes médicas que explican los hallazgos con palabras.

Muchos VLM ajustados con instrucciones también devuelven ubicaciones de objetos cuando se les pide. Ultralytics Platform utiliza esta función en su anotación inteligente guiada por clases: en un conjunto de datos de detección con entre 1 y 200 clases, modelos de código abierto alojados, como Moondream 3.1, o modelos de visión de pago de proveedores encuentran las clases del conjunto de datos en una imagen y devuelven cajas editables para su revisión.

Los VLM ajustados con instrucciones también heredan las debilidades de sus datos. Las respuestas generadas pueden describir objetos que no aparecen en la imagen, y se aplican métodos de preferencia como la optimización directa de preferencias (DPO) después del ajuste de instrucciones para reducir estas alucinaciones.

Ajuste de instrucciones visuales frente a conceptos relacionados#

• Ajuste de instrucciones de texto: Ajusta un LLM solo de texto con pares de instrucciones y respuestas. El ajuste de instrucciones visuales añade una imagen a cada ejemplo y entrena la conexión entre el codificador de visión y el LLM.
• Preentrenamiento de visión y lenguaje: Los modelos contrastivos, como CLIP, aprenden a relacionar imágenes y pies de foto, lo que proporciona características visuales a un VLM, pero no la capacidad de seguir instrucciones.
• Indicación visual: Guía un modelo durante la inferencia mediante señales visuales, como puntos, cajas o imágenes de ejemplo, tal como ocurre en la segmentación con indicaciones. El ajuste de instrucciones visuales es una etapa de entrenamiento y sus indicaciones se redactan en lenguaje natural.
• Ajuste fino para respuesta visual a preguntas (VQA): Entrena un modelo para una tarea y un formato de respuesta, como una única prueba VQA. El ajuste de instrucciones visuales combina muchos tipos de tareas en un formato de instrucciones para que el modelo generalice a nuevas solicitudes.