Visual Instruction Tuning

El ajuste de instrucciones visuales es una técnica transformadora de aprendizaje automático que extiende los métodos tradicionales de procesamiento de lenguaje natural al dominio multimodal. Al entrenar a un Vision Language Model (VLM) para que siga directrices humanas explícitas basadas en entradas de imagen o vídeo, los desarrolladores pueden crear asistentes de IA que comprenden y razonan sobre contenido visual. A diferencia de los modelos estándar de image classification que generan una categoría predefinida, el ajuste de instrucciones visuales permite a los modelos ejecutar tareas complejas y abiertas, como describir una escena, leer texto dentro de una imagen o responder preguntas específicas sobre relaciones espaciales. Esto cierra la brecha entre los large language models (LLMs) basados en texto y los canales tradicionales de computer vision.

Link to this sectionEntender el concepto y las distinciones#

Para comprender el ajuste de instrucciones visuales, resulta útil distinguirlo de conceptos estrechamente relacionados en el ecosistema de la IA:

• Instruction Tuning: Normalmente se refiere a alinear LLM de solo texto para que sigan la intención humana de forma segura y precisa. El ajuste de instrucciones visuales aplica esta misma metodología, pero incorpora imágenes en el prompt y en la salida esperada.
• Visual Prompting: Por lo general, implica interactuar con una IA mediante señales visuales (como dibujar un bbox, colocar un punto o enmascarar un área en una imagen) para guiar el enfoque del modelo. Por el contrario, el ajuste de instrucciones visuales depende en gran medida de comandos de lenguaje natural combinados con datos visuales.

El proceso de entrenamiento generalmente implica fine-tuning de un modelo base multimodal preentrenado utilizando extensos conjuntos de datos formateados como tripletes de imagen-texto-instrucción. Investigaciones pioneras en arXiv research on visual instruction tuning, como el proyecto LLaVA (Large Language-and-Vision Assistant), demostraron que estos modelos pueden lograr capacidades de zero-shot notables. Hoy en día, las principales organizaciones de IA emplean esta técnica para impulsar modelos avanzados, incluidos OpenAI GPT-4o, Anthropic Claude 3.5 Sonnet y Google DeepMind Gemini.

Link to this sectionAplicaciones en el mundo real#

Al alinear arquitecturas de multimodal deep learning con la intención humana, el ajuste de instrucciones visuales desbloquea aplicaciones altamente interactivas en diversas industrias:

• IA en diagnósticos sanitarios: Los profesionales médicos pueden utilizar modelos ajustados mediante instrucciones para Visual Question Answering (VQA). Un radiólogo podría solicitar al sistema una radiografía y la instrucción: "Resalta y explica cualquier signo de neumonía en el lóbulo inferior izquierdo", permitiendo que la IA actúe como un asistente de diagnóstico colaborativo.
• IA en el control de calidad de fabricación: En lugar de entrenar un modelo rígido de detección de defectos desde cero, los operadores pueden dar instrucciones a un sistema de visión como Microsoft Florence-2 indicando: "Identifica cualquier arañazo o abolladura microscópica en esta carcasa metálica recién fabricada".

Link to this sectionConstruir flujos de trabajo de visión#

Para construir sistemas que aprovechen estas capacidades, los desarrolladores suelen confiar en modelos sólidos de object detection para extraer contexto estructural de las imágenes antes de pasar esos datos a un VLM. Usando la PyTorch multi-modal documentation o TensorFlow vision models, los desarrolladores pueden crear canales híbridos.

Por ejemplo, puedes usar un modelo Ultralytics YOLO para percibir rápidamente una escena y generar un prompt de lenguaje informado para un VLM posterior:

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model to extract visual context
model = YOLO("yolo26n.pt")

# Perform inference to identify objects for a downstream VLM prompt
results = model("https://ultralytics.com/images/bus.jpg")

# Extract object names to dynamically build an instruction prompt
objects = [model.names[int(cls)] for cls in results[0].boxes.cls]
prompt = f"Please provide a detailed safety analysis of the scene containing these objects: {', '.join(objects)}"

print(prompt)
# Output: Please provide a detailed safety analysis of the scene containing these objects: bus, person, person...

Gestionar los complejos conjuntos de datos multimodales necesarios para estas aplicaciones de última generación puede ser todo un reto. La Ultralytics Platform simplifica este proceso proporcionando herramientas integrales para la anotación de conjuntos de datos, el entrenamiento en la nube y el despliegue fluido de modelos. Tanto si lees artículos de vanguardia en la biblioteca digital de la ACM o en los archivos de visión artificial de IEEE Xplore, el cambio hacia sistemas de visión altamente capaces y ajustados por instrucciones representa la vanguardia de la inteligencia artificial. Al combinar la percepción de YOLO26 con modelos de razonamiento ajustados, las organizaciones pueden desplegar agentes de IA increíblemente robustos.