Visual Prompting

El uso de indicaciones visuales consiste en marcar la propia imagen con un clic, un recuadro, un garabato, una máscara o un ejemplo para mostrar a un modelo de visión artificial qué debe segmentar o detectar, en lugar de describir el objetivo con palabras. Los modelos fundacionales que admiten indicaciones, como el Modelo para segmentar cualquier cosa (SAM) de Meta, convierten cada marca en una representación vectorial y predicen una máscara para el objeto indicado sin necesidad de reentrenamiento. Una indicación visual señala una instancia concreta o muestra un ejemplo de lo que hay que encontrar, lo que resulta útil cuando cuesta describir el objetivo en una indicación textual, como un defecto concreto o una pieza desconocida. El ajuste de indicaciones visuales comparte el nombre, pero es un método de ajuste de indicaciones que aprende tokens de entrada adicionales durante el ajuste fino, sin que nadie marque la imagen.

Cómo funciona la indicación visual#

SAM, publicado por Meta en 2023 junto con el conjunto de datos SA-1B, que contiene 1100 millones de máscaras en 11 millones de imágenes, divide el trabajo en tres partes. Un codificador de imágenes grande, un Transformer visual, se ejecuta una vez por imagen; un codificador de indicaciones ligero convierte los puntos y las cajas en incrustaciones posicionales; y un decodificador de máscaras combina ambos para predecir una máscara en unos 50 milisegundos en un navegador web, de modo que cada nuevo clic actualiza el resultado de forma interactiva. Un solo clic es ambiguo, ya que podría indicar una camisa o a la persona que la lleva, así que SAM puede devolver tres máscaras candidatas, cada una con una puntuación de calidad. SAM 2 de Meta (2024) amplía las indicaciones al vídeo y sigue un objeto seleccionado con un clic a través de los fotogramas siguientes, utilizando la memoria de los anteriores. SAM 2.1 se ejecuta en el paquete de Ultralytics, donde un clic es un punto con la etiqueta 1 para el primer plano o 0 para el fondo:

from ultralytics import SAM

# Carga el modelo base SAM 2.1 de Meta
model = SAM("sam2.1_b.pt")

# Un clic en primer plano (etiqueta 1) sobre el hombre del abrigo oscuro
results = model("https://ultralytics.com/images/bus.jpg", points=[280, 600], labels=[1])
result = results[0]

# Guarda la imagen con la máscara predicha para el objeto seleccionado
result.save(filename="sam_point_prompt.jpg")

La imagen guardada muestra la máscara que SAM 2.1 predice a partir de ese único clic. La segmentación interactiva repite este paso hasta que la máscara es correcta, y el modo de anotación inteligente de Ultralytics Platform funciona así: cada clic se convierte en una indicación de punto para SAM; un clic fuera de la máscara actual añade esa región, mientras que un clic dentro la elimina; y el resultado se guarda como polígono, caja o caja orientada, según la tarea del conjunto de datos.

Tipos de indicaciones visuales#

• Puntos y cajas: Los clics de primer plano y de fondo seleccionan o excluyen regiones, y una caja aproximada alrededor de un objeto es menos ambigua que un clic; además, permite que las cajas de un detector indiquen automáticamente a un segmentador qué debe hacer.
• Máscaras y trazos: Una máscara aproximada de un paso anterior, o los trazos dibujados sobre el objeto, perfeccionan una predicción que los clics por sí solos no consiguen.
• Cajas de ejemplo: Una caja alrededor de un ejemplo pide al modelo que encuentre todos los objetos similares. Así, basta una caja de ejemplo para contar todos los tornillos de un mismo tipo. Los detectores de conjunto abierto, como T-Rex2 y YOLOE, y SAM 3 de Meta (2025) admiten estas indicaciones de ejemplo.
• Ejemplos en contexto: Una imagen de ejemplo emparejada con la salida deseada, como una máscara o un mapa de bordes, define la propia tarea; el modelo completa por analogía la salida de una imagen nueva.
• Marcas para modelos de visión y lenguaje: La técnica Set-of-Mark dibuja marcas numeradas sobre regiones de la imagen para que el modelo pueda referirse a la «región 3» en su respuesta, lo que mejora su fundamentación visual.

Aplicaciones en el mundo real#

• Anotación de datos: Unos pocos clics por objeto sustituyen al trazado de un polígono punto por punto, lo que reduce el coste de crear conjuntos de datos de segmentación de instancias.
• Diagnóstico por imagen: MedSAM adaptó SAM a 1 570 263 pares de imágenes y máscaras médicas de 10 modalidades de diagnóstico por imagen, de modo que una caja dibujada por un profesional sanitario alrededor de un órgano o una lesión devuelve su contorno.
• Robótica: Un operador hace clic en un objeto en la imagen de la cámara de un robot, y la máscara resultante proporciona al robot los píxeles exactos del objeto para planificar cómo agarrarlo.