Visual Prompting

O prompt visual consiste em indicar a um modelo de visão computacional o que deve segmentar ou detetar marcando a própria imagem com um clique, uma caixa, um rabisco, uma máscara ou um exemplo, em vez de descrever o alvo com palavras. Modelos de base que aceitam prompts, como o Segment Anything Model (SAM) da Meta, transformam cada marca num embedding e preveem uma máscara para o objeto indicado sem qualquer novo treinamento. Um prompt visual aponta para uma instância específica ou mostra um exemplo do que procurar, o que ajuda quando é difícil nomear o alvo num prompt de texto, como um defeito específico ou uma peça desconhecida. O ajuste fino de prompts visuais tem um nome semelhante, mas é um método de ajuste fino de prompts que aprende tokens de entrada adicionais durante o ajuste fino, sem que alguém marque a imagem.

Como funciona o prompt visual#

O SAM, lançado pela Meta em 2023 com o conjunto de dados SA-1B, que contém 1,1 mil milhões de máscaras em 11 milhões de imagens, divide o trabalho em três partes. Um codificador de imagens grande, um transformer de visão, é executado uma vez por imagem; um codificador de prompts leve transforma pontos e caixas em embeddings posicionais; e um descodificador de máscaras combina os dois para prever uma máscara em cerca de 50 milissegundos num navegador, pelo que cada novo clique atualiza interativamente o resultado. Um único clique é ambíguo, pois pode indicar uma camisa ou a pessoa que a veste, por isso o SAM pode devolver três máscaras candidatas, cada uma com uma pontuação de qualidade. O SAM 2 da Meta (2024) estende os prompts ao vídeo, acompanhando um objeto selecionado com um clique nos fotogramas seguintes, recorrendo à memória dos anteriores. O SAM 2.1 é executado no pacote Ultralytics, onde um clique é representado por um ponto com o rótulo 1 para primeiro plano ou 0 para fundo:

from ultralytics import SAM

# Carrega o modelo base SAM 2.1 da Meta
model = SAM("sam2.1_b.pt")

# Um clique em primeiro plano (rótulo 1) no homem de casaco escuro
results = model("https://ultralytics.com/images/bus.jpg", points=[280, 600], labels=[1])
result = results[0]

# Guarda a imagem com a máscara prevista para o objeto selecionado
result.save(filename="sam_point_prompt.jpg")

A imagem guardada mostra a máscara que o SAM 2.1 prevê a partir desse único clique. A segmentação interativa repete esta etapa até a máscara estar correta, e o modo de anotação inteligente da Ultralytics Platform funciona desta forma: cada clique torna-se um prompt de ponto SAM, um clique fora da máscara atual acrescenta essa região, um clique dentro remove-a, e o resultado é guardado como polígono, caixa ou caixa orientada, dependendo da tarefa do conjunto de dados.

Tipos de prompts visuais#

• Pontos e caixas: Os cliques em primeiro e segundo plano selecionam ou excluem regiões, e uma caixa aproximada em torno de um objeto é menos ambígua do que um clique, permitindo também que as caixas de um detetor sirvam automaticamente de prompts para um segmentador.
• Máscaras e rabiscos: Uma máscara grosseira de uma etapa anterior ou traços desenhados sobre o objeto refinam uma previsão que os cliques, por si só, não conseguem acertar.
• Caixas de exemplo: Uma caixa ao redor de um exemplo pede ao modelo todos os objetos semelhantes. Assim, contar todos os parafusos de um tipo exige apenas uma caixa de exemplo. Detectores de conjunto aberto, como T-Rex2 e YOLOE, e o SAM 3 da Meta (2025) aceitam esses prompts de exemplo.
• Exemplos no contexto: Uma imagem de exemplo associada à saída pretendida, como uma máscara ou um mapa de contornos, define a própria tarefa, e o modelo completa a saída para uma nova imagem por analogia.
• Marcas para modelos de visão e linguagem: O prompting Set-of-Mark desenha marcas numeradas sobre regiões da imagem para que o modelo possa referir-se à "região 3" na resposta, melhorando a fundamentação visual.

Aplicações no mundo real#

• Anotação de dados: Bastam alguns cliques por objeto em vez de traçar um polígono ponto a ponto, o que reduz o custo de criar conjuntos de dados de segmentação de instâncias.
• Imagiologia médica: O MedSAM adaptou o SAM a 1 570 263 pares de imagens e máscaras médicas de 10 modalidades de imagiologia, para que a caixa de um profissional de saúde em torno de um órgão ou lesão devolva o respetivo contorno.
• Robótica: Um operador seleciona um objeto na imagem da câmara de um robô, e a máscara resultante fornece ao robô os píxeis exatos do objeto para planear a preensão.