Visual Prompting

O prompting visual é uma técnica emergente em visão computacional na qual os utilizadores fornecem pistas espaciais ou visuais — como pontos, caixas delimitadoras ou rabiscos — para orientar o foco de um modelo de IA para objetos ou regiões específicos dentro de uma imagem. Ao contrário da tradicional engenharia de prompts, que depende principalmente de descrições textuais, o prompting visual permite uma interação mais precisa e intuitiva com sistemas de Inteligência Artificial (AI). Este método tira partido das capacidades dos modernos modelos fundacionais para realizar tarefas como segmentação e deteção sem exigir um retreino extensivo ou grandes conjuntos de dados anotados. Ao "apontar" eficazmente para o que importa, os utilizadores podem adaptar instantaneamente modelos de uso geral a tarefas novas, aproximando a intenção humana da perceção da máquina.

Mecanismos do prompting visual#

Na sua essência, o prompting visual funciona através da injeção de informação espacial diretamente no pipeline de processamento do modelo. Quando um utilizador clica num objeto ou desenha uma caixa, essas entradas são convertidas em embeddings baseados em coordenadas, que a rede neuronal integra com as características da imagem. Este processo é fundamental em arquiteturas interativas como o Modelo Segment Anything (SAM), em que o modelo prevê máscaras com base em prompts geométricos.

A flexibilidade do prompting visual permite vários tipos de interação:

• Prompts de pontos: o utilizador clica num píxel específico para indicar o objeto de interesse. O modelo expande então esta seleção para abranger os limites completos do objeto.
• Prompts de caixas: desenhar uma caixa delimitadora fornece uma localização aproximada, indicando ao modelo que deve segmentar ou classificar tudo o que estiver contido nessa área.
• Prompts de rabiscos: linhas desenhadas à mão livre sobre um objeto podem ajudar a desambiguar cenas complexas nas quais os objetos se sobrepõem ou têm texturas semelhantes.

Investigação recente apresentada na CVPR 2024 destaca como o prompting visual reduz significativamente o tempo necessário para a anotação de dados, uma vez que os anotadores humanos podem corrigir as previsões do modelo em tempo real com simples cliques, em vez de traçarem manualmente polígonos.

Prompting visual vs. prompting textual#

Embora ambas as técnicas tenham como objetivo orientar o comportamento do modelo, é importante distinguir o prompting visual dos métodos baseados em texto. A geração texto-para-imagem ou a deteção zero-shot depende do processamento de linguagem natural (NLP) para interpretar descrições semânticas (por exemplo, "encontra o carro vermelho"). No entanto, a linguagem pode ser ambígua ou insuficiente para descrever localizações espaciais precisas ou formas abstratas.

O prompting visual resolve esta ambiguidade ao fundamentar a instrução no próprio espaço dos píxeis. Por exemplo, na análise de imagens médicas, é muito mais preciso um radiologista clicar num nódulo suspeito do que tentar descrever por texto as suas coordenadas exatas e a sua forma irregular. Muitas vezes, os fluxos de trabalho mais poderosos combinam ambas as abordagens — utilizando texto para filtragem semântica e prompts visuais para precisão espacial —, um conceito conhecido como aprendizagem multimodal.

Aplicações no mundo real#

A adaptabilidade do prompting visual levou à sua rápida adoção em diversos setores:

• Diagnóstico médico interativo: os médicos utilizam ferramentas de prompting visual para isolar tumores ou órgãos em exames de ressonância magnética. Ao clicar simplesmente numa região de interesse, podem gerar instantaneamente medições volumétricas 3D, ajudando na deteção de tumores precisa e no planeamento cirúrgico.
• Edição inteligente de fotografias: em software para consumidores, como o Adobe Photoshop, ou em aplicações móveis, o prompting visual permite utilizar ferramentas de "seleção mágica". Os utilizadores podem tocar numa pessoa ou num objeto para remover o fundo ou aplicar filtros direcionados, utilizando tecnologias subjacentes de segmentação de instâncias sem precisarem de conhecimentos de criação manual de máscaras.
• Manipulação robótica: em AI na robótica, os robôs podem receber instruções para apanhar itens específicos através de uma interface visual. Um operador clica num objeto na transmissão da câmara do robô, fornecendo um prompt visual que o robô traduz em coordenadas de preensão, facilitando a automação com intervenção humana em armazéns.

Implementação com Ultralytics#

O ecossistema Ultralytics suporta fluxos de trabalho de prompting visual, especialmente através de modelos como FastSAM e SAM. Estes modelos permitem aos programadores fornecer coordenadas de pontos ou caixas programaticamente para obter máscaras de segmentação.

O exemplo seguinte demonstra como utilizar o pacote ultralytics para aplicar um prompt de ponto a uma imagem, instruindo o modelo a segmentar o objeto localizado em coordenadas específicas.

from ultralytics import SAM

# Load the Segment Anything Model (SAM)
model = SAM("sam2.1_b.pt")

# Apply a visual point prompt to the image
# The 'points' argument accepts [x, y] coordinates
# labels: 1 indicates a foreground point (include), 0 indicates background
results = model("https://ultralytics.com/images/bus.jpg", points=[[300, 350]], labels=[1])

# Display the segmented result
results[0].show()

A evolução da agilidade dos modelos#

O prompting visual representa uma mudança em direção à visão computacional "orientável por prompts", na qual os modelos deixam de ser "caixas negras" estáticas e passam a ser ferramentas interativas. Esta capacidade é essencial para ciclos de aprendizagem ativa, nos quais os modelos melhoram rapidamente ao incorporar o feedback dos utilizadores.

Para os programadores que pretendem integrar estas capacidades em produção, a Ultralytics Platform oferece ferramentas para gerir conjuntos de dados e implementar modelos capazes de processar entradas dinâmicas. À medida que a investigação avança, esperamos uma integração ainda mais estreita entre prompts visuais e modelos de linguagem de grande escala (LLMs), permitindo sistemas capazes de raciocinar sobre entradas visuais com a mesma fluência com que atualmente processam texto.