Visual Prompting

O visual prompting é uma técnica emergente em computer vision onde os usuários fornecem dicas espaciais ou visuais — como pontos, bounding boxes ou rabiscos — para guiar o foco de um modelo de IA em direção a objetos ou regiões específicos dentro de uma imagem. Ao contrário da prompt engineering tradicional, que depende principalmente de descrições em texto, o visual prompting permite uma interação mais precisa e intuitiva com sistemas de Artificial Intelligence (AI). Este método aproveita as capacidades dos modernos foundation models para executar tarefas como segmentação e detecção sem exigir retreinamento extensivo ou grandes datasets rotulados. Ao "apontar" efetivamente para o que importa, os usuários podem adaptar modelos de uso geral a novas tarefas instantaneamente, preenchendo a lacuna entre a intenção humana e a percepção da máquina.

Mecanismos de Visual Prompting#

Em sua essência, o visual prompting funciona injetando informações espaciais diretamente no pipeline de processamento do modelo. Quando um usuário clica em um objeto ou desenha uma caixa, essas entradas são convertidas em embeddings baseados em coordenadas que a rede neural integra com as características da imagem. Este processo é central para arquiteturas interativas como o Segment Anything Model (SAM), onde o modelo prevê máscaras com base em prompts geométricos.

A flexibilidade do visual prompting permite vários tipos de interação:

• Point Prompts: Um utilizador clica num pixel específico para indicar o objeto de interesse. O modelo expande então esta seleção para os limites completos do objeto.
• Box Prompts: Desenhar uma bounding box fornece uma localização grosseira, sinalizando para o modelo segmentar ou classificar tudo o que está contido nessa área.
• Scribble Prompts: Linhas à mão livre desenhadas sobre um objeto podem ajudar a desambiguar cenas complexas onde os objetos se sobrepõem ou têm texturas semelhantes.

Pesquisas recentes apresentadas no CVPR 2024 destacam como o visual prompting reduz significativamente o tempo necessário para data annotation, já que os anotadores humanos podem corrigir as previsões do modelo em tempo real com cliques simples, em vez de traçar polígonos manualmente.

Visual Prompting vs. Text Prompting#

Embora ambas as técnicas tenham como objetivo guiar o comportamento do modelo, é importante distinguir o visual prompting dos métodos baseados em texto. A geração Text-to-image ou detecção zero-shot depende do natural language processing (NLP) para interpretar descrições semânticas (por exemplo, "encontrar o carro vermelho"). No entanto, a linguagem pode ser ambígua ou insuficiente para descrever localizações espaciais precisas ou formas abstratas.

O visual prompting resolve essa ambiguidade ancorando a instrução no próprio espaço de pixels. Por exemplo, na medical image analysis, é muito mais preciso para um radiologista clicar em um nódulo suspeito do que tentar descrever suas coordenadas exatas e formato irregular via texto. Muitas vezes, os fluxos de trabalho mais poderosos combinam ambas as abordagens — usando texto para filtragem semântica e visual prompts para precisão espacial — um conceito conhecido como multi-modal learning.

Aplicações no Mundo Real#

A adaptabilidade do visual prompting levou à sua rápida adoção em diversas indústrias:

• Interactive Medical Diagnostics: Os médicos usam ferramentas de visual prompting para isolar tumores ou órgãos em exames de ressonância magnética. Ao simplesmente clicar em uma região de interesse, eles podem gerar instantaneamente medições volumétricas 3D, auxiliando na tumor detection precisa e no planejamento cirúrgico.
• Smart Photo Editing: Em softwares de consumo como o Adobe Photoshop ou aplicativos móveis, o visual prompting alimenta ferramentas de "seleção mágica". Os usuários podem tocar em uma pessoa ou objeto para remover o fundo ou aplicar filtros direcionados, utilizando tecnologias subjacentes de instance segmentation sem precisar de habilidades de mascaramento manual.
• Robotic Manipulation: Em AI in Robotics, os robôs podem ser instruídos a pegar itens específicos por meio de uma interface visual. Um operador clica em um objeto no feed da câmera do robô, fornecendo um visual prompt que o robô traduz em coordenadas de preensão, facilitando a automação human-in-the-loop em armazéns.

Implementação com Ultralytics#

O ecossistema Ultralytics suporta fluxos de trabalho de visual prompting, particularmente através de modelos como FastSAM e SAM. Estes modelos permitem aos programadores passar coordenadas de pontos ou caixas programaticamente para recuperar máscaras de segmentação.

O exemplo a seguir demonstra como usar o pacote ultralytics para aplicar um prompt de ponto a uma imagem, instruindo o modelo a segmentar o objeto localizado em coordenadas específicas.

from ultralytics import SAM

# Load the Segment Anything Model (SAM)
model = SAM("sam2.1_b.pt")

# Apply a visual point prompt to the image
# The 'points' argument accepts [x, y] coordinates
# labels: 1 indicates a foreground point (include), 0 indicates background
results = model("https://ultralytics.com/images/bus.jpg", points=[[300, 350]], labels=[1])

# Display the segmented result
results[0].show()

Promover a Agilidade do Modelo#

O visual prompting representa uma mudança em direção à computer vision "propiciável", onde os modelos deixam de ser "caixas pretas" estáticas e passam a ser ferramentas interativas. Essa capacidade é essencial para loops de active learning, onde os modelos melhoram rapidamente ao incorporar o feedback do usuário.

Para desenvolvedores que desejam integrar essas capacidades em produção, a Ultralytics Platform oferece ferramentas para gerenciar datasets e implantar modelos que podem lidar com entradas dinâmicas. À medida que a pesquisa avança, esperamos ver uma integração ainda mais estreita entre visual prompts e large language models (LLMs), permitindo sistemas que podem raciocinar sobre entradas visuais com a mesma fluidez com que atualmente lidam com texto.