Interactive Segmentation

A segmentação interativa é uma abordagem altamente colaborativa para a computer vision em que um usuário humano fornece entradas contínuas ou de tiro único — como cliques, caixas delimitadoras ou comandos de texto — para guiar um modelo de IA no isolamento de objetos específicos dentro de uma imagem. Ao contrário dos métodos totalmente automatizados, esta técnica de humano no circuito permite que os usuários definam exatamente o que precisa ser segmentado, tornando-a especialmente valiosa ao lidar com dados visuais ambíguos, objetos sobrepostos ou classes desconhecidas. Ao longo dos últimos anos, a introdução de modelos fundamentais melhorou drasticamente a velocidade e a precisão desse processo, transformando-o em uma ferramenta vital para data annotation e imagem de precisão.

Como a Segmentação Interativa Funciona#

Em sua essência, o fluxo de trabalho depende da promptable concept segmentation, onde o modelo interpreta a orientação do usuário para gerar uma máscara perfeita em nível de pixel. Um usuário pode colocar um clique "positivo" no objeto de primeiro plano que deseja selecionar e um clique "negativo" nas áreas de fundo que deseja excluir. Modelos avançados como o Segment Anything Model (SAM) e seus sucessores, o Meta SAM 3, vão além ao aceitar diverse gesture types [1], caixas delimitadoras e até descrições de texto para fundamentar a busca visual. O modelo calcula o limite ideal com base nesses comandos, e o usuário pode refinar iterativamente a máscara com cliques adicionais até que a precisão desejada seja alcançada.

Aplicações no Mundo Real#

A segmentação interativa está transformando fluxos de trabalho em diversos setores ao combinar a experiência humana com a eficiência da IA.

• Imagem Médica: Na AI in healthcare, médicos e radiologistas usam ferramentas interativas para isolar tumores, lesões ou órgãos específicos em exames de ressonância magnética e tomografia computadorizada. Pesquisas sobre spatial modeling for medical images [2] mostram que os cliques interativos permitem que profissionais médicos corrijam rapidamente as previsões de IA, garantindo a precisão rigorosa necessária para o diagnóstico do paciente.
• Mapeamento Geoespacial e de Satélite: Urbanistas e cientistas ambientais usam modelos interativos para acelerar a GIS feature extraction [3]. Em vez de rastrear manualmente linhas costeiras complexas, limites agrícolas ou novas infraestruturas, os analistas podem colocar alguns cliques estratégicos para gerar instantaneamente polígonos geográficos precisos.
• Detecção de Defeitos Industriais: Para a AI in manufacturing, os engenheiros de controle de qualidade podem usar comandos interativos para destacar falhas microscópicas em linhas de produção, adaptando dinamicamente o sistema a novos tipos de defeitos sem retreinar todo o modelo.

Segmentação Interativa vs. Segmentação de Instância#

Embora ambos os conceitos envolvam a separação de objetos no nível do pixel, eles atendem a diferentes propósitos operacionais. A Instance segmentation é tipicamente um processo totalmente automatizado onde um modelo, como o Ultralytics YOLO26, detecta e contorna classes predefinidas (por exemplo, "carro", "pessoa", "cachorro") sem a intervenção do usuário. Você pode aprender mais sobre como isso funciona em nosso guide to instance segmentation.

Por outro lado, a segmentação interativa não depende estritamente de classes predefinidas. Ela é agnóstica de classe, o que significa que segmenta qualquer coisa para a qual o usuário aponte, tornando-a ideal para pipelines de active learning onde novos objetos precisam ser rapidamente anotados e adicionados a conjuntos de dados personalizados usando ferramentas como o Ultralytics Platform.

Exemplo usando Ultralytics#

Você pode implementar facilmente a segmentação interativa em seus próprios projetos usando PyTorch e o pacote Python ultralytics. Neste exemplo, usamos o FastSAM para segmentar um objeto específico fornecendo um comando de caixa delimitadora.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Este trecho demonstra como um comando espacial simples orienta diretamente o modelo a isolar a região de interesse, simplificando tarefas complexas de image segmentation com o mínimo de código.