Interactive Segmentation

A segmentação interativa é uma abordagem altamente colaborativa à visão computacional, na qual um utilizador humano fornece dados de entrada contínuos ou únicos — como cliques, caixas delimitadoras ou prompts de texto — para orientar um modelo de IA no isolamento de objetos específicos numa imagem. Ao contrário dos métodos totalmente automatizados, esta técnica com intervenção humana permite aos utilizadores definir exatamente o que precisa de ser segmentado, sendo especialmente valiosa ao lidar com dados visuais ambíguos, objetos sobrepostos ou classes não observadas. Nos últimos anos, a introdução de modelos fundacionais melhorou drasticamente a velocidade e a precisão deste processo, transformando-o numa ferramenta essencial para a anotação de dados e a imagiologia de precisão.

Como funciona a segmentação interativa#

No seu cerne, o fluxo de trabalho baseia-se na segmentação de conceitos orientada por prompts, na qual o modelo interpreta as orientações do utilizador para gerar uma máscara com precisão ao nível do pixel. Um utilizador pode colocar um clique «positivo» no objeto em primeiro plano que pretende selecionar e um clique «negativo» em áreas de fundo que pretende excluir. Modelos avançados, como o Modelo de segmentação de qualquer coisa (SAM) e os seus sucessores, o Meta SAM 3, levam este processo mais longe ao aceitar diversos tipos de gestos [1], caixas delimitadoras e até descrições de texto para fundamentar a pesquisa visual. O modelo calcula o limite ideal com base nestes prompts, e o utilizador pode aperfeiçoar iterativamente a máscara com cliques adicionais até alcançar a precisão pretendida.

Aplicações no mundo real#

A segmentação interativa está a transformar os fluxos de trabalho em inúmeros setores, combinando a experiência humana com a eficiência da IA.

• Imagiologia médica: Na IA na área da saúde, médicos e radiologistas utilizam ferramentas interativas para isolar tumores, lesões ou órgãos específicos em exames de MRI e CT. A investigação sobre a modelação espacial para imagens médicas [2] demonstra que os cliques interativos permitem aos profissionais de saúde corrigir rapidamente as previsões da IA, garantindo a precisão rigorosa necessária para o diagnóstico dos pacientes.
• Cartografia geoespacial e de satélite: Planeadores urbanos e cientistas ambientais utilizam modelos interativos para acelerar a extração de elementos de GIS [3]. Em vez de traçarem manualmente linhas costeiras complexas, limites agrícolas ou novas infraestruturas, os analistas podem colocar alguns cliques estratégicos para gerar instantaneamente polígonos geográficos precisos.
• Deteção de defeitos industriais: Na IA na indústria, os engenheiros de controlo de qualidade podem utilizar prompts interativos para destacar falhas microscópicas nas linhas de produção, adaptando dinamicamente o sistema a novos tipos de defeitos sem reentrenar todo o modelo.

Segmentação interativa vs. segmentação de instâncias#

Embora ambos os conceitos envolvam a separação de objetos ao nível do pixel, têm finalidades operacionais diferentes. A segmentação de instâncias é normalmente um processo totalmente automatizado no qual um modelo, como o Ultralytics YOLO26, deteta e delimita classes predefinidas (por exemplo, «carro», «pessoa» e «cão») sem intervenção do utilizador. Podes saber mais sobre o funcionamento deste processo no nosso guia sobre segmentação de instâncias.

Por outro lado, a segmentação interativa não depende estritamente de classes predefinidas. É agnóstica em relação às classes, o que significa que segmenta tudo aquilo para que o utilizador aponta, sendo uma excelente opção para pipelines de aprendizagem ativa nos quais novos objetos precisam de ser rapidamente anotados e adicionados a conjuntos de dados personalizados com ferramentas como a Ultralytics Platform.

Exemplo com Ultralytics#

Podes implementar facilmente a segmentação interativa nos teus próprios projetos utilizando PyTorch e o pacote Python ultralytics. Neste exemplo, utilizamos FastSAM para segmentar um objeto específico, fornecendo um prompt de caixa delimitadora.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Este excerto demonstra como um simples prompt espacial orienta diretamente o modelo a isolar a região de interesse, simplificando tarefas complexas de segmentação de imagens com um mínimo de código.