Segmentação de Instâncias

A segmentação de instâncias é uma técnica sofisticada de técnica sofisticada de visão por computador (CV) que identifica, identifica, localiza e delineia objectos individuais dentro de uma imagem ao nível do pixel. Ao contrário da deteção de objectos, que aproxima a localização de um objeto localização de um objeto com uma caixa delimitadora retangular, a gera uma máscara precisa que delineia a forma exacta de cada objeto distinto. Este nível granular de Este nível granular de detalhe permite aos sistemas distinguir entre múltiplas instâncias da mesma classe - como separar dois carros sobrepostos ou pessoas individuais numa multidão - tornando-o um componente crítico na inteligência artificial (IA) aplicações.

Diferença em relação às tarefas relacionadas

Para compreender plenamente a segmentação de instâncias, é útil compará-la com outras tarefas fundamentais de visão computacional:

• Segmentação semântica: Esta tarefa classifica cada pixel de uma imagem numa categoria (por exemplo, "céu", "estrada" "pessoa") mas não diferencia entre objectos individuais. Todos os pixéis pertencentes à classe Todos os pixéis pertencentes à classe "carro" são agrupados, o que significa que não é possível distinguir um carro de outro.
• Deteção de objectos: Esta tarefa detecta a presença e a localização de objectos, envolvendo-os em caixas delimitadoras. Embora distinga distingue entre instâncias individuais (por exemplo, Carro A vs. Carro B), não capta a sua forma ou limites.
• Segmentação panóptica: Combina o melhor dos dois mundos, atribuindo uma etiqueta de classe a cada pixel (semântica) e identificando de forma identificando instâncias de objectos individuais (instância), proporcionando uma compreensão abrangente da cena.

A segmentação de instâncias funde eficazmente as capacidades de localização da deteção de objectos com a precisão a nível de pixéis da segmentação semântica.

Como funciona

Os modelos de segmentação de instâncias utilizam geralmente arquitecturas de aprendizagem profunda (DL), especificamente Redes Neuronais Convolucionais (CNN), para extrair caraterísticas de uma imagem. O processo envolve normalmente duas etapas paralelas:

1. Localização: O modelo prevê a classe e as coordenadas da caixa delimitadora para cada objeto.
2. Geração de máscaras: Simultaneamente, o modelo prevê uma máscara binária dentro da região detectada, determinando exatamente quais os pixels que pertencem ao objeto.

As primeiras abordagens, como a Mask R-CNN, utilizavam um processo em duas fases, primeiro gerando propostas de regiões e depois refinando-as. As arquitecturas modernas, como a Ultralytics YOLO11revolucionaram este processo, realizando a deteção e segmentação numa única fase. Isto permite inferência em tempo real, tornando possível segment objectos em fluxos de vídeo em direto com elevada velocidade e precisão.

Aplicações no Mundo Real

A deteção precisa de limites oferecida pela segmentação de instâncias é indispensável em vários sectores:

• Análise de imagens médicas: Nos cuidados de saúde, é vital identificar o volume e a forma exactos das anomalias. A segmentação de instâncias é utilizada para delinear tumores em exames de ressonância magnética ou contar células individuais em microscopia, ajudando no diagnóstico preciso e no planeamento do tratamento.
• Veículos autónomos: Os veículos autónomos utilizam esta tecnologia para compreender cenários rodoviários complexos. Ao treinar em conjuntos de dados como Cityscapes, os veículos conseguem distinguir entre superfícies de estrada superfícies de estrada transitáveis, peões e outros veículos, garantindo uma navegação segura mesmo em ambientes com muita gente.
• Agricultura de precisão: Os agricultores utilizam a segmentação para monitorizar o estado das culturas. Os robots equipados com sistemas de visão podem identificar ervas daninhas entre as culturas para aplicação direcionada de herbicida ou guiar braços robóticos para colher frutos como morangos reconhecendo os seus contornos exactos.
• Robótica: Para que um robô possa interagir com o seu ambiente, como por exemplo agarrar um objeto específico de um caixote do lixo, tem de compreender a orientação e a forma do objeto. A segmentação de instâncias fornece os dados geométricos necessários para uma manipulação.

Implementar a segmentação de instâncias

Os programadores podem implementar facilmente a segmentação de instâncias utilizando a função ultralytics Pacote Python . A biblioteca suporta YOLO11 modelos pré-treinados no Conjunto de dados COCOque pode detect e segment 80 categorias de objectos comuns da caixa.

Aqui está um exemplo conciso de como carregar um modelo e executar a segmentação numa imagem:

from ultralytics import YOLO

# Load a pre-trained YOLO11 instance segmentation model
model = YOLO("yolo11n-seg.pt")

# Run inference on an image
# The model predicts classes, boxes, and masks simultaneously
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Visualize the results with masks plotted
results[0].show()

Para os utilizadores que pretendem aplicar isto aos seus próprios dados, a estrutura suporta formação em conjuntos de dados personalizados, permitindo que o modelo aprenda novas classes específicas para aplicações de nicho.