Segmentação semântica

A segmentação semântica é uma tarefa fundamental da visão computacional que envolve a atribuição de uma etiqueta de classe específica a cada pixel de uma imagem. Ao contrário de outros métodos que podem identificar objectos com caixas ou atribuir uma única etiqueta a uma imagem inteira, a segmentação semântica cria um mapa denso e perfeito de pixels das diferentes categorias semânticas presentes. Isto proporciona uma compreensão rica e detalhada do conteúdo da imagem, delineando a forma e a localização exactas de cada categoria, como "estrada", "céu", "edifício" ou "pessoa". É uma técnica essencial em cenas em que a compreensão do contexto e da disposição é tão importante como a identificação de objectos individuais.

Modelos e ferramentas

A segmentação semântica utiliza frequentemente modelos de aprendizagem profunda, em particular arquitecturas derivadas de Redes Neuronais Convolucionais (CNN).

• Arquitecturas: As primeiras arquitecturas populares incluem as Redes Totalmente Convolucionais (FCN), que substituíram as camadas totalmente ligadas em redes de classificação por camadas convolucionais para produzir mapas espaciais, e a U-Net, que utiliza uma estrutura codificador-descodificador com ligações de salto, o que a torna particularmente eficaz para a análise de imagens biomédicas. Outras arquitecturas influentes incluem o DeepLab, que utiliza convoluções atrous (ou dilatadas) para controlar a resolução dos mapas de caraterísticas.
• Modelos modernos: Os modelos mais avançados, como o Ultralytics YOLO11, também fornecem capacidades poderosas para várias tarefas de segmentação, equilibrando velocidade e precisão para aplicações que requerem inferência em tempo real.
• Plataformas de treinamento: Ferramentas como o Ultralytics HUB oferecem plataformas para gerir conjuntos de dados, como o conjunto de dados de segmentação COCO amplamente utilizado, treinar modelos personalizados e explorar opções de implementação de modelos.
• Estruturas: O desenvolvimento utiliza frequentemente estruturas populares como PyTorch e TensorFlow. Técnicas como o aumento de dados são normalmente utilizadas para melhorar a robustez e a generalização do modelo. Bibliotecas de código aberto como OpenCV e scikit-image também fornecem ferramentas para processamento e análise de imagens que complementam os fluxos de trabalho de segmentação.

Aplicações no mundo real

A compreensão detalhada da cena proporcionada pela segmentação semântica é crucial em muitos domínios:

• Veículos autónomos: Para que um carro autónomo navegue em segurança, tem de compreender completamente o seu ambiente. A segmentação semântica é utilizada para identificar áreas transitáveis (estrada), áreas não transitáveis (passeios, edifícios) e a localização de peões, ciclistas e outros veículos com uma precisão ao nível do pixel. Isto permite um planeamento mais seguro do caminho e a tomada de decisões. Pode ler mais sobre o papel da IA nos veículos autónomos.
• Análise de imagens médicas: Na medicina, a precisão é fundamental. A segmentação semântica ajuda a delinear automaticamente órgãos, tumores, lesões e outras estruturas anatómicas em exames como ressonâncias magnéticas e tomografias computorizadas. Isto ajuda os radiologistas no diagnóstico, no planeamento do tratamento e na monitorização da progressão da doença. Saiba mais sobre como a IA é aplicada na imagiologia médica.
• Análise de imagens de satélite: Para aplicações geoespaciais, a segmentação semântica é utilizada para classificar a cobertura do solo a partir de imagens de satélite. Isto pode ser utilizado para o planeamento urbano (identificação de edifícios, estradas e espaços verdes), monitorização ambiental (localização de desflorestação ou massas de água) e agricultura de precisão.
• Robótica: Os robôs utilizam a segmentação semântica para compreender o seu ambiente operacional, permitindo-lhes distinguir entre pisos, paredes, objectos com os quais interagir e obstáculos a evitar. Isso é vital para tarefas de navegação e manipulação em ambientes complexos, como armazéns ou residências. Saiba mais sobre a integração da visão computacional na robótica.

Principais distinções em relação a outras tarefas

É importante diferenciar a segmentação semântica das tarefas de visão computacional relacionadas:

• Segmentação de instâncias: Esta é a tarefa mais intimamente relacionada. Embora ambas efectuem a classificação ao nível do pixel, a segmentação de instâncias vai um passo mais além, distinguindo entre instâncias individuais da mesma classe de objeto. Por exemplo, numa imagem com três carros, a segmentação semântica rotularia todos os pixéis de carros simplesmente como "carro". Em contraste, a segmentação de instâncias identificaria "carro 1", "carro 2" e "carro 3" como objectos separados.
• Deteção de objectos: Esta tarefa identifica a presença e a localização de objectos numa imagem, desenhando uma caixa delimitadora à volta de cada um e atribuindo uma etiqueta de classe. Não fornece informações sobre a forma do objeto ou quais os pixels que lhe pertencem.
• Segmentação panóptica: Esta tarefa pode ser vista como uma unificação da segmentação semântica e da segmentação de instâncias. O seu objetivo é proporcionar uma compreensão abrangente da cena, atribuindo uma etiqueta de classe a cada pixel (como a segmentação semântica), ao mesmo tempo que identifica de forma única cada instância de objeto (como a segmentação de instâncias).