O que é segmentação de instâncias? Um guia rápido

As aplicações de visão por computador são cada vez mais comuns no nosso dia a dia, desde câmaras de trânsito que monitorizam as condições das estradas até sistemas de pagamento automático nas lojas. Ao permitir que as máquinas compreendam dados visuais de forma semelhante aos seres humanos, a IA visual está a gerar impacto em vários setores.

Muitas dessas aplicações dependem da deteção de objetos, uma tarefa de visão computacional que posiciona caixas delimitadoras em torno dos objetos principais nas imagens. Embora esta abordagem muitas vezes funcione bem, algumas soluções de análise de imagens precisam de ainda mais precisão.

Por exemplo, a imagiologia médica exige mais do que apenas detetar um tumor — é crucial delinear a sua forma exata. Da mesma forma, na robótica, as máquinas precisam de reconhecer os contornos exatos de um objeto para o agarrar corretamente. Para enfrentar estes desafios, a segmentação de instâncias oferece uma solução mais precisa.

A segmentação de instâncias é uma tarefa de visão computacional concebida para casos de utilização em que a deteção de objetos não é suficiente — oferece precisão ao nível do píxel. Modelos de visão computacional como o Ultralytics YOLO11 podem ser usados para aplicar facilmente a segmentação de instâncias a imagens e vídeos.

Fig. 1. Exemplo de utilização do YOLO11 para segmentação de instâncias.

Neste guia, vamos explicar como funciona a segmentação de instâncias, as suas aplicações e como o Ultralytics YOLO11 pode ser treinado com dados personalizados para tarefas de segmentação específicas.

O que é a segmentação de instâncias?#

Imagina uma fotografia de grupo com pessoas muito próximas umas das outras. A deteção de objetos pode ajudar a desenhar caixas em torno de cada pessoa, mas não mostra a forma exata de cada uma.

Por outro lado, a segmentação de instâncias é como contornar cuidadosamente cada pessoa para veres todo o seu perfil, mesmo que as pessoas se sobreponham. Em vez de apenas assinalar a localização de algo com uma caixa, identifica a forma exata de cada objeto ao nível do píxel, facilitando a compreensão de imagens complexas.

O resultado é uma máscara detalhada que preenche a forma de um objeto e identifica exatamente os píxeis que lhe pertencem. Este nível de precisão é útil em muitas aplicações do mundo real em que é importante compreender a forma e os limites exatos dos objetos.

Fig. 2. Demonstração do suporte do Ultralytics YOLO11 para segmentação de instâncias.

Segmentação de instâncias vs. segmentação semântica#

Ao explorares a segmentação de instâncias, poderás encontrar o conceito de segmentação semântica.

Ambas as técnicas ajudam os computadores a compreender imagens ao nível do píxel, mas têm finalidades diferentes. A segmentação semântica atribui uma categoria a cada píxel, agrupando todos os objetos do mesmo tipo. Por exemplo, numa imagem com vários carros, a segmentação semântica assinalaria todos como «carro», sem distinguir os veículos individualmente.

Por outro lado, a segmentação de instâncias vai mais longe ao identificar cada objeto separadamente. Atribui etiquetas únicas a cada instância e cria máscaras precisas em torno das respetivas formas. Assim, na mesma imagem, a segmentação de instâncias não se limitaria a etiquetar tudo como «carro»: reconheceria e delinearia cada carro individualmente.

A principal diferença entre as duas é que a segmentação semântica agrupa objetos por categoria, enquanto a segmentação de instâncias distingue cada objeto como uma entidade única com limites bem definidos. A escolha da tarefa depende da aplicação específica — basta saber o que está numa imagem ou é importante distinguir os objetos individualmente?

Para ajudares a decidir de que tarefa o teu projeto precisa, consulta segmentação semântica vs. segmentação de instâncias: como escolher.

Fig. 3. Segmentação de instâncias vs. segmentação semântica (à direita e à esquerda, respetivamente).

Modelos populares de segmentação de instâncias#

Atualmente, a comunidade de IA visual dispõe de vários modelos de segmentação de instâncias. Alguns são mais rápidos, outros são mais precisos e há ainda os que são mais fáceis de usar.

Embora essas opções sejam úteis, fica a dúvida sobre qual delas é a mais adequada para uma tarefa específica. Entre as opções, os modelos Ultralytics YOLO são bastante populares porque priorizam velocidade e precisão.

Além disso, estes modelos evoluíram significativamente ao longo dos anos. Por exemplo, o Ultralytics YOLOv5 simplificou a implementação com estruturas como PyTorch, tornando a IA visual avançada acessível a um público mais vasto, sem exigir conhecimentos técnicos aprofundados.

Com base nesse sucesso, o Ultralytics YOLOv8 introduziu um suporte melhorado para tarefas de visão computacional, como segmentação de instâncias, estimativa de pose e classificação de imagens.

O Ultralytics YOLO11 (que foi sucedido pelo Ultralytics YOLO26) levou o desempenho ainda mais longe. Ele alcança uma precisão média média (mAP) maior no conjunto de dados COCO com 22% menos parâmetros que o YOLOv8m, o que significa que consegue reconhecer objetos com mais precisão usando menos recursos.

Fig. 4. Avaliação comparativa do YOLO11.

Em poucas palavras, o Ultralytics YOLO11 oferece precisão de ponta sem comprometer a eficiência.

Compreender como funciona a segmentação de instâncias#

Agora, vamos explorar como a segmentação de instâncias costuma funcionar. Modelos de visão computacional mais antigos usam uma abordagem de duas etapas.

Primeiro, eles detectam objetos desenhando caixas delimitadoras ao redor deles. Depois, geram uma máscara em nível de pixel para delinear a forma exata de cada objeto. Um exemplo conhecido é o Mask R-CNN, que amplia os modelos de detecção de objetos com uma etapa de previsão de máscaras. Embora seja eficaz, esse método pode ser lento porque processa a imagem em várias etapas, o que dificulta aplicações em tempo real.

Entretanto, modelos como o Ultralytics YOLO11 processam imagens de uma só vez, prevendo simultaneamente as caixas delimitadoras dos objetos e as máscaras de segmentação de instâncias. Esta abordagem simplificada torna o processo muito mais rápido, mantendo uma elevada precisão. Por isso, é particularmente útil para aplicações em tempo real, como condução autónoma, análise de vídeo e robótica, em que a velocidade e a precisão são cruciais.

Treino personalizado do Ultralytics YOLO11 para segmentação de instâncias#

Pronto para uso, o YOLO11 vem como um modelo pré-treinado. Ele foi treinado com o conjunto de dados COCO-Seg, que abrange objetos do cotidiano para segmentação de instâncias. No entanto, o pacote Python da Ultralytics oferece suporte ao treinamento personalizado, essencial para aplicações especializadas que exigem a segmentação de objetos específicos.

Porque é importante treinar um modelo com dados personalizados ou ajustá-lo? O treino personalizado tira partido da aprendizagem por transferência, aproveitando os conhecimentos já incorporados nos modelos pré-treinados. Em vez de começar do zero, adapta um modelo existente a novas tarefas com conjuntos de dados menores e menos recursos computacionais, mantendo uma elevada precisão.

Como treinar o Ultralytics YOLO11 com dados personalizados#

Veja mais de perto as etapas envolvidas no ajuste fino do Ultralytics YOLO11 para segmentação de instâncias:

• Preparação dos dados: Reúne e anota imagens de acordo com a tua aplicação específica. A Ultralytics suporta vários conjuntos de dados de imagens, mas também podes treinar com o teu próprio conjunto de dados, preparando as imagens e anotações no formato YOLO necessário.
• Utilização de um modelo pré-treinado: Em vez de começares do zero, usa um modelo Ultralytics YOLO11 pré-treinado.
• Treino do modelo: Ajusta parâmetros essenciais do treino, como o tamanho do lote (imagens processadas por iteração), o tamanho da imagem (resolução de entrada pretendida) e o número de épocas (ciclos totais de treino), e treina o modelo.
• Avaliação do desempenho: Quando o treino do modelo estiver concluído, podes testar a sua precisão com métricas de desempenho como mAP. O pacote Python da Ultralytics também inclui funções para avaliar modelos.

Aplicações de segmentação de instâncias possibilitadas pelo Ultralytics YOLO11#

A segmentação de instâncias pode ajudar a resolver desafios do mundo real, permitindo que as máquinas vejam e compreendam os objetos com maior precisão. Desde melhorar a automação até proteger o ambiente, desempenha um papel fundamental em muitos setores. Vejamos alguns exemplos do seu impacto.

Segurança e monitorização de estaleiros de construção com o Ultralytics YOLO11#

A segmentação de instâncias pode ser essencial para garantir a segurança e a eficiência nos estaleiros de construção. Por exemplo, pode ser usada para monitorizar maquinaria pesada.

O Ultralytics YOLO11 pode ser ajustado para segmentar e identificar com precisão diferentes tipos de equipamento, como gruas, escavadoras e bulldozers, e acompanhar as respetivas posições em tempo real. Isto permite que os gestores do estaleiro garantam que a maquinaria opera estritamente dentro das áreas designadas e não invade zonas onde há trabalhadores ou perigos.

Além disso, a integração destas soluções com sistemas de alerta em tempo real permite tomar rapidamente medidas corretivas. Para além disso, os dados recolhidos podem ajudar a otimizar a disposição do estaleiro e o fluxo de trabalho, reduzindo ainda mais os riscos e aumentando a produtividade.

Fig. 5. Monitorização de maquinaria pesada com o Ultralytics YOLO11.

Monitorização de animais com segmentação e o Ultralytics YOLO11#

A monitorização do comportamento animal ajuda investigadores, agricultores e conservacionistas a cuidar melhor dos animais em diferentes ambientes. A segmentação de instâncias desempenha um papel importante nestes sistemas, identificando e segmentando animais individualmente em explorações agrícolas, jardins zoológicos e habitats naturais. Ao contrário da deteção tradicional de objetos, que usa caixas delimitadoras, a segmentação de instâncias fornece uma delimitação de cada animal ao nível do píxel, algo especialmente útil quando os animais estão próximos uns dos outros.

A segmentação detalhada facilita o rastreamento mais preciso de movimentos e comportamentos. É possível distinguir animais sobrepostos ou agrupados muito próximos, o que permite analisar com mais precisão as interações, avaliar a saúde e identificar padrões de atividade. De modo geral, compreender melhor o comportamento animal aprimora as práticas de cuidado e manejo dos animais.

Fig. 6. Monitorização de bovinos com segmentação de instâncias.

Ultralytics YOLO11 na análise desportiva e no acompanhamento de jogadores#

O acompanhamento preciso de jogadores e eventos é uma parte importante da análise desportiva. Os métodos tradicionais de acompanhamento dependem de etiquetagem manual, que pode não captar interações detalhadas. A visão computacional pode ser usada para segmentar ao nível do píxel elementos como cada jogador, a bola e eventos importantes, de modo a obter informações detalhadas.

Por exemplo, a segmentação de instâncias pode ajudar a detetar eventos como faltas ou incidentes sem bola, separando claramente cada jogador e objeto. Esta monitorização detalhada, possibilitada por modelos como o Ultralytics YOLO11, fornece aos analistas informações mais claras para estudar padrões de movimento, posicionamento espacial e interações com elevada precisão. Uma das principais vantagens destes dados é ajudarem as equipas a aperfeiçoar as suas estratégias e a melhorar o desempenho geral.

Vantagens e desvantagens da segmentação de instâncias#

Eis algumas das principais vantagens que a segmentação de instâncias pode oferecer a vários setores:

• Automação melhorada: Ao automatizar tarefas como o controlo de qualidade e a monitorização da segurança, a segmentação de instâncias reduz a necessidade de intervenção manual e minimiza o erro humano.
• Melhor compreensão da cena: Ao delinear cada objeto com precisão, a segmentação de instâncias contribui para uma compreensão mais aprofundada de cenas complexas, apoiando decisões mais informadas.
• Pós-processamento eficiente: Os resultados ao nível do píxel simplificam tarefas como a remoção do fundo, a contagem de objetos e a análise espacial, reduzindo a necessidade de etapas de processamento adicionais.

Embora estas vantagens evidenciem o impacto da segmentação de instâncias em diferentes casos de utilização, também é essencial considerar os desafios envolvidos na sua implementação.

Eis algumas das principais limitações da segmentação de instâncias:

• Desafios com a transparência: É difícil segmentar objetos transparentes ou refletores, como vidro e água, o que leva a limites imprecisos.
• Sobrecarga de manutenção: Para manter os modelos precisos e relevantes, são necessárias atualizações e ajustes contínuos à medida que as condições ambientais e os conjuntos de dados mudam.
• Grande esforço de anotação: O treino de modelos de segmentação de instâncias exige anotações detalhadas ao nível do píxel, o que aumenta significativamente o tempo e o custo da preparação dos dados.

Principais conclusões#

A segmentação de instâncias permite distinguir objetos individuais com precisão, mesmo quando se sobrepõem. Ao captar os limites dos objetos ao nível do píxel, proporciona uma compreensão mais aprofundada dos dados visuais do que as tarefas tradicionais de visão computacional, como a deteção de objetos.

Os avanços recentes na visão computacional tornaram a segmentação de instâncias mais rápida e fácil de usar. Em particular, modelos de visão computacional como o Ultralytics YOLO11 simplificam o processo e permitem a segmentação em tempo real com uma configuração mínima, tornando-a mais acessível a vários setores e aplicações.

Tens curiosidade sobre IA? Visita o nosso repositório do GitHub e liga-te à nossa comunidade para continuares a explorar. Descobre inovações como a IA nos carros autónomos e a IA visual na agricultura nas nossas páginas de soluções. Consulta as nossas opções de licenciamento e começa um projeto de visão computacional!