O que é segmentação de instâncias? Um guia rápido

As aplicações de visão computacional estão se tornando mais comuns em nosso cotidiano, desde câmeras de trânsito que monitoram as condições das estradas até sistemas de autoatendimento em lojas. Ao permitir que as máquinas compreendam dados visuais de uma forma semelhante aos humanos, a IA de visão está causando um impacto em diversos setores.

Muitas dessas aplicações dependem de detecção de objetos, uma tarefa de visão computacional que coloca caixas delimitadoras ao redor de objetos principais em imagens. Embora essa abordagem geralmente funcione bem, algumas soluções de análise de imagem precisam de ainda mais precisão.

Por exemplo, a imagem médica requer mais do que apenas detectar um tumor – é crucial delinear seu formato exato. Da mesma forma, na robótica, as máquinas precisam reconhecer os contornos exatos de um objeto para agarrá-lo corretamente. Para resolver esses desafios, a segmentação de instâncias oferece uma solução mais precisa.

A segmentação de instâncias é uma tarefa de visão computacional projetada para dar suporte a casos de uso onde detectar objetos não é suficiente – ela fornece precisão em nível de pixel. Modelos de visão computacional como o Ultralytics YOLO11 podem ser usados para aplicar a segmentação de instâncias a imagens e vídeos facilmente.

Fig 1. Exemplo de uso do YOLO11 para segmentação de instâncias.

Neste guia, explicaremos como a segmentação de instâncias funciona, suas aplicações e como o Ultralytics YOLO11 pode ser treinado de forma personalizada para tarefas específicas de segmentação.

Link to this sectionO que é segmentação de instâncias?#

Digamos que haja uma foto de grupo de pessoas próximas umas das outras. A detecção de objetos pode ajudar a desenhar caixas ao redor de cada pessoa, mas isso não informa o formato exato delas.

A segmentação de instâncias, por outro lado, é semelhante a contornar cuidadosamente cada pessoa para que você possa ver seu contorno completo, mesmo que se sobreponham. Em vez de apenas marcar onde algo está com uma caixa, ela identifica o formato exato de cada objeto em nível de pixel, tornando mais fácil entender imagens complexas.

O resultado é uma máscara detalhada que preenche o formato de um objeto, identificando exatamente quais pixels pertencem a ele. Esse nível de precisão é útil em muitas aplicações do mundo real onde entender o formato exato e os limites dos objetos é importante.

Fig 2. Apresentando o suporte do YOLO11 para segmentação de instâncias.

Link to this sectionSegmentação de instâncias vs segmentação semântica#

Ao explorar a segmentação de instâncias, você pode se deparar com o conceito de segmentação semântica.

Ambas as técnicas ajudam computadores a entender imagens em nível de pixel, mas servem a propósitos diferentes. A segmentação semântica rotula cada pixel com base em sua categoria, agrupando todos os objetos do mesmo tipo. Por exemplo, em uma imagem com vários carros, a segmentação semântica marcaria todos eles como "carro", sem distinguir entre os veículos individuais.

A segmentação de instâncias, por outro lado, vai um passo além ao identificar cada objeto separadamente. Ela atribui rótulos únicos a instâncias individuais e cria máscaras precisas ao redor de seus formatos. Assim, na mesma imagem, a segmentação de instâncias não apenas rotularia tudo como "carro", mas reconheceria e contornaria cada carro individualmente.

A principal diferença entre as duas é que a segmentação semântica agrupa objetos por categoria, enquanto a segmentação de instâncias distingue cada objeto como uma entidade única com limites claros. Escolher qual tarefa usar depende da aplicação específica – se é suficiente saber o que há em uma imagem ou se é importante diferenciar entre objetos individuais.

Fig 3. Segmentação de instâncias vs segmentação semântica (direita e esquerda, respectivamente).

Link to this sectionModelos populares de segmentação de instâncias#

Existem vários modelos de segmentação de instâncias disponíveis para a comunidade de IA de visão hoje em dia. Alguns são mais rápidos, alguns são mais precisos e alguns são mais fáceis de usar.

Essas opções, embora úteis, podem levar à pergunta: qual é a certa para usar em uma tarefa específica? Entre as opções, os modelos Ultralytics YOLO são bastante populares porque focam em velocidade e precisão.

Além disso, esses modelos evoluíram significativamente ao longo dos anos. Por exemplo, o Ultralytics YOLOv5 simplificou a implantação usando estruturas como PyTorch, tornando a IA de visão avançada acessível a um público mais amplo sem exigir experiência técnica profunda.

Com base nesse sucesso, o Ultralytics YOLOv8 introduziu suporte aprimorado para tarefas de visão computacional, como segmentação de instâncias, estimativa de pose e classificação de imagem.

Agora, o YOLO11 leva o desempenho a um novo patamar. Ele atinge uma mAP (precisão média média) maior no conjunto de dados COCO com 22% menos parâmetros do que o YOLOv8m, o que significa que ele pode reconhecer objetos com mais precisão usando menos recursos.

Fig 4. Benchmarking do YOLO11.

Em termos simples, o YOLO11 oferece precisão de última geração sem comprometer a eficiência, tornando-se um divisor de águas no campo.

Link to this sectionEntendendo como a segmentação de instâncias funciona#

Em seguida, vamos explorar como a segmentação de instâncias geralmente funciona. Modelos de visão computacional mais antigos usam uma abordagem de duas etapas.

Primeiro, eles detectam objetos desenhando caixas delimitadoras ao redor deles. Em seguida, eles geram uma máscara em nível de pixel para contornar o formato exato de cada objeto. Um exemplo bem conhecido é o Mask R-CNN, que se baseia em modelos de detecção de objetos ao adicionar uma etapa de predição de máscara. Embora esse método seja eficaz, ele pode ser lento porque processa a imagem em vários estágios, tornando aplicações em tempo real mais desafiadoras.

Enquanto isso, modelos como o YOLO11 processam imagens de uma só vez, prevendo simultaneamente caixas delimitadoras de objetos e máscaras de segmentação de instâncias. Essa abordagem simplificada o torna muito mais rápido, mantendo alta precisão. Como resultado, é particularmente útil para aplicações em tempo real como direção autônoma, análise de vídeo e robótica, onde velocidade e precisão são cruciais.

Link to this sectionTreinamento personalizado do YOLO11 para segmentação de instâncias#

Pronto para uso, o YOLO11 vem como um modelo pré-treinado. Ele foi treinado no conjunto de dados COCO-Seg, que abrange objetos do cotidiano para segmentação de instâncias. No entanto, o pacote Python da Ultralytics oferece suporte a treinamento personalizado, o que é essencial para aplicações especializadas onde objetos exclusivos precisam ser segmentados.

Por que o treinamento personalizado ou o ajuste fino de um modelo é importante? O treinamento personalizado aproveita o aprendizado por transferência construindo sobre o conhecimento já incorporado em modelos pré-treinados. Em vez de começar do zero, ele adapta um modelo existente para novas tarefas usando conjuntos de dados menores e menos recursos computacionais, tudo isso mantendo alta precisão.

Link to this sectionComo treinar o YOLO11 de forma personalizada#

Aqui está uma visão mais detalhada das etapas envolvidas no ajuste fino do YOLO11 para segmentação de instâncias:

• Preparação de dados: Colete e anote imagens com base em sua aplicação específica. A Ultralytics oferece suporte para vários conjuntos de dados de imagem, mas você também pode treinar usando seu próprio conjunto de dados preparando imagens e anotações no formato YOLO exigido.
• Usando um modelo pré-treinado: Em vez de começar do zero, use um modelo Ultralytics YOLO11 pré-treinado.
• Treinamento do modelo: Ajuste configurações vitais de treinamento, como tamanho do lote (imagens processadas por iteração), tamanho da imagem (resolução de entrada alvo) e épocas (ciclos totais de treinamento) e treine o modelo.
• Avaliação de desempenho: Após a conclusão do treinamento do modelo, você pode testar a precisão do modelo usando métricas de desempenho como mAP. O pacote Python da Ultralytics também fornece funções integradas para avaliação de modelo.

Link to this sectionAplicações de segmentação de instâncias habilitadas pelo YOLO11#

A segmentação de instâncias pode ser usada para resolver desafios do mundo real ajudando as máquinas a ver e entender objetos com mais precisão. Desde melhorar a automação até proteger o meio ambiente, ela desempenha um papel fundamental em muitos campos. Vamos percorrer alguns exemplos de onde ela está causando impacto.

Link to this sectionSegurança e monitoramento de canteiros de obras usando o YOLO11#

A segmentação de instâncias pode ser uma parte fundamental para garantir a segurança e a eficiência em canteiros de obras. Por exemplo, ela pode ser usada para monitorar maquinário pesado.

O YOLO11 pode ser ajustado para segmentar e identificar com precisão diferentes tipos de equipamentos, como guindastes, escavadeiras e tratores, e rastrear suas posições em tempo real. Isso permite que os gerentes de obra garantam que o maquinário opere estritamente dentro das áreas designadas e não invada zonas onde trabalhadores estão presentes ou existem riscos.

Além disso, integrar tais soluções com sistemas de alerta em tempo real permite que ações corretivas rápidas sejam tomadas. Além disso, os insights coletados podem ajudar a otimizar o layout e o fluxo de trabalho do canteiro, reduzindo ainda mais os riscos e aumentando a produtividade.

Fig 5. Monitorando maquinário pesado usando o YOLO11.

Link to this sectionMonitoramento animal com segmentação e YOLO11#

O monitoramento de comportamento animal ajuda pesquisadores, agricultores e conservacionistas a cuidar melhor dos animais em diferentes ambientes. A segmentação de instâncias desempenha um papel útil nesses sistemas ao identificar e segmentar animais individuais em fazendas, zoológicos e habitats naturais. Diferente da detecção de objetos tradicional que usa caixas delimitadoras, a segmentação de instâncias fornece uma delimitação em nível de pixel de cada animal, o que é particularmente útil quando os animais estão muito próximos.

A segmentação detalhada facilita o rastreamento mais preciso de movimentos e comportamentos. Animais sobrepostos ou agrupados podem ser reconhecidos distintamente, fornecendo uma análise mais precisa de interações, avaliações de saúde e padrões de atividade. No geral, insights mais profundos sobre o comportamento animal melhoram as práticas de cuidado e manejo animal.

Fig 6. Monitorando gado usando segmentação de instâncias.

Link to this sectionYOLO11 em análise esportiva e rastreamento de jogadores#

O rastreamento preciso de jogadores e eventos é uma parte enorme da análise esportiva. Métodos de rastreamento tradicionais dependem de marcação manual, que pode não capturar interações detalhadas. A visão computacional pode ser usada para segmentar detalhes como cada jogador, bola e evento principal em nível de pixel para obter insights detalhados.

Por exemplo, a segmentação de instâncias pode ajudar a detectar eventos como faltas ou incidentes sem bola, separando claramente cada jogador e objeto. Esse monitoramento granular habilitado por modelos como o YOLO11 oferece aos analistas informações mais claras para estudar padrões de movimento, posicionamento espacial e interações com alta precisão. Um benefício chave desses insights é que eles ajudam as equipes a refinar suas estratégias e aumentar o desempenho geral.

Link to this sectionPrós e contras da segmentação de instâncias#

Aqui estão alguns dos principais benefícios que a segmentação de instâncias pode trazer para diversos setores:

• Automação aprimorada: Ao automatizar tarefas como controle de qualidade e monitoramento de segurança, a segmentação de instâncias reduz a necessidade de intervenção manual e minimiza o erro humano.
• Melhor compreensão da cena: Ao delinear com precisão cada objeto, a segmentação de instâncias contribui para uma compreensão mais profunda de cenas complexas, apoiando a tomada de decisão mais informada.
• Pós-processamento eficiente: A saída em nível de pixel simplifica tarefas como remoção de fundo, contagem de objetos e análise espacial, reduzindo a necessidade de etapas de processamento adicionais.

Embora esses benefícios destaquem como a segmentação de instâncias impacta diferentes casos de uso, também é essencial considerar os desafios envolvidos em sua implementação.

Aqui estão algumas das principais limitações da segmentação de instâncias:

• Desafios com transparência: Segmentar objetos transparentes ou reflexivos como vidro e água é difícil, levando a limites imprecisos.
• Sobrecarga de manutenção: Para manter os modelos precisos e relevantes, são necessárias atualizações contínuas e ajustes finos à medida que as condições ambientais e os conjuntos de dados mudam.
• Alto esforço de anotação: Treinar modelos de segmentação de instâncias requer anotações detalhadas em nível de pixel, o que aumenta significativamente o tempo e o custo envolvidos na preparação de dados.

Link to this sectionPrincipais pontos#

A segmentação de instâncias possibilita distinguir objetos individuais com precisão, mesmo quando eles se sobrepõem. Ao capturar os limites dos objetos em nível de pixel, ela fornece uma compreensão mais profunda dos dados visuais em comparação com tarefas tradicionais de visão computacional, como a detecção de objetos.

Avanços recentes na visão computacional tornaram a segmentação de instâncias mais rápida e fácil de usar. Em particular, modelos de visão computacional como o Ultralytics YOLO11 simplificam o processo, permitindo a segmentação em tempo real com configuração mínima, tornando-a mais acessível para diversos setores e aplicações.

Curioso sobre IA? Visite nosso repositório GitHub e conecte-se com nossa comunidade para continuar explorando. Aprenda sobre inovações como IA em carros autônomos e IA de visão na agricultura em nossas páginas de soluções. Confira nossas opções de licenciamento e comece um projeto de visão computacional!