Como usar o Ultralytics YOLO11 para segmentação de instâncias

Visão computacional, um campo dentro da inteligência artificial (IA) que ajuda máquinas a interpretar e entender informações visuais, permite tarefas como a segmentação de instâncias. A segmentação de instâncias pode ser usada para analisar uma imagem ou quadro de vídeo para marcar os limites exatos de cada objeto distinto na imagem, mesmo quando vários objetos do mesmo tipo estão presentes. Com seu alto nível de precisão, a segmentação de instâncias tem uma ampla gama de aplicações, desde ajudar carros autônomos a detectar obstáculos na estrada até identificar tumores em exames médicos.

Ao longo dos anos, a segmentação de instâncias evoluiu significativamente. Um desenvolvimento recente foi apresentado durante o evento híbrido anual da Ultralytics, o YOLO Vision 2024 (YV24), na forma do modelo Ultralytics YOLO11. O novo modelo suporta as mesmas tarefas de visão computacional (incluindo a segmentação de instâncias) que o modelo Ultralytics YOLOv8, para que os usuários familiarizados com versões anteriores possam adotar o novo modelo perfeitamente.

Fig 1. Um exemplo do uso do modelo Ultralytics YOLO11 para segmentação de instâncias.

Neste artigo, vamos explorar a segmentação de instâncias e como ela difere de outras tarefas de visão computacional, como a segmentação semântica, além de discutir algumas de suas aplicações. Também veremos como podes usar o modelo de segmentação de instâncias do YOLO11 usando o pacote Python da Ultralytics e a plataforma Ultralytics HUB. Vamos começar!

O que é segmentação de instâncias?#

A segmentação de instâncias pode ser usada para identificar objetos em uma imagem e contorná-los a nível de pixel. O processo normalmente envolve primeiro detectar objetos e desenhar caixas delimitadoras ao redor deles. Em seguida, um algoritmo de segmentação classifica cada pixel dentro da caixa delimitadora para criar uma máscara precisa para cada objeto.

A segmentação de instâncias também é diferente de tarefas como a segmentação semântica e a segmentação panóptica. A segmentação semântica rotula cada pixel com base na categoria geral de um objeto, sem distinguir instâncias individuais. A segmentação panóptica, por outro lado, combina a segmentação de instâncias e a semântica, rotulando cada pixel com uma classe e um ID de instância, identificando objetos individuais dentro de cada categoria.

Fig 2. Usando o YOLO11 para detectar e segmentar uma pessoa e um cachorro.

As capacidades da segmentação de instâncias podem ser aplicadas em vários cenários que podem exigir diferentes modelos. Por exemplo, um modelo leve pode ser ideal para processamento em tempo real em aplicativos móveis, enquanto um modelo mais complexo pode ser usado para tarefas de alta precisão, como controle de qualidade na fabricação.

Assim como os modelos anteriores, o modelo de segmentação de instâncias do YOLO11 também vem com várias variações dependendo das tuas necessidades. Essas variações incluem YOLO11n-seg (Nano), YOLO11s-seg (Small), YOLO11m-seg (Medium), YOLO11l-seg (Large) e YOLO11x-seg (Extra Large). Esses modelos variam em termos de tamanho, velocidade de processamento, precisão e quantidade de poder computacional que exigem. Com base nos teus requisitos específicos, podes escolher o modelo que melhor se adapta à tua aplicação.

Aplicações de segmentação de instâncias para o YOLO11#

Os recursos avançados de segmentação de instâncias do YOLO11 abrem uma gama de aplicações em diversos setores. Vamos dar uma olhada mais de perto em algumas dessas aplicações.

Usando a segmentação YOLO11 na indústria de petróleo e gás#

A extração de óleo e gás envolve o gerenciamento de flutuações de pressão extremamente altas. Técnicas como a queima de gás (flaring) ajudam a queimar o gás natural produzido durante a extração de petróleo. Isso é necessário por motivos de segurança. Por exemplo, na extração de petróleo bruto, um pico de pressão repentino ou significativo pode levar a uma explosão. Embora incomuns, acidentes industriais no setor de fabricação de óleo e gás podem resultar em incêndios intensos que são difíceis de conter e controlar. A queima de gás ajuda os operadores a despressurizar os equipamentos com segurança e a gerenciar grandes flutuações de pressão imprevisíveis, queimando o excesso de gás.

Sistemas de IA podem melhorar este processo de monitorização, e o risco de acidentes pode ser reduzido utilizando um sistema de monitorização de queima de gases baseado em segmentação de instâncias. Monitorizar a queima de gases também é importante por razões ambientais, uma vez que o excesso de queima pode impactar negativamente o ambiente.

Os modelos de segmentação de instâncias do Ultralytics YOLO11 podem ser usados para monitorar a quantidade de fogo e fumaça causada pela queima. A área de pixels do fogo e da fumaça detectados e segmentados pode ser calculada. Usando essas informações, os operadores podem obter insights em tempo real sobre o fogo e a fumaça causados pela queima, ajudando-os a prevenir acidentes e impactos ambientais negativos.

Fig 3. Um exemplo de monitoramento de queima usando YOLO11 na manufatura de petróleo e gás.

Segmentação de instâncias com YOLO11 para gestão de resíduos plásticos#

Os trabalhadores em instalações de gerenciamento de resíduos e reciclagem podem usar sistemas baseados em segmentação de instâncias do YOLO11 para identificar materiais de resíduos plásticos. O YOLO11 pode ser integrado a sistemas de triagem robótica para identificar com precisão diferentes materiais de resíduos, como papelão e plástico (para serem processados separadamente). Isso é especialmente importante considerando que, dos 7 bilhões de toneladas de resíduos plásticos gerados globalmente, apenas cerca de 10% são reciclados.

Automatizar a identificação e a triagem de resíduos plásticos reduz significativamente o tempo necessário em comparação com os métodos tradicionais, onde os trabalhadores separam os itens à mão. Os modelos de visão computacional podem até segmentar plásticos macios, como filmes e sacolas, que são particularmente desafiadores porque frequentemente se emaranham. Os modelos YOLO11 também podem ser treinados de forma personalizada para segmentar diferentes tipos de plásticos. Vamos aprender mais sobre como podes treinar de forma personalizada um modelo YOLO11 nas seções a seguir.

Fig 4. Identificando resíduos plásticos usando Ultralytics YOLO11.

Segmentação YOLO11 em veículos autônomos#

Outro caso de uso interessante da segmentação de instâncias é em carros autônomos. O YOLO11 permite que carros autônomos melhorem a segurança dos passageiros e de terceiros na estrada, reconhecendo com precisão objetos a nível de pixel. O sistema de câmeras integrado do carro pode capturar imagens do ambiente ao redor e analisá-las usando o YOLO11 e a segmentação de instâncias. Cada objeto (pedestres, semáforos, outros veículos, etc.) dentro da imagem é segmentado e recebe um rótulo. Esse nível de precisão dá aos carros autônomos a capacidade de identificar todos e cada um dos objetos ao seu redor.

Fig 5. Usando o YOLO11 e a segmentação de instâncias para identificar veículos e pedestres na estrada.

Experimentando a segmentação de instâncias com o modelo YOLO11#

Agora que exploramos a segmentação de instâncias e discutimos algumas de suas aplicações, vamos ver como você pode experimentá-la usando o modelo Ultralytics YOLO11.

Existem duas maneiras de fazer isso: você pode usar o pacote Python da Ultralytics ou o Ultralytics HUB. Exploraremos ambos, começando pelo pacote Python.

Executando inferências usando YOLO11#

Executar uma inferência envolve usar o modelo para analisar dados novos e nunca vistos antes. Para executar uma inferência usando o modelo de segmentação de instâncias do YOLO11 por meio de código, precisamos instalar o pacote Python da Ultralytics usando pip, conda ou docker. Caso encontres algum problema durante a instalação, podes consultar o nosso Guia de Problemas Comuns para obter assistência na solução de problemas. Assim que o pacote estiver instalado, podes executar o código abaixo para carregar o modelo de segmentação de instâncias do YOLO11 e executar previsões em uma imagem.

Fig 6. Executando uma inferência em uma imagem usando o YOLO11n-seg.

Treinando um modelo YOLO11 personalizado#

Com a mesma configuração de código, também podes treinar um modelo YOLO11 personalizado. Ao ajustar finamente um modelo YOLO11, podes criar uma versão personalizada do modelo que atenda melhor aos requisitos do teu projeto específico. Por exemplo, os varejistas podem usar um modelo personalizado para segmentar com precisão as características físicas de um cliente para recomendar roupas que caibam corretamente. O trecho de código abaixo mostra como carregar e treinar um modelo YOLO11 para segmentação de instâncias. Podes começar a partir de uma configuração YAML ou de um modelo pré-treinado, transferir pesos e treinar em um conjunto de dados como o COCO para obter uma segmentação eficaz.

Uma vez concluído, podes realizar inferências usando o modelo personalizado para as tuas aplicações específicas. Usando a opção de exportação, também podes exportar o teu modelo personalizado para um formato diferente.

Segmentação de instâncias YOLO11 no Ultralytics HUB#

Agora que exploramos a execução de inferências e o treinamento personalizado de um modelo de segmentação de instâncias do YOLO11 por meio de código, vamos ver uma alternativa sem código: o Ultralytics HUB. O Ultralytics HUB é uma plataforma intuitiva de IA de visão que simplifica o processo de treinamento e implantação de modelos YOLO, incluindo os modelos de segmentação de instâncias do YOLO11.

Para executar inferências em imagens, tudo o que você precisa fazer é: criar uma conta, ir para a seção 'Modelos' e selecionar a variante do modelo de segmentação de instâncias YOLO11 de sua escolha. Você pode carregar uma imagem e visualizar os resultados da previsão na seção de visualização, conforme mostrado abaixo.

Fig 7. Executando inferências no Ultralytics HUB.

Principais pontos#

O YOLO11 oferece recursos de segmentação de instâncias confiáveis que abrem um mundo de possibilidades em vários setores. Desde aumentar a segurança em veículos autônomos e monitorar a queima de gás no setor de petróleo e gás até automatizar a triagem de resíduos em instalações de reciclagem, a precisão em nível de pixel do YOLO11 o torna ideal para tarefas de segmentação complexas.

Com opções para treinamento personalizado através do pacote Python da Ultralytics e uma configuração sem código via Ultralytics HUB, os usuários podem integrar o YOLO11 perfeitamente em seus fluxos de trabalho. Seja para aplicações industriais, saúde, varejo ou monitoramento ambiental, o YOLO11 traz flexibilidade e precisão para atender às diversas necessidades de segmentação.

Para explorar mais, visita o nosso repositório do GitHub e envolve-te com a nossa comunidade. Explora aplicações de IA em carros autônomos e agricultura nas nossas páginas de soluções. 🚀