Como usar o Ultralytics YOLO11 para segmentação de instâncias

Visão computacional, um campo dentro da inteligência artificial (IA) que ajuda máquinas a interpretar e compreender informações visuais, possibilita tarefas como a segmentação de instâncias. A segmentação de instâncias pode ser usada para analisar uma imagem ou quadro de vídeo para marcar os limites exatos de cada objeto distinto na imagem, mesmo quando múltiplos objetos do mesmo tipo estão presentes. Com seu alto nível de precisão, a segmentação de instâncias tem uma ampla gama de aplicações, desde ajudar carros autônomos a detectar obstáculos na estrada até identificar tumores em exames médicos.

Ao longo dos anos, a segmentação de instâncias evoluiu significativamente. Um desenvolvimento recente foi apresentado durante o evento híbrido anual da Ultralytics, o YOLO Vision 2024 (YV24), na forma do modelo Ultralytics YOLO11. O novo modelo suporta as mesmas tarefas de visão computacional (incluindo segmentação de instâncias) que o modelo Ultralytics YOLOv8, portanto, usuários familiarizados com versões anteriores podem adotar o novo modelo perfeitamente.

Fig 1. Um exemplo do uso do modelo Ultralytics YOLO11 para segmentação de instâncias.

Neste artigo, exploraremos a segmentação de instâncias e como ela difere de outras tarefas de visão computacional, como a segmentação semântica, além de discutir algumas de suas aplicações. Também mostraremos como você pode usar o modelo de segmentação de instâncias YOLO11 usando o pacote Python da Ultralytics e a plataforma Ultralytics HUB. Vamos começar!

Link to this sectionO que é segmentação de instâncias?#

A segmentação de instâncias pode ser usada para identificar objetos em uma imagem e contorná-los no nível do pixel. O processo geralmente envolve primeiro a detecção de objetos e o desenho de caixas delimitadoras ao redor deles. Em seguida, um algoritmo de segmentação classifica cada pixel dentro da caixa delimitadora para criar uma máscara precisa para cada objeto.

A segmentação de instâncias também é diferente de tarefas como segmentação semântica e segmentação panóptica. A segmentação semântica rotula cada pixel com base na categoria geral de um objeto, sem distinguir instâncias individuais. A segmentação panóptica, por outro lado, combina a segmentação de instâncias e semântica ao rotular cada pixel tanto com uma classe quanto com um ID de instância, identificando objetos individuais dentro de cada categoria.

Fig 2. Usando o YOLO11 para detectar e segmentar uma pessoa e um cachorro.

Os recursos da segmentação de instâncias podem ser aplicados em vários cenários que podem exigir diferentes modelos. Por exemplo, um modelo leve pode ser ideal para processamento em tempo real em aplicações móveis, enquanto um modelo mais complexo pode ser usado para tarefas de alta precisão, como controle de qualidade na fabricação.

Como modelos anteriores, o modelo de segmentação de instâncias YOLO11 também vem com várias variações, dependendo das suas necessidades. Essas variações incluem YOLO11n-seg (Nano), YOLO11s-seg (Small), YOLO11m-seg (Medium), YOLO11l-seg (Large) e YOLO11x-seg (Extra Large). Esses modelos variam em termos de tamanho, velocidade de processamento, precisão e quantidade de poder computacional que exigem. Com base nos seus requisitos específicos, você pode escolher o modelo que melhor se adapta à sua aplicação.

Link to this sectionAplicações de segmentação de instâncias para o YOLO11#

Os recursos avançados de segmentação de instâncias do YOLO11 abrem uma gama de aplicações em diversos setores. Vamos dar uma olhada mais de perto em algumas dessas aplicações.

Link to this sectionUsando a segmentação YOLO11 na indústria de petróleo e gás#

A extração de petróleo e gás envolve o gerenciamento de flutuações de pressão extremamente altas. Técnicas como a queima de gás ajudam a queimar o gás natural produzido durante a extração de petróleo. Isso é necessário por razões de segurança. Por exemplo, na extração de petróleo bruto, um pico de pressão repentino ou significativo pode levar a uma explosão. Embora incomuns, acidentes industriais no setor de manufatura de petróleo e gás podem resultar em incêndios intensos que são difíceis de conter e controlar. A queima de gás ajuda os operadores a despressurizar equipamentos com segurança e gerenciar flutuações de pressão imprevisíveis e grandes queimando o excesso de gás.

Sistemas de IA podem melhorar este processo de monitorização, e o risco de acidentes pode ser reduzido utilizando um sistema de monitorização de queima de gases baseado em segmentação de instâncias. Monitorizar a queima de gases também é importante por razões ambientais, uma vez que o excesso de queima pode impactar negativamente o ambiente.

Os modelos de segmentação de instâncias do Ultralytics YOLO11 podem ser usados para monitorar a quantidade de fogo e fumaça causados pela queima. A área de pixels da queima e fumaça detectadas e segmentadas pode ser calculada. Usando essas informações, os operadores podem obter insights em tempo real sobre a queima e a fumaça causadas pela queima, ajudando-os a evitar acidentes e impactos ambientais negativos.

Fig 3. Um exemplo de monitoramento de queima usando YOLO11 na manufatura de petróleo e gás.

Link to this sectionSegmentação de instâncias com YOLO11 para gestão de resíduos plásticos#

Trabalhadores em instalações de gestão de resíduos e reciclagem podem usar sistemas baseados em segmentação de instâncias YOLO11 para identificar resíduos plásticos. O YOLO11 pode ser integrado a sistemas de triagem robótica para identificar com precisão diferentes materiais de resíduos, como papelão e plástico (para serem processados separadamente). É especialmente importante, considerando que das 7 bilhões de toneladas de resíduos plásticos geradas globalmente, apenas cerca de 10% são recicladas.

Automatizar a identificação e a triagem de resíduos plásticos reduz significativamente o tempo necessário em comparação com métodos tradicionais, onde os trabalhadores separam os itens manualmente. Modelos de visão computacional podem até segmentar plásticos macios, como embalagens e sacolas, que são particularmente desafiadores porque muitas vezes se emaranham. Os modelos YOLO11 também podem ser treinados de forma personalizada para segmentar diferentes tipos de plásticos. Aprenderemos mais sobre como você pode treinar de forma personalizada um modelo YOLO11 nas seções a seguir.

Fig 4. Identificando resíduos plásticos usando Ultralytics YOLO11.

Link to this sectionSegmentação YOLO11 em veículos autônomos#

Outro caso de uso interessante da segmentação de instâncias é em carros autónomos. O YOLO11 permite que carros de condução autónoma melhorem a segurança dos passageiros e a segurança dos outros na estrada, reconhecendo objetos com precisão ao nível do pixel. O sistema de câmaras de bordo do carro pode capturar imagens do ambiente envolvente e analisá-las utilizando o YOLO11 e a segmentação de instâncias. Cada objeto (peões, semáforos, outros veículos, etc.) dentro da imagem é segmentado e recebe uma etiqueta. Este nível de precisão dá aos carros autónomos a capacidade de identificar todos e cada um dos objetos à sua volta.

Fig 5. Usando o YOLO11 e a segmentação de instâncias para identificar veículos e pedestres na estrada.

Link to this sectionExperimentando a segmentação de instâncias com o modelo YOLO11#

Agora que exploramos a segmentação de instâncias e discutimos algumas de suas aplicações, vamos ver como você pode experimentá-la usando o modelo Ultralytics YOLO11.

Existem duas maneiras de fazer isso: você pode usar o pacote Python da Ultralytics ou o Ultralytics HUB. Exploraremos ambos, começando pelo pacote Python.

Link to this sectionExecutando inferências usando YOLO11#

Executar uma inferência envolve o uso do modelo para analisar dados novos e nunca vistos antes. Para executar uma inferência usando o modelo de segmentação de instâncias YOLO11 por código, precisamos instalar o pacote Python da Ultralytics usando pip, conda ou docker. Caso você tenha problemas durante a instalação, pode consultar nosso Guia de Problemas Comuns para obter assistência com a solução de problemas. Uma vez que o pacote esteja instalado, você pode executar o código mostrado abaixo para carregar o modelo de segmentação de instâncias YOLO11 e realizar previsões em uma imagem.

Fig 6. Executando uma inferência em uma imagem usando o YOLO11n-seg.

Link to this sectionTreinando um modelo YOLO11 personalizado#

Com a mesma configuração de código, você também pode treinar um modelo YOLO11 personalizado. Ao fazer o ajuste fino de um modelo YOLO11, você pode criar uma versão personalizada do modelo que atenda melhor aos seus requisitos específicos do projeto. Por exemplo, varejistas podem usar um modelo personalizado para segmentar com precisão as características físicas de um cliente para recomendar roupas que sirvam corretamente. O trecho de código abaixo mostra como carregar e treinar um modelo YOLO11 para segmentação de instâncias. Você pode começar a partir de uma configuração YAML ou de um modelo pré-treinado, transferir pesos e treinar em um conjunto de dados como o COCO para obter uma segmentação eficaz.

Uma vez concluído, você pode realizar inferências usando o modelo personalizado para suas aplicações específicas. Usando a opção de exportação, você também pode exportar seu modelo personalizado para um formato diferente.

Link to this sectionSegmentação de instâncias YOLO11 no Ultralytics HUB#

Agora que exploramos a execução de inferências e o treinamento personalizado de um modelo de segmentação de instâncias YOLO11 via código, vamos dar uma olhada em uma alternativa sem código: Ultralytics HUB. O Ultralytics HUB é uma plataforma intuitiva de visão computacional por IA que simplifica o processo de treinamento e implantação de modelos YOLO, incluindo os modelos de segmentação de instâncias YOLO11.

Para executar inferências em imagens, tudo o que você precisa fazer é: criar uma conta, ir para a seção 'Modelos' e selecionar a variante do modelo de segmentação de instâncias YOLO11 de sua escolha. Você pode carregar uma imagem e visualizar os resultados da previsão na seção de visualização, conforme mostrado abaixo.

Fig 7. Executando inferências no Ultralytics HUB.

Link to this sectionPrincipais pontos#

O YOLO11 oferece recursos de segmentação de instâncias confiáveis que abrem um mundo de possibilidades em vários setores. Desde aumentar a segurança em veículos autônomos e monitorar a queima de gás no setor de petróleo e gás até automatizar a triagem de resíduos em instalações de reciclagem, a precisão em nível de pixel do YOLO11 o torna ideal para tarefas de segmentação complexas.

Com opções para treinamento personalizado através do pacote Python da Ultralytics e uma configuração sem código via Ultralytics HUB, os usuários podem integrar o YOLO11 perfeitamente em seus fluxos de trabalho. Seja para aplicações industriais, saúde, varejo ou monitoramento ambiental, o YOLO11 traz flexibilidade e precisão para atender às diversas necessidades de segmentação.

Para explorar mais, visite nosso repositório GitHub e interaja com nossa comunidade. Explore aplicações de IA em carros autônomos e agricultura em nossas páginas de soluções. 🚀