Um guia de anotação de polígonos com a Ultralytics Platform

Tecnologias de IA de ponta estão chegando a diversos setores, da condução autônoma à agricultura de precisão. Por exemplo, produtores de leite estão usando IA e análise de imagens para detectar doenças em bovinos. Problemas de saúde, como a claudicação, podem ser monitorados observando mudanças na marcha e na postura do animal, como o dorso arqueado e movimentos assimétricos.

Fig. 1. Exemplo de monitoramento de vacas com IA e análise de imagens.

A visão computacional, um ramo da inteligência artificial, viabiliza essas aplicações ao permitir que as máquinas interpretem e analisem dados visuais. Especificamente, a segmentação de instâncias é uma tarefa de visão computacional que identifica e segmenta cada objeto de uma imagem no nível dos pixels, permitindo detectar e analisar animais individualmente com precisão.

A anotação por polígonos desempenha um papel fundamental nesse processo. Esse método de anotação de dados consiste em traçar cuidadosamente o formato exato de um objeto em uma imagem, posicionando pontos ao longo de suas bordas. Ao contrário das anotações simples com caixas delimitadoras, essa abordagem acompanha o contorno real do objeto, ajudando a criar dados de treinamento mais precisos e permitindo que os modelos de IA visual entendam melhor os limites dos objetos.

Hoje em dia, há muitas ferramentas disponíveis para criar anotações por polígonos. No entanto, essas opções costumam parecer fragmentadas, especialmente quando oferecem suporte limitado ou inconsistente a diferentes tipos de anotação, dificultando o gerenciamento de diversas necessidades de rotulagem em um único fluxo de trabalho.

A Ultralytics Platform, nosso novo espaço de trabalho de IA visual de ponta a ponta, que conecta o gerenciamento de conjuntos de dados, a anotação, o treinamento, a implantação e o monitoramento, resolve esse problema ao oferecer suporte a vários tipos de anotação e fluxos de trabalho assistidos por IA em um único ambiente integrado, simplificando todo o processo de anotação.

Neste artigo, vamos explorar o que são as anotações por polígonos e como criá-las usando a Ultralytics Platform. Vamos começar!

Um olhar mais atento à anotação por polígonos#

Antes de conhecer a Ultralytics Platform e seus recursos de anotação por polígonos, vamos entender melhor o que é a anotação por polígonos.

A anotação de imagens é o processo de adicionar rótulos a dados visuais para que os modelos de IA entendam o que estão vendo. Em geral, isso envolve identificar objetos em uma imagem e marcá-los de uma forma que permita ao modelo aprender com eles.

Um dos métodos mais comuns é desenhar retângulos ao redor dos objetos, conhecidos como caixas delimitadoras. No entanto, as caixas delimitadoras fornecem apenas um contorno aproximado do objeto. A anotação por polígonos é uma abordagem mais precisa.

Ela funciona contornando um objeto, isto é, suas bordas, ponto por ponto, em vez de envolvê-lo em uma caixa. Para isso, os anotadores posicionam vários vértices (pontos) ao longo das bordas do objeto, traçando seu contorno até cobrir todo o formato.

Esses pontos conectados formam um polígono que reproduz o contorno natural do objeto. Como o formato acompanha de perto os limites do objeto, a anotação captura detalhes que os métodos tradicionais de rotulagem muitas vezes não detectam. Isso é especialmente útil para objetos com formas irregulares ou bordas complexas, como folhas, silhuetas humanas e objetos sobrepostos.

Essa precisão dos dados ajuda os modelos de aprendizado de máquina a aprender com mais eficácia durante o treinamento. Quando as anotações capturam com precisão os limites reais de um objeto, os modelos conseguem entender melhor os padrões do objeto no nível dos pixels. Isso melhora o desempenho do modelo, especialmente em tarefas de segmentação que exigem alta precisão.

O papel das anotações por polígonos nos fluxos de trabalho de visão computacional#

Então, como as anotações por polígonos são usadas na prática? Elas estão intimamente ligadas aos modelos de IA visual que oferecem suporte a tarefas de segmentação de imagens, como a segmentação de instâncias.

Em muitas aplicações de visão computacional, é essencial saber exatamente qual área cada objeto ocupa em uma imagem ou quadro de vídeo. Um bom exemplo é a detecção de peças automotivas na fabricação. Nesse caso, os modelos precisam identificar e delimitar com precisão peças como portas, janelas e faróis, mesmo quando elas se sobrepõem ou têm formatos complexos.

É aí que entra a segmentação de instâncias. Ela permite que os modelos detectem cada objeto e mapeiem seus limites exatos no nível dos pixels. Isso é diferente da detecção de objetos básica, que usa caixas delimitadoras.

Fig. 2. A segmentação de instâncias também pode ajudar a distinguir peças danificadas de um carro. (Fonte)

As caixas delimitadoras fornecem apenas regiões retangulares aproximadas ao redor dos objetos e muitas vezes incluem áreas extras do fundo, dificultando a captura de formas irregulares ou a separação de itens sobrepostos.

A anotação por polígonos é essencial para alcançar esse nível de precisão. Traçar o formato exato de cada objeto nas imagens do conjunto de dados cria dados de treinamento de alta qualidade que refletem os limites reais dos objetos. Essas anotações detalhadas ajudam modelos como o Ultralytics YOLO26 a entender melhor a estrutura de cada componente, levando a resultados de segmentação mais precisos.

Limitações das ferramentas tradicionais de anotação de imagens#

Agora, vamos analisar as limitações das ferramentas tradicionais de anotação para entender por que precisamos de soluções mais eficientes e escaláveis, como a Ultralytics Platform.

Veja alguns desafios comuns enfrentados pelos anotadores ao usar ferramentas tradicionais de anotação por polígonos:

• Suporte limitado a tipos de anotação: Algumas ferramentas se concentram em uma única técnica de anotação, dificultando o trabalho com diferentes tipos, como polígonos, caixas delimitadoras e pontos-chave, em um só lugar.
• Tratamento ineficiente de anotações complexas: As ferramentas podem não ter recursos que facilitem a anotação precisa de objetos complexos com detalhes minuciosos.
• Falta de recursos assistidos por IA: Muitas ferramentas dependem inteiramente do trabalho manual, sem suporte integrado de IA para agilizar a anotação.
• Gerenciamento fragmentado de conjuntos de dados: Gerenciar conjuntos de dados, versões e anotações pode ser difícil, especialmente quando as ferramentas não oferecem um espaço de trabalho centralizado.

A Ultralytics Platform responde a essas necessidades com recursos de anotação assistida por IA, baseados tanto nos Modelos Segment Anything (SAM) quanto nos modelos YOLO. O SAM permite que os usuários gerem máscaras de segmentação de alta qualidade a partir de entradas simples, como cliques, que depois podem ser refinadas em anotações precisas por polígonos.

Da mesma forma, a anotação inteligente baseada em YOLO usa modelos YOLO pré-treinados ou treinados sob medida para executar inferência em uma imagem e adicionar previsões como anotações, por exemplo, caixas delimitadoras, máscaras de segmentação ou caixas delimitadoras orientadas, que podem ser revisadas e ajustadas conforme necessário. Em conjunto, esses recursos tornam o processo de anotação mais rápido, consistente e fácil de escalar.

Diferentes tipos de anotação compatíveis com a Ultralytics Platform#

A Ultralytics Platform inclui um editor de anotações integrado que permite aos usuários anotar imagens diretamente no espaço de trabalho. Isso facilita a criação e o gerenciamento de conjuntos de dados sem depender de ferramentas separadas de rotulagem de dados, que muitas vezes consomem muito tempo.

Além das anotações por polígonos, a Ultralytics Platform oferece suporte a vários outros tipos de anotação. Veja um resumo rápido:

• Caixas delimitadoras: Os anotadores podem desenhar caixas retangulares simples à volta dos objetos, facilitando a rotulagem e a deteção dos objetos numa imagem.
• Pontos-chave: Este método é utilizado para marcar pontos específicos, como articulações do corpo ou pontos de referência, em tarefas como a estimativa da pose.
• Caixas delimitadoras orientadas (OBBs): Estas caixas permitem captar objetos rodados ou inclinados com maior precisão do que as caixas delimitadoras padrão.
• Rótulos de classificação: Para tarefas mais simples, os utilizadores podem atribuir rótulos a imagens completas em vez de marcar objetos individuais.

Anotar objetos com polígonos na Ultralytics Platform#

Agora, vamos ver como criar anotações de polígonos na Ultralytics Platform, manualmente ou com ferramentas assistidas por IA.

Criar manualmente anotações de polígonos na Ultralytics Platform#

Segue-se um breve guia passo a passo para criar anotações de polígonos manualmente:

• Passo 1 - Acede ao teu conjunto de dados: Abre o conjunto de dados que contém as imagens que queres anotar. É aqui que as tuas imagens e anotações são armazenadas e geridas.
• Passo 2 - Abre uma imagem: Clica numa imagem para a abrir na interface de anotação. O fluxo de trabalho de anotação depende da tarefa do conjunto de dados. Por exemplo, num conjunto de dados de segmentação de instâncias, as anotações são criadas com máscaras poligonais.
• Passo 3 – Começa a criar uma máscara: Clica na imagem para começar a anotar. Cada clique adiciona um vértice ao longo do contorno do objeto.
• Passo 4 – Traça o contorno do objeto: Continua a clicar à volta das extremidades do objeto para definir a sua forma.
• Passo 5 – Completa o polígono: Podes premir «Enter» ou clicar no primeiro ponto para completar o polígono e atribuir um rótulo de classe.
• Passo 6 – Adiciona mais anotações: Repete o processo para criar mais polígonos para outros objetos na imagem.
• Passo 7 – Guardar as anotações: As anotações são guardadas automaticamente à medida que as crias.

Fig. 3. Exemplo de criação manual de anotações de polígonos com a Ultralytics Platform (Fonte)

Anotação inteligente de polígonos na Ultralytics Platform#

A seguir, vamos analisar as funcionalidades de rotulagem assistida por IA disponibilizadas pela Ultralytics Platform, que aceleram o processo de anotação.

A plataforma oferece duas abordagens para a anotação inteligente: uma baseada nos modelos Segment Anything, para gerar anotações interativas com cliques, e outra baseada em modelos YOLO, para adicionar previsões do modelo diretamente como anotações. Ambas as abordagens podem ser utilizadas para a anotação inteligente de polígonos.

Anotação inteligente com SAM na Ultralytics Platform#

A anotação assistida por SAM na Ultralytics Platform simplifica a rotulagem manual ao utilizar o Modelo Segment Anything (SAM) para gerar máscaras de segmentação com o mínimo de intervenção. Em vez de traçar os objetos ponto a ponto, os utilizadores podem interagir com a imagem através de indicações simples, como cliques, para especificar o que deve ser incluído ou excluído.

A plataforma suporta vários modelos SAM, incluindo SAM 2.1 e SAM 3, permitindo aos utilizadores escolher entre maior velocidade ou maior precisão, conforme as suas necessidades. Com base nos dados fornecidos pelo utilizador, o SAM gera máscaras ao nível do píxel em tempo real. Estas máscaras podem depois ser refinadas e utilizadas como anotações de polígonos, tornando o processo mais rápido, consistente e fácil de escalar.

Seguem-se os passos para utilizar o SAM na anotação de polígonos na Ultralytics Platform:

• Passo 1 – Abre uma imagem: Acede ao teu conjunto de dados e clica numa imagem para abrir o visualizador em ecrã inteiro.
• Passo 2 – Entra no modo de anotação: Clica em «Edit» e, em seguida, muda para o modo Smart (ou prime S) para ativar o SAM.
• Passo 3 – Seleciona um modelo SAM: Escolhe um modelo SAM na barra de ferramentas, de acordo com as tuas necessidades de velocidade e precisão.
• Passo 4 – Fornece indicações: Clica com o botão esquerdo para adicionar pontos positivos (incluir áreas) e com o botão direito para adicionar pontos negativos (excluir áreas).
• Passo 5 – Gera e aplica a máscara: O SAM prevê uma máscara de segmentação em tempo real. Prime «Enter» (ou utiliza a aplicação automática) para aplicar a anotação.
• Passo 6 – Refina a anotação: Se necessário, adiciona mais pontos ou ajusta o resultado para melhorar a precisão antes de guardar.

Fig. 4. Anotação de polígonos assistida por SAM na Ultralytics Platform (Fonte)

Anotação inteligente com YOLO na Ultralytics Platform#

A anotação inteligente baseada em YOLO na Ultralytics Platform acelera a rotulagem ao utilizar modelos Ultralytics YOLO pré-treinados ou modelos YOLO ajustados para gerar previsões numa imagem e adicioná-las como anotações. Estas previsões podem incluir caixas delimitadoras, máscaras de segmentação ou caixas delimitadoras orientadas, conforme a tarefa do conjunto de dados.

Os utilizadores podem depois rever e refinar estas anotações conforme necessário. Segue-se uma visão geral dos passos para utilizar a anotação inteligente baseada em YOLO na Ultralytics Platform:

• Passo 1 – Abre uma imagem: Acede ao teu conjunto de dados e seleciona uma imagem para a abrir no visualizador em ecrã inteiro.
• Passo 2 – Entra no modo de anotação: Clica em «Edit» e, em seguida, muda para o modo Smart (ou prime S).
• Passo 3 – Seleciona um modelo YOLO: Escolhe um modelo YOLO no seletor de modelos da barra de ferramentas.
• Passo 4 – Executa a previsão: Clica em «Predict» para que o modelo gere anotações automaticamente.
• Passo 5 – Revê as anotações: Inspeciona as caixas delimitadoras, as máscaras de segmentação ou as OBBs previstas e adicionadas à imagem.
• Passo 6 – Refina e guarda: Edita, ajusta ou remove as anotações incorretas conforme necessário e, em seguida, guarda os rótulos finais.

Fig. 5. Exemplo de utilização da anotação inteligente com YOLO (Fonte)

Casos de utilização reais da anotação de polígonos#

A anotação de polígonos está a ter um impacto real em vários setores, desde o controlo de qualidade na indústria transformadora até à agricultura e aos cuidados de saúde. Vamos explorar algumas aplicações reais importantes.

Deteção de pragas com visão por computador#

Na agricultura, monitorizar a saúde das culturas é essencial para melhorar a produtividade e reduzir as perdas. Detetar áreas das folhas afetadas por pragas pode ser difícil, uma vez que estas regiões têm frequentemente formas irregulares e limites pouco definidos.

Este tipo de problema pode ser abordado com técnicas de segmentação de imagens, como a segmentação semântica, que rotula todos os píxeis pertencentes a uma classe (como as áreas afetadas), ou a segmentação de instâncias, que separa os contornos dos objetos com maior precisão.

Com a Ultralytics Platform, os utilizadores podem recorrer à anotação de polígonos para traçar a forma exata destas áreas afetadas. Isto ajuda a criar conjuntos de dados mais precisos e facilita a deteção de padrões subtis em ambientes agrícolas pelos algoritmos de IA de visão.

Assim, as equipas podem criar melhores dados de treino para ajudar os modelos a identificar exatamente onde existem infestações de pragas. Esta abordagem é mais eficaz do que utilizar caixas delimitadoras, que podem incluir partes da folha que não foram afetadas.

Análise de imagens médicas com segmentação de instâncias#

Tal como na deteção de pragas na agricultura, até pequenas diferenças nos limites podem influenciar a análise de doenças como o cancro em imagens médicas. Isto é especialmente importante para identificar anomalias de saúde, como tumores em tomografias computorizadas.

Os métodos tradicionais de anotação podem não detetar os contornos finos ou incluir o tecido circundante, o que pode reduzir a precisão. Com a Ultralytics Platform, as equipas podem utilizar a anotação de polígonos para traçar estas regiões com precisão nos dados de treino, ajudando os modelos a produzir uma segmentação de tumores mais precisa e fiável.

Principais conclusões#

A anotação de polígonos é essencial quando os modelos precisam de compreender com elevada precisão as formas dos objetos nas imagens. Ajuda a representar formas complexas com maior precisão, especialmente quando se utiliza a Ultralytics Platform. Ao combinar precisão com ferramentas poderosas, as equipas podem criar modelos de IA mais fiáveis e com melhor desempenho.

Queres integrar IA de visão nos teus projetos? Junta-te à nossa comunidade e descobre a IA no setor automóvel e a IA de visão na robótica. Explora o nosso repositório no GitHub para saberes mais. Consulta as nossas opções de licenciamento para começares hoje!