Um guia para anotação de polígono com a Ultralytics Platform

Tecnologias de IA de ponta estão ganhando espaço em uma ampla gama de setores, desde direção autônoma até agricultura de precisão. Por exemplo, produtores de leite estão usando IA e análise de imagem para detectar doenças em gado. Problemas de saúde como a manqueira podem ser monitorados observando alterações na marcha e na postura do animal, como um dorso arqueado e movimento assimétrico.

Fig 1. Um exemplo de monitoramento de vacas usando IA e análise de imagem.

Visão computacional, um ramo da inteligência artificial, possibilita essas aplicações ao permitir que máquinas interpretem e analisem dados visuais. Especificamente, segmentação de instâncias é uma tarefa de visão computacional que identifica e segmenta cada objeto em uma imagem no nível de pixel, tornando possível detectar e analisar precisamente animais individuais.

A anotação de polígonos desempenha um papel fundamental neste processo. É um método de anotação de dados usado para traçar cuidadosamente a forma exata de um objeto em uma imagem ao posicionar pontos ao longo de suas bordas. Ao contrário de simples anotações de caixas delimitadoras, esta abordagem segue o contorno real do objeto, ajudando a criar dados de treinamento mais precisos e permitindo que modelos de IA de visão compreendam melhor os limites dos objetos.

Hoje em dia, existem muitas ferramentas disponíveis para criar anotações de polígonos. No entanto, essas opções muitas vezes podem parecer fragmentadas, especialmente quando oferecem suporte inconsistente ou limitado para diferentes tipos de anotações, tornando mais difícil gerenciar diversas necessidades de rotulagem dentro de um único fluxo de trabalho.

Ultralytics Platform, nosso novo espaço de trabalho de ponta a ponta para IA de visão que preenche a lacuna entre gerenciamento de conjuntos de dados, anotação, treinamento, implantação e monitoramento, resolve isso ao oferecer suporte a vários tipos de anotação e fluxos de trabalho assistidos por IA em um único espaço de trabalho contínuo, simplificando todo o processo de anotação.

Neste artigo, exploraremos o que são as anotações de polígonos e como criá-las usando a Ultralytics Platform. Vamos começar!

Link to this sectionUm olhar mais atento sobre a anotação de polígonos#

Antes de mergulharmos na Ultralytics Platform e em seus recursos de anotação de polígonos, vamos dar um passo atrás e entender o que é a anotação de polígonos.

Anotação de imagem é o processo de adicionar rótulos a dados visuais para que os modelos de IA possam entender o que estão vendo. Normalmente, envolve identificar objetos em uma imagem e marcá-los de uma maneira que um modelo possa aprender.

Um dos métodos mais comuns é desenhar caixas retangulares ao redor dos objetos, conhecidas como caixas delimitadoras (bounding boxes). No entanto, as caixas delimitadoras fornecem apenas um contorno aproximado de um objeto. A anotação de polígonos é uma abordagem mais precisa.

Ela funciona delineando um objeto (suas bordas) ponto por ponto, em vez de envolvê-lo em uma caixa. Para fazer isso, os anotadores colocam vários vértices (pontos) ao longo das bordas de um objeto, traçando seu contorno até que toda a forma esteja coberta.

Esses pontos conectados formam um polígono que reflete o contorno natural do objeto. Como a forma segue de perto o limite do objeto, a anotação captura detalhes que métodos de rotulagem tradicionais muitas vezes perdem. Isso é especialmente útil quando os objetos têm formas irregulares ou bordas complexas, como folhas, silhuetas humanas e objetos sobrepostos.

Essa precisão nos dados ajuda os modelos de aprendizado de máquina a aprender de forma mais eficaz durante o treinamento do modelo. Quando as anotações capturam com precisão os limites reais de um objeto, os modelos podem entender melhor os padrões do objeto no nível de pixel. Isso leva a um melhor desempenho do modelo, especialmente em tarefas de segmentação que exigem alta precisão.

Link to this sectionO papel das anotações de polígonos nos fluxos de trabalho de visão computacional#

Então, como as anotações de polígonos são realmente usadas? Elas estão intimamente ligadas a modelos de IA de visão que suportam tarefas de segmentação de imagem, como a segmentação de instâncias.

Em muitas aplicações de visão computacional, é essencial saber a área exata que cada objeto ocupa em uma imagem ou quadro de vídeo. Um bom exemplo é a detecção de peças de carros na manufatura. Nesse caso, os modelos precisam identificar e delinear precisamente peças como portas, janelas e faróis, mesmo quando estão sobrepostas ou possuem formas complexas.

É aqui que entra a segmentação de instâncias. Ela permite que os modelos detectem cada objeto e mapeiem seus limites exatos no nível de pixel. Isso é diferente da detecção de objetos básica, que usa caixas delimitadoras.

Fig 2. A segmentação de instâncias também pode ajudar a distinguir peças danificadas de um carro. (Fonte)

As caixas delimitadoras fornecem apenas regiões retangulares aproximadas ao redor dos objetos e muitas vezes incluem fundo extra, tornando mais difícil capturar formas irregulares ou separar itens sobrepostos.

A anotação de polígonos desempenha um papel vital ao permitir esse nível de precisão. Traçar a forma exata de cada objeto nas imagens do conjunto de dados cria dados de treinamento de alta qualidade que refletem os limites reais do objeto. Essas anotações detalhadas ajudam modelos, como o Ultralytics YOLO26, a entender melhor a estrutura de cada componente, resultando em resultados de segmentação mais precisos.

Link to this sectionLimitações das ferramentas tradicionais de anotação de imagem#

A seguir, vamos analisar as limitações das ferramentas de anotação tradicionais para entender a necessidade de soluções mais eficientes e escaláveis como a Ultralytics Platform.

Aqui estão alguns desafios comuns que os anotadores enfrentam ao usar ferramentas tradicionais de anotação de polígonos:

• Suporte limitado para tipos de anotação: Algumas ferramentas focam em uma única técnica de anotação, dificultando o trabalho com diferentes tipos, como polígonos, caixas delimitadoras e pontos-chave, em um só lugar.
• Manuseio ineficiente de anotações complexas: As ferramentas podem carecer de recursos que facilitem a anotação precisa de objetos complexos com detalhes finos.
• Falta de recursos assistidos por IA: Muitas ferramentas dependem inteiramente do trabalho manual, sem suporte de IA integrado para acelerar a anotação.
• Gerenciamento de conjunto de dados fragmentado: Gerenciar conjuntos de dados, versões e anotações pode ser difícil, especialmente quando as ferramentas não fornecem um espaço de trabalho centralizado.

A Ultralytics Platform aborda essas preocupações com recursos de anotação assistidos por IA, impulsionados pelos Segment Anything Models (SAM) e modelos YOLO. O SAM permite que os usuários gerem máscaras de segmentação de alta qualidade a partir de entradas simples como cliques, que podem então ser refinadas em anotações de polígonos precisas.

Da mesma forma, a anotação inteligente baseada em YOLO usa modelos YOLO pré-treinados ou treinados sob medida para realizar inferência em uma imagem e adicionar previsões, como caixas delimitadoras, máscaras de segmentação ou caixas delimitadoras orientadas, como anotações, que podem então ser revisadas e ajustadas conforme necessário. Juntas, essas capacidades tornam o processo de anotação mais rápido, mais consistente e mais fácil de escalar.

Link to this sectionDiferentes tipos de anotações suportadas pela Ultralytics Platform#

A Ultralytics Platform inclui um editor de anotação integrado que permite aos usuários anotar imagens diretamente no espaço de trabalho. Isso facilita a criação e o gerenciamento de conjuntos de dados sem depender de ferramentas de rotulagem de dados separadas e muitas vezes demoradas.

Além das anotações de polígonos, a Ultralytics Platform suporta vários outros tipos de anotação. Aqui está uma visão geral rápida:

• Caixas delimitadoras (Bounding boxes): Os anotadores podem desenhar caixas retangulares simples ao redor dos objetos, tornando fácil rotulá-los e detectá-los em uma imagem.
• Pontos-chave (Keypoints): Este método é usado para marcar pontos específicos, como articulações do corpo ou pontos de referência, para tarefas como estimativa de pose.
• Caixas delimitadoras orientadas (OBBs): Estas permitem que os usuários capturem objetos girados ou angulados com mais precisão em comparação com as caixas delimitadoras padrão.
• Rótulos de classificação: Para tarefas mais simples, os usuários podem atribuir rótulos a imagens inteiras em vez de marcar objetos individuais.

Link to this sectionAnotando objetos com polígonos na Ultralytics Platform#

Agora, vamos ver como criar anotações de polígonos na Ultralytics Platform, manualmente ou com ferramentas assistidas por IA.

Link to this sectionCriando manualmente anotações de polígonos na Ultralytics Platform#

Aqui está um guia rápido passo a passo para criar anotações de polígonos manualmente:

• Passo 1 - Navegue até seu conjunto de dados: Abra o conjunto de dados que contém as imagens que você deseja anotar. É aqui que suas imagens e anotações são armazenadas e gerenciadas.
• Passo 2 - Abra uma imagem: Clique em uma imagem para abri-la na interface de anotação. O fluxo de trabalho de anotação depende da tarefa do conjunto de dados. Por exemplo, em um conjunto de dados de segmentação de instâncias, as anotações são criadas usando máscaras de polígono.
• Passo 3 – Comece a criar uma máscara: Clique na imagem para começar a anotar. Cada clique adiciona um vértice ao longo do limite do objeto.
• Passo 4 – Trace o contorno do objeto: Continue clicando ao redor das bordas do objeto para definir sua forma.
• Passo 5 – Complete o polígono: Você pode pressionar "Enter" ou clicar no primeiro ponto para completar o polígono e atribuir um rótulo de classe.
• Passo 6 – Adicione anotações adicionais: Repita o processo para criar mais polígonos para outros objetos na imagem.
• Passo 7 – Salvando anotações: As anotações são salvas automaticamente conforme você as cria.

Fig 3. Uma olhada na criação manual de anotações de polígonos usando a Ultralytics Platform (Fonte)

Link to this sectionAnotação de polígono inteligente na Ultralytics Platform#

A seguir, vamos analisar os recursos de rotulagem assistidos por IA suportados pela Ultralytics Platform que aceleram o processo de anotação.

A plataforma oferece duas abordagens para anotação inteligente: uma impulsionada pelos Segment Anything Models para geração interativa de anotação baseada em clique, e outra impulsionada pelos modelos YOLO para adicionar previsões de modelo diretamente como anotações. Ambas as abordagens podem ser usadas para anotação de polígono inteligente.

Link to this sectionAnotação inteligente usando SAM na Ultralytics Platform#

A anotação assistida por SAM na Ultralytics Platform simplifica a rotulagem manual ao usar o Segment Anything Model (SAM) para gerar máscaras de segmentação com o mínimo de entrada. Em vez de traçar objetos ponto por ponto, os usuários podem interagir com a imagem usando prompts simples como cliques para indicar o que deve ser incluído ou excluído.

A plataforma suporta vários modelos SAM, incluindo SAM 2.1 e SAM 3, permitindo que os usuários escolham entre desempenho mais rápido ou maior precisão, dependendo de suas necessidades. Com base na entrada do usuário, o SAM gera máscaras em nível de pixel em tempo real. Essas máscaras podem então ser refinadas e usadas como anotações de polígono, tornando o processo mais rápido, consistente e fácil de escalar.

Aqui estão os passos para usar o SAM para anotação de polígono na Ultralytics Platform:

• Passo 1 – Abra uma imagem: Navegue até seu conjunto de dados e clique em uma imagem para abrir o visualizador em tela cheia.
• Passo 2 – Entre no modo de anotação: Clique em "Editar", então mude para o modo Inteligente (ou pressione S) para habilitar o SAM.
• Passo 3 – Selecione um modelo SAM: Escolha um modelo SAM na barra de ferramentas com base em suas necessidades de velocidade e precisão.
• Passo 4 – Forneça prompts: Clique com o botão esquerdo para adicionar pontos positivos (incluir áreas) e com o botão direito para adicionar pontos negativos (excluir áreas).
• Passo 5 – Gere e aplique a máscara: O SAM prevê uma máscara de segmentação em tempo real. Pressione "Enter" (ou use a aplicação automática) para aplicar a anotação.
• Passo 6 – Refine a anotação: Adicione mais pontos ou ajuste o resultado, se necessário, para melhorar a precisão antes de salvar.

Fig 4. Anotação de polígono assistida por SAM na Ultralytics Platform (Fonte)

Link to this sectionAnotação inteligente usando YOLO na Ultralytics Platform#

A anotação inteligente baseada em YOLO na Ultralytics Platform acelera a rotulagem usando modelos Ultralytics YOLO pré-treinados ou modelos YOLO ajustados para gerar previsões em uma imagem e adicioná-las como anotações. Essas previsões podem incluir caixas delimitadoras, máscaras de segmentação ou caixas delimitadoras orientadas, dependendo da tarefa do conjunto de dados.

Os usuários podem então revisar e refinar essas anotações conforme necessário. Aqui está uma visão geral dos passos envolvidos no uso da anotação inteligente baseada em YOLO na Ultralytics Platform:

• Passo 1 – Abra uma imagem: Navegue até seu conjunto de dados e selecione uma imagem para abri-la no visualizador em tela cheia.
• Passo 2 – Entre no modo de anotação: Clique em "Editar", depois mude para o modo Inteligente (ou pressione S).
• Passo 3 – Selecione um modelo YOLO: Escolha um modelo YOLO no seletor de modelos na barra de ferramentas.
• Passo 4 – Execute a predição: Clique em "Prever" para permitir que o modelo gere anotações automaticamente.
• Passo 5 – Revise as anotações: Inspecione as caixas delimitadoras, máscaras de segmentação ou OBBs previstas que foram adicionadas à imagem.
• Passo 6 – Refine e salve: Edite, ajuste ou remova anotações incorretas conforme necessário, depois salve seus rótulos finais.

Fig 5. Um vislumbre do uso da anotação inteligente YOLO (Fonte)

Link to this sectionCasos de uso reais da anotação de polígonos#

A anotação de polígonos está causando um impacto real em todos os setores, desde o controle de qualidade na manufatura até a agricultura e a saúde. Vamos explorar algumas aplicações principais do mundo real.

Link to this sectionIdentificação de detecção de pragas usando visão computacional#

Na agricultura, monitorar a saúde das culturas é fundamental para melhorar o rendimento e reduzir perdas. Detectar áreas infectadas por pragas nas folhas das culturas pode ser complicado, já que essas regiões geralmente têm formas irregulares e limites pouco claros.

Este tipo de problema pode ser abordado usando técnicas de segmentação de imagem, como a segmentação semântica, que rotula todos os pixels pertencentes a uma classe (como áreas infectadas), ou a segmentação de instâncias, que separa os contornos do objeto com mais precisão.

Com a Ultralytics Platform, os usuários podem usar a anotação de polígono para traçar a forma exata dessas áreas infectadas. Isso ajuda a criar conjuntos de dados mais precisos e torna mais fácil para os algoritmos de IA de visão identificar padrões sutis em ambientes agrícolas.

Como resultado, as equipes podem construir melhores dados de treinamento que ajudam os modelos a identificar exatamente onde as infestações de pragas estão presentes. Isso é mais eficaz do que usar caixas delimitadoras, que podem incluir partes da folha que não foram afetadas.

Link to this sectionAnálise de imagem médica impulsionada por segmentação de instâncias#

Semelhante à detecção de pragas na agricultura, até mesmo pequenas diferenças nos limites podem afetar como doenças como o câncer são analisadas em imagens médicas. Isso é especialmente crucial ao identificar anomalias de saúde, como tumores em tomografias computadorizadas.

Os métodos de anotação tradicionais podem perder bordas finas ou incluir tecido circundante, o que pode reduzir a precisão. Com a Ultralytics Platform, as equipes podem usar a anotação de polígono para traçar precisamente essas regiões nos dados de treinamento, ajudando os modelos a produzir uma segmentação de tumor mais precisa e confiável.

Link to this sectionPrincipais conclusões#

A anotação de polígonos é fundamental quando os modelos precisam entender formas de objetos em imagens com alta precisão. Ela ajuda a representar formas complexas com mais exatidão, especialmente ao usar a Ultralytics Platform. Ao combinar precisão com ferramentas poderosas, as equipes podem construir modelos de IA mais confiáveis e de alto desempenho.

Pronto para trazer IA de visão para seus projetos? Junte-se à nossa comunidade e descubra IA na indústria automotiva e IA de visão em robótica. Explore nosso repositório GitHub para saber mais. Confira nossas opções de licenciamento para começar hoje mesmo!