Um guia para a anotação de polígonos com a Ultralytics Platform

As tecnologias de IA de ponta estão chegando a uma ampla variedade de setores, desde a condução autónoma até à agricultura de precisão. Por exemplo, produtores de leite estão a usar IA e análise de imagens para detetar doenças no gado. Problemas de saúde, como a claudicação, podem ser monitorizados através da observação de alterações na marcha e na postura de um animal, como uma coluna arqueada e movimentos assimétricos.

Fig. 1. Um exemplo de monitorização de vacas com IA e análise de imagens.

A visão computacional, um ramo da inteligência artificial, permite estas aplicações ao possibilitar que as máquinas interpretem e analisem dados visuais. Especificamente, a segmentação de instâncias é uma tarefa de visão computacional que identifica e segmenta cada objeto numa imagem ao nível dos píxeis, permitindo detetar e analisar individualmente os animais com precisão.

A anotação de polígonos desempenha um papel fundamental neste processo. É um método de anotação de dados usado para traçar cuidadosamente a forma exata de um objeto numa imagem, colocando pontos ao longo das suas extremidades. Ao contrário das anotações simples com caixas delimitadoras, esta abordagem segue o contorno real do objeto, ajudando a criar dados de treino mais precisos e permitindo que os modelos de IA para visão compreendam melhor os limites dos objetos.

Atualmente, existem muitas ferramentas disponíveis para criar anotações de polígonos. No entanto, estas opções podem parecer fragmentadas, especialmente quando oferecem suporte inconsistente ou limitado para diferentes tipos de anotações, dificultando a gestão de necessidades de rotulagem diversificadas num único fluxo de trabalho.

A Ultralytics Platform, o nosso novo espaço de trabalho completo de IA para visão, que liga a gestão de conjuntos de dados, a anotação, o treino, a implementação e a monitorização, resolve este problema ao suportar vários tipos de anotação e fluxos de trabalho assistidos por IA num único espaço de trabalho integrado, simplificando todo o processo de anotação.

Neste artigo, vamos explorar o que são as anotações de polígonos e como criá-las com a Ultralytics Platform. Vamos começar!

Uma análise mais detalhada da anotação de polígonos#

Antes de explorarmos a Ultralytics Platform e as suas funcionalidades de anotação de polígonos, vamos recuar um pouco e compreender o que é a anotação de polígonos.

A anotação de imagens é o processo de adicionar etiquetas a dados visuais para que os modelos de IA possam compreender o que estão a ver. Normalmente, envolve identificar objetos numa imagem e marcá-los de uma forma que o modelo possa aprender.

Um dos métodos mais comuns consiste em desenhar caixas retangulares à volta dos objetos, conhecidas como caixas delimitadoras. No entanto, as caixas delimitadoras fornecem apenas um contorno aproximado de um objeto. A anotação de polígonos é uma abordagem mais precisa.

Funciona contornando um objeto, ou seja, os seus limites, ponto a ponto, em vez de o envolver numa caixa. Para isso, os anotadores colocam vários vértices, ou pontos, ao longo das extremidades de um objeto, traçando o seu contorno até que toda a forma esteja coberta.

Estes pontos ligados formam um polígono que reproduz o contorno natural do objeto. Como a forma segue de perto o limite do objeto, a anotação capta detalhes que os métodos tradicionais de rotulagem muitas vezes não conseguem captar. Isto é especialmente útil quando os objetos têm formas irregulares ou extremidades complexas, como folhas, silhuetas humanas e objetos sobrepostos.

Esta precisão dos dados ajuda os modelos de machine learning a aprender de forma mais eficaz durante o treino. Quando as anotações captam com precisão os limites reais de um objeto, os modelos conseguem compreender melhor os padrões do objeto ao nível dos píxeis. Isto conduz a um melhor desempenho do modelo, especialmente em tarefas de segmentação que exigem elevada precisão.

O papel das anotações de polígonos nos fluxos de trabalho de visão computacional#

Então, como são realmente usadas as anotações de polígonos? Estão estreitamente ligadas a modelos de IA para visão que suportam tarefas de segmentação de imagens, como a segmentação de instâncias.

Em muitas aplicações de visão computacional, é essencial saber a área exata que cada objeto ocupa numa imagem ou num fotograma de vídeo. Um bom exemplo é a deteção de peças de automóveis na indústria transformadora. Neste caso, os modelos têm de identificar e contornar com precisão peças como portas, janelas e faróis, mesmo quando se sobrepõem ou têm formas complexas.

É aqui que entra a segmentação de instâncias. Permite que os modelos detetem cada objeto e mapeiem os seus limites exatos ao nível dos píxeis. Isto é diferente da deteção de objetos básica, que usa caixas delimitadoras.

Fig. 2. A segmentação de instâncias também pode ajudar a distinguir peças danificadas de um automóvel. (Fonte)

As caixas delimitadoras fornecem apenas regiões retangulares aproximadas à volta dos objetos e incluem frequentemente o fundo adicional, dificultando a captação de formas irregulares ou a separação de objetos sobrepostos.

A anotação de polígonos desempenha um papel essencial na obtenção deste nível de precisão. Traçar a forma exata de cada objeto nas imagens do conjunto de dados cria dados de treino de elevada qualidade que refletem os verdadeiros limites dos objetos. Estas anotações detalhadas ajudam modelos como o Ultralytics YOLO26 a compreender melhor a estrutura de cada componente, conduzindo a resultados de segmentação mais precisos.

Limitações das ferramentas tradicionais de anotação de imagens#

Em seguida, vamos analisar as limitações das ferramentas tradicionais de anotação para compreender a necessidade de soluções mais eficientes e escaláveis, como a Ultralytics Platform.

Eis alguns desafios comuns enfrentados pelos anotadores ao utilizarem ferramentas tradicionais de anotação de polígonos:

• Suporte limitado para tipos de anotação: Algumas ferramentas concentram-se numa única técnica de anotação, dificultando o trabalho com diferentes tipos, como polígonos, caixas delimitadoras e pontos-chave, num único local.
• Gestão ineficiente de anotações complexas: As ferramentas podem não incluir funcionalidades que facilitem a anotação precisa de objetos complexos com detalhes minuciosos.
• Ausência de funcionalidades assistidas por IA: Muitas ferramentas dependem totalmente do trabalho manual, sem suporte de IA integrado para acelerar a anotação.
• Gestão fragmentada de conjuntos de dados: Gerir conjuntos de dados, versões e anotações pode ser difícil, especialmente quando as ferramentas não disponibilizam um espaço de trabalho centralizado.

A Ultralytics Platform responde a estas preocupações com funcionalidades de anotação assistidas por IA, com a tecnologia dos Modelos Segment Anything (SAM) e dos modelos YOLO. O SAM permite que os utilizadores gerem máscaras de segmentação de elevada qualidade a partir de entradas simples, como cliques, que podem depois ser refinadas em anotações de polígonos precisas.

De forma semelhante, a anotação inteligente baseada em YOLO usa modelos YOLO pré-treinados ou treinados à medida para executar inferência numa imagem e adicionar previsões, como caixas delimitadoras, máscaras de segmentação ou caixas delimitadoras orientadas, como anotações, que podem depois ser revistas e ajustadas conforme necessário. Em conjunto, estas capacidades tornam o processo de anotação mais rápido, consistente e fácil de escalar.

Diferentes tipos de anotações suportados pela Ultralytics Platform#

A Ultralytics Platform inclui um editor de anotações integrado que permite aos utilizadores anotar imagens diretamente no espaço de trabalho. Isto facilita a criação e a gestão de conjuntos de dados sem depender de ferramentas de rotulagem de dados separadas e frequentemente demoradas.

Além das anotações de polígonos, a Ultralytics Platform suporta vários outros tipos de anotação. Eis uma visão geral rápida:

• Caixas delimitadoras: Os anotadores podem desenhar caixas retangulares simples à volta dos objetos, facilitando a sua rotulagem e deteção numa imagem.
• Pontos-chave: Este método é usado para marcar pontos específicos, como articulações do corpo ou pontos de referência, em tarefas como a estimativa de pose.
• Caixas delimitadoras orientadas (OBBs): Permitem aos utilizadores captar objetos rodados ou inclinados com maior precisão em comparação com as caixas delimitadoras padrão.
• Etiquetas de classificação: Para tarefas mais simples, os utilizadores podem atribuir etiquetas a imagens inteiras em vez de marcar objetos individuais.

Anotar objetos com polígonos na Ultralytics Platform#

Agora, vamos ver como criar anotações de polígonos na Ultralytics Platform, manualmente ou com ferramentas assistidas por IA.

Criar manualmente anotações de polígonos na Ultralytics Platform#

Eis um guia rápido, passo a passo, para criar anotações de polígonos manualmente:

• Passo 1 - Navegar até ao conjunto de dados: Abra o conjunto de dados que contém as imagens que pretende anotar. É aqui que as suas imagens e anotações são armazenadas e geridas.
• Passo 2 - Abrir uma imagem: Clique numa imagem para a abrir na interface de anotação. O fluxo de trabalho de anotação depende da tarefa do conjunto de dados. Por exemplo, num conjunto de dados de segmentação de instâncias, as anotações são criadas com máscaras de polígonos.
• Passo 3 – Começar a criar uma máscara: Clique na imagem para começar a anotação. Cada clique adiciona um vértice ao longo do limite do objeto.
• Passo 4 – Traçar o contorno do objeto: Continue a clicar à volta das extremidades do objeto para definir a sua forma.
• Passo 5 – Concluir o polígono: Pode premir “Enter” ou clicar no primeiro ponto para concluir o polígono e atribuir uma etiqueta de classe.
• Passo 6 – Adicionar anotações adicionais: Repita o processo para criar mais polígonos para outros objetos na imagem.
• Passo 7 – Guardar as anotações: As anotações são guardadas automaticamente à medida que as cria.

Fig. 3. Uma visão da criação manual de anotações de polígonos com a Ultralytics Platform (Fonte)

Anotação inteligente de polígonos na Ultralytics Platform#

Em seguida, vamos analisar as funcionalidades de rotulagem assistida por IA suportadas pela Ultralytics Platform, que aceleram o processo de anotação.

A plataforma disponibiliza duas abordagens para a anotação inteligente: uma com a tecnologia dos Modelos Segment Anything para a geração interativa de anotações baseada em cliques e outra com a tecnologia de modelos YOLO para adicionar diretamente previsões dos modelos como anotações. Ambas as abordagens podem ser usadas para a anotação inteligente de polígonos.

Anotação inteligente com SAM na Ultralytics Platform#

A anotação assistida por SAM na Ultralytics Platform simplifica a rotulagem manual ao usar o Modelo Segment Anything (SAM) para gerar máscaras de segmentação com uma entrada mínima. Em vez de traçar os objetos ponto a ponto, os utilizadores podem interagir com a imagem usando prompts simples, como cliques, para indicar o que deve ser incluído ou excluído.

A plataforma suporta vários modelos SAM, incluindo SAM 2.1 e SAM 3, permitindo aos utilizadores escolher entre um desempenho mais rápido ou uma maior precisão, consoante as suas necessidades. Com base na entrada do utilizador, o SAM gera máscaras ao nível dos píxeis em tempo real. Estas máscaras podem depois ser refinadas e usadas como anotações de polígonos, tornando o processo mais rápido, consistente e fácil de escalar.

Eis os passos para usar o SAM na anotação de polígonos na Ultralytics Platform:

• Passo 1 – Abrir uma imagem: Navegue até ao seu conjunto de dados e clique numa imagem para iniciar o visualizador em ecrã inteiro.
• Passo 2 – Entrar no modo de anotação: Clique em “Edit”, depois mude para o modo Smart (ou prima S) para ativar o SAM.
• Passo 3 – Selecionar um modelo SAM: Escolha um modelo SAM na barra de ferramentas com base nas suas necessidades de velocidade e precisão.
• Passo 4 – Fornecer prompts: Clique com o botão esquerdo para adicionar pontos positivos, ou seja, áreas a incluir, e clique com o botão direito para adicionar pontos negativos, ou seja, áreas a excluir.
• Passo 5 – Gerar e aplicar a máscara: O SAM prevê uma máscara de segmentação em tempo real. Prima “Enter” ou use a aplicação automática para aplicar a anotação.
• Passo 6 – Refinar a anotação: Adicione mais pontos ou ajuste o resultado, se necessário, para melhorar a precisão antes de guardar.

Fig. 4. Anotação de polígonos assistida por SAM na Ultralytics Platform (Fonte)

Anotação inteligente com YOLO na Ultralytics Platform#

A anotação inteligente baseada em YOLO na Ultralytics Platform acelera a rotulagem ao usar modelos Ultralytics YOLO pré-treinados ou modelos YOLO ajustados para gerar previsões numa imagem e adicioná-las como anotações. Estas previsões podem incluir caixas delimitadoras, máscaras de segmentação ou caixas delimitadoras orientadas, consoante a tarefa do conjunto de dados.

Os utilizadores podem depois rever e refinar estas anotações conforme necessário. Eis uma visão geral dos passos envolvidos na utilização da anotação inteligente baseada em YOLO na Ultralytics Platform:

• Passo 1 – Abrir uma imagem: Navegue até ao seu conjunto de dados e selecione uma imagem para a abrir no visualizador em ecrã inteiro.
• Passo 2 – Entrar no modo de anotação: Clique em “Edit” e, em seguida, mude para o modo Smart (ou prima S).
• Passo 3 – Selecionar um modelo YOLO: Escolha um modelo YOLO no seletor de modelos da barra de ferramentas.
• Passo 4 – Executar a previsão: Clique em “Predict” para permitir que o modelo gere anotações automaticamente.
• Passo 5 – Rever as anotações: Analise as caixas delimitadoras, máscaras de segmentação ou OBBs previstas e adicionadas à imagem.
• Passo 6 – Refinar e guardar: Edite, ajuste ou remova as anotações incorretas conforme necessário e, em seguida, guarde as suas etiquetas finais.

Fig. 5. Uma visão da utilização da anotação inteligente YOLO (Fonte)

Casos de utilização reais da anotação de polígonos#

A anotação de polígonos está a ter um impacto real em vários setores, desde o controlo de qualidade na indústria transformadora até à agricultura e aos cuidados de saúde. Vamos explorar algumas aplicações importantes no mundo real.

Identificação de pragas com visão computacional#

Na agricultura, monitorizar a saúde das culturas é fundamental para melhorar a produtividade e reduzir as perdas. Detetar áreas das folhas das culturas infetadas por pragas pode ser difícil, uma vez que estas regiões têm frequentemente formas irregulares e limites pouco definidos.

Este tipo de problema pode ser abordado usando técnicas de segmentação de imagens, como a segmentação semântica, que atribui uma etiqueta a todos os píxeis pertencentes a uma classe, como áreas infetadas, ou a segmentação de instâncias, que separa os contornos dos objetos com maior precisão.

Com a Ultralytics Platform, os utilizadores podem usar a anotação de polígonos para traçar a forma exata destas áreas infetadas. Isto ajuda a criar conjuntos de dados mais precisos e facilita a deteção de padrões subtis em ambientes agrícolas pelos algoritmos de IA para visão.

Como resultado, as equipas podem criar melhores dados de treino que ajudam os modelos a identificar exatamente onde estão presentes as infestações de pragas. Isto é mais eficaz do que usar caixas delimitadoras, que podem incluir partes da folha que não estão afetadas.

Análise de imagens médicas com segmentação de instâncias#

Tal como na deteção de pragas na agricultura, mesmo pequenas diferenças nos limites podem afetar a forma como doenças como o cancro são analisadas em imagiologia médica. Isto é especialmente importante ao identificar anomalias clínicas, como tumores, em tomografias computorizadas.

Os métodos tradicionais de anotação podem não captar extremidades finas ou incluir tecido circundante, o que pode reduzir a precisão. Com a Ultralytics Platform, as equipas podem usar a anotação de polígonos para traçar precisamente estas regiões nos dados de treino, ajudando os modelos a produzir uma segmentação de tumores mais precisa e fiável.

Principais conclusões#

A anotação de polígonos é fundamental quando os modelos precisam de compreender as formas dos objetos em imagens com elevada precisão. Ajuda a representar formas complexas com maior exatidão, especialmente ao usar a Ultralytics Platform. Ao combinar precisão com ferramentas poderosas, as equipas podem criar modelos de IA mais fiáveis e de elevado desempenho.

Pronto para levar a IA para visão aos seus projetos? Junte-se à nossa comunidade e descubra a IA no setor automóvel e a IA para visão na robótica. Explore o nosso repositório no GitHub para saber mais. Consulte as nossas opções de licenciamento para começar hoje mesmo!