Um guia para a anotação de polígonos com Ultralytics

As tecnologias de IA de ponta estão a ser adotadas numa vasta gama de setores, desde a condução autónoma até à agricultura de precisão. Por exemplo, os produtores de leite estão a utilizar IA e análise de imagens para detect no gado. Problemas de saúde, como a claudicação, podem ser monitorizados através da observação de alterações na marcha e na postura do animal, tais como o dorso arqueado e movimentos assimétricos. 

‍

A visão computacional, um ramo da inteligência artificial, possibilita essas aplicações ao permitir que as máquinas interpretem e analisem dados visuais. Mais especificamente, a segmentação de instâncias é uma tarefa da visão computacional que identifica e segmenta cada objeto numa imagem ao nível do pixel, tornando possível detect analisar com precisão animais individuais.

A anotação de polígonos desempenha um papel fundamental neste processo. Trata-se de um método de anotação de dados utilizado para traçar cuidadosamente a forma exata de um objeto numa imagem, colocando pontos ao longo das suas arestas. Ao contrário das simples anotações com caixas delimitadoras, esta abordagem segue o contorno real do objeto, ajudando a criar dados de treino mais precisos e permitindo que os modelos de IA de visão compreendam melhor os limites dos objetos.

Atualmente, existem muitas ferramentas disponíveis para criar anotações poligonais. No entanto, estas opções podem muitas vezes parecer fragmentadas, especialmente quando oferecem um suporte inconsistente ou limitado para diferentes tipos de anotações, tornando mais difícil gerir as diversas necessidades de rotulagem num único fluxo de trabalho.

Ultralytics , o nosso novo espaço de trabalho de IA de visão de ponta a ponta que faz a ponte entre a gestão de conjuntos de dados, a anotação, o treino, a implementação e a monitorização, resolve esta questão ao suportar vários tipos de anotação e fluxos de trabalho assistidos por IA num único espaço de trabalho integrado, simplificando todo o processo de anotação.

Neste artigo, vamos explorar o que são anotações poligonais e como criá-las utilizando Ultralytics . Vamos começar! 

Uma análise mais aprofundada da anotação de polígonos

Antes de nos debruçarmos sobre Ultralytics e as suas funcionalidades de anotação de polígonos, vamos dar um passo atrás e compreender o que é a anotação de polígonos. 

A anotação de imagens é o processo de adicionar rótulos a dados visuais para que os modelos de IA possam compreender o que estão a ver. Normalmente, envolve identificar objetos numa imagem e marcá-los de forma a que um modelo possa aprender com eles. 

Um dos métodos mais comuns consiste em desenhar caixas retangulares à volta dos objetos, conhecidas como caixas delimitadoras. No entanto, as caixas delimitadoras apenas fornecem um contorno aproximado do objeto. A anotação poligonal é uma abordagem mais precisa.

Funciona delineando um objeto (as suas bordas) ponto a ponto, em vez de o envolver numa caixa. Para tal, os anotadores colocam vários vértices (pontos) ao longo das arestas do objeto, traçando o seu contorno até que toda a forma fique coberta.

Estes pontos ligados formam um polígono que reflete o contorno natural do objeto. Uma vez que a forma acompanha de perto o contorno do objeto, a anotação capta detalhes que os métodos tradicionais de rotulagem muitas vezes não conseguem captar. Isto é especialmente útil quando os objetos têm formas irregulares ou contornos complexos, como folhas, silhuetas humanas e objetos sobrepostos. 

Essa precisão nos dados ajuda os modelos de aprendizagem automática a aprender de forma mais eficaz durante o treino. Quando as anotações captam com precisão os limites reais de um objeto, os modelos conseguem compreender melhor os padrões do objeto ao nível do pixel. Isto conduz a um melhor desempenho do modelo, especialmente em tarefas de segmentação que exigem elevada precisão.

O papel das anotações de polígonos nos fluxos de trabalho de visão computacional

Então, como é que as anotações de polígonos são realmente utilizadas? Estão intimamente ligadas a modelos de IA de visão que suportam tarefas de segmentação de imagens, como a segmentação de instâncias.

Em muitas aplicações de visão computacional, é essencial saber a área exata que cada objeto ocupa numa imagem ou num fotograma de vídeo. Um bom exemplo é a deteção de peças de automóveis na indústria transformadora. Neste caso, os modelos precisam de identificar e contornar com precisão peças como portas, janelas e faróis, mesmo quando estas se sobrepõem ou apresentam formas complexas.

É aqui que entra a segmentação de instâncias. Permite que os modelos detect objeto e mapeiem os seus limites exatos ao nível do pixel. Isto difere da deteção básica de objetos, que utiliza caixas delimitadoras. 

‍

As caixas delimitadoras apenas definem áreas retangulares aproximadas em torno dos objetos e, muitas vezes, incluem fundo adicional, o que dificulta a deteção de formas irregulares ou a separação de elementos sobrepostos.

A anotação de polígonos desempenha um papel fundamental para permitir este nível de precisão. Traçar a forma exata de cada objeto nas imagens do conjunto de dados permite criar dados de treino de alta qualidade que refletem os limites reais dos objetos. Estas anotações detalhadas ajudam os modelos, como Ultralytics , a compreender melhor a estrutura de cada componente, levando a resultados de segmentação mais precisos.

Limitações das ferramentas tradicionais de anotação de imagens

A seguir, vamos analisar as limitações das ferramentas de anotação tradicionais para compreender a necessidade de soluções mais eficientes e escaláveis, como Ultralytics .

Eis alguns dos desafios comuns que os anotadores enfrentam ao utilizar ferramentas tradicionais de anotação de polígonos:

• Suporte limitado para tipos de anotação: algumas ferramentas centram-se numa única técnica de anotação, o que dificulta o trabalho com diferentes tipos, como polígonos, caixas delimitadoras e pontos-chave, num único local.
• Tratamento ineficaz de anotações complexas: as ferramentas podem não dispor de funcionalidades que facilitem a anotação precisa de objetos complexos com detalhes minuciosos.
• Falta de funcionalidades assistidas por IA: Muitas ferramentas dependem inteiramente do trabalho manual, sem suporte integrado de IA para acelerar a anotação.
• Gestão fragmentada de conjuntos de dados: A gestão de conjuntos de dados, versões e anotações pode ser difícil, especialmente quando as ferramentas não oferecem um espaço de trabalho centralizado.

Ultralytics responde a estas preocupações com funcionalidades de anotação assistidas por IA, baseadas YOLO Segment Anything Models (SAM) e YOLO . SAM aos utilizadores gerar máscaras de segmentação de alta qualidade a partir de entradas simples, como cliques, que podem depois ser aperfeiçoadas para se tornarem anotações poligonais precisas. 

Da mesma forma, a anotação inteligente YOLO utiliza YOLO pré-treinados ou treinados à medida para realizar a inferência numa imagem e adicionar previsões, tais como caixas delimitadoras, máscaras de segmentação ou caixas delimitadoras orientadas, como anotações, que podem depois ser revistas e ajustadas conforme necessário. Em conjunto, estas capacidades tornam o processo de anotação mais rápido, mais consistente e mais fácil de escalar.

Diferentes tipos de anotações suportados pela Ultralytics

Ultralytics inclui um editor de anotações integrado que permite aos utilizadores anotar imagens diretamente no espaço de trabalho. Isto facilita a criação e a gestão de conjuntos de dados sem ter de recorrer a ferramentas de rotulagem de dados separadas, que muitas vezes são demoradas.

Para além das anotações poligonais, Ultralytics suporta vários outros tipos de anotações. Aqui fica uma breve visão geral:

• Caixas delimitadoras: Os anotadores podem desenhar caixas retangulares simples à volta dos objetos, facilitando a detect identificação e detect numa imagem.
• Pontos-chave: Este método é utilizado para marcar pontos específicos, tais como articulações do corpo ou pontos de referência, para tarefas como a estimativa de poses.
• Caixas delimitadoras orientadas (OBBs): permitem aos utilizadores capturar objetos rodados ou inclinados com maior precisão, em comparação com as caixas delimitadoras padrão.
• Rótulos de classificação: Para tarefas mais simples, os utilizadores podem atribuir rótulos a imagens inteiras, em vez de marcar objetos individuais.

Anotação de objetos com polígonos na Ultralytics

Agora, vamos ver como criar anotações poligonais na Ultralytics , seja manualmente ou com ferramentas assistidas por IA.

Criação manual de anotações poligonais na Ultralytics

Aqui está um guia rápido passo a passo para criar anotações de polígonos manualmente:

• Passo 1 - Aceda ao seu conjunto de dados: Abra o conjunto de dados que contém as imagens que pretende anotar. É aqui que as suas imagens e anotações são armazenadas e geridas.
• Passo 2 - Abrir uma imagem: Clique numa imagem para a abrir na interface de anotação. O fluxo de trabalho de anotação depende da tarefa do conjunto de dados. Por exemplo, num conjunto de dados de segmentação de instâncias, as anotações são criadas utilizando máscaras poligonais.
• Passo 3 – Comece a criar uma máscara: clique na imagem para iniciar a anotação. Cada clique adiciona um vértice ao longo do contorno do objeto.
• Passo 4 – Contorne o objeto: Continue a clicar ao longo das bordas do objeto para definir a sua forma.
• Passo 5 – Concluir o polígono: pode premir «Enter» ou clicar no primeiro ponto para concluir o polígono e atribuir uma etiqueta de classe.
• Passo 6 – Adicionar anotações adicionais: Repita o processo para criar mais polígonos para outros objetos na imagem.
• Passo 7 – Guardar anotações: As anotações são guardadas automaticamente à medida que as vai criando.

‍

Anotação inteligente de polígonos na Ultralytics

A seguir, vamos analisar as funcionalidades de rotulagem assistida por IA suportadas pela Ultralytics , que aceleram o processo de anotação.

A plataforma oferece duas abordagens para a anotação inteligente: uma baseada nos modelos Segment Anything, para a geração interativa de anotações por meio de cliques, e outra baseada nos YOLO , para adicionar previsões do modelo diretamente como anotações. Ambas as abordagens podem ser utilizadas para a anotação inteligente de polígonos. 

Anotação inteligente com SAM Ultralytics

A anotação SAM na Ultralytics simplifica a rotulagem manual, utilizando o Segment Anything Model (SAM) para gerar máscaras de segmentação com um mínimo de intervenção do utilizador. Em vez de traçar os objetos ponto a ponto, os utilizadores podem interagir com a imagem através de comandos simples, como cliques, para indicar o que deve ser incluído ou excluído.

A plataforma suporta vários SAM , incluindo SAM . SAM e SAM , permitindo aos utilizadores escolher entre um desempenho mais rápido ou uma maior precisão, consoante as suas necessidades. Com base nos dados introduzidos pelo utilizador, SAM máscaras ao nível do pixel em tempo real. Estas máscaras podem depois ser aperfeiçoadas e utilizadas como anotações poligonais, tornando o processo mais rápido, mais consistente e mais fácil de escalar.

Aqui estão os passos para utilizar SAM anotação de polígonos na Ultralytics :

• Passo 1 – Abrir uma imagem: Navegue até ao seu conjunto de dados e clique numa imagem para abrir o visualizador em ecrã inteiro.
• Passo 2 – Entrar no modo de anotação: Clique em «Editar» e, em seguida, mude para o modo Inteligente (ou prima S) para ativar SAM.
• Passo 3 – Selecionar um SAM : Escolha um SAM na barra de ferramentas de acordo com as suas necessidades de velocidade e precisão.
• Passo 4 – Definir limites: Clique com o botão esquerdo do rato para adicionar pontos positivos (incluir áreas) e clique com o botão direito do rato para adicionar pontos negativos (excluir áreas).
• Passo 5 – Gerar e aplicar a máscara: SAM uma máscara de segmentação em tempo real. Prima «Enter» (ou utilize a aplicação automática) para aplicar a anotação.
• Passo 6 – Aperfeiçoar a anotação: Adicione mais pontos ou ajuste o resultado, se necessário, para melhorar a precisão antes de guardar. 

‍

Anotação inteligente com YOLO Ultralytics

A anotação inteligente YOLO na Ultralytics acelera o processo de rotulagem, utilizandoYOLO pré-treinados Ultralytics ou YOLO ajustados para gerar previsões sobre uma imagem e adicioná-las como anotações. Estas previsões podem incluir caixas delimitadoras, máscaras de segmentação ou caixas delimitadoras orientadas, dependendo da tarefa do conjunto de dados. 

Os utilizadores podem, em seguida, rever e aperfeiçoar essas anotações conforme necessário. Aqui está uma visão geral dos passos envolvidos na utilização da anotação inteligente YOLO na Ultralytics :

• Passo 1 – Abrir uma imagem: Navegue até ao seu conjunto de dados e selecione uma imagem para a abrir no visualizador em ecrã inteiro.‍
• Passo 2 – Entrar no modo de anotação: Clique em «Editar» e, em seguida, mude para o modo Inteligente (ou prima S).‍
• Passo 3 – Selecionar um YOLO : Escolha um YOLO no seletor de modelos na barra de ferramentas.‍
• Passo 4 – Executar a previsão: Clique em «Prever» para que o modelo gere as anotações automaticamente.‍
• Passo 5 – Rever as anotações: Inspecione as caixas delimitadoras previstas, as máscaras de segmentação ou os OBBs adicionados à imagem.‍
• Passo 6 – Aperfeiçoar e guardar: edite , ajuste ou remova as anotações incorretas, conforme necessário, e guarde as suas etiquetas finais.

‍

Casos de utilização reais da anotação de polígonos

A anotação de polígonos está a ter um impacto significativo em diversos setores, desde o controlo de qualidade na indústria transformadora até à agricultura e aos cuidados de saúde. Vamos explorar algumas das principais aplicações na vida real. 

Identificação de pragas através da visão computacional

Na agricultura, monitorizar o estado das culturas é fundamental para melhorar o rendimento e reduzir as perdas. Detetar áreas afetadas por pragas nas folhas das culturas pode ser complicado, uma vez que essas regiões apresentam frequentemente formas irregulares e limites pouco definidos.

Este tipo de problema pode ser abordado utilizando técnicas de segmentação de imagens, como a segmentação semântica, que rotula todos os píxeis pertencentes a uma classe (como áreas infetadas), ou a segmentação de instâncias, que separa os contornos dos objetos com maior precisão.

Com Ultralytics , os utilizadores podem recorrer à anotação de polígonos para traçar a forma exata dessas áreas infetadas. Isto ajuda a criar conjuntos de dados mais precisos e facilita aos algoritmos de IA de visão a deteção de padrões subtis em ambientes agrícolas.

Consequentemente, as equipas podem criar dados de treino de melhor qualidade, que ajudam os modelos a identificar com exatidão onde se encontram as infestações de pragas. Esta abordagem é mais eficaz do que a utilização de caixas delimitadoras, que podem incluir partes da folha que não estão afetadas.

Análise de imagens médicas com base na segmentação por instâncias

Tal como acontece com a deteção de pragas na agricultura, mesmo pequenas diferenças nos contornos podem influenciar a forma como doenças como o cancro são analisadas na imagiologia médica. Isto é especialmente crucial na identificação de anomalias médicas, como tumores, em tomografias computadorizadas.

Os métodos tradicionais de anotação podem não captar contornos finos ou incluir tecido circundante, o que pode reduzir a precisão. Com Ultralytics , as equipas podem utilizar a anotação poligonal para traçar com precisão essas regiões nos dados de treino, ajudando os modelos a produzir uma segmentação tumoral mais precisa e fiável.

Principais conclusões

A anotação de polígonos é fundamental quando os modelos precisam de compreender as formas dos objetos nas imagens com elevada precisão. Ajuda a representar formas complexas com maior precisão, especialmente quando se utiliza Ultralytics . Ao combinar precisão com ferramentas poderosas, as equipas podem criar modelos de IA mais fiáveis e de alto desempenho.

Pronto para integrar a IA de visão nos seus projetos? Junte-se à nossa comunidade e descubra a IA na indústria automóvel e a IA de visão na robótica. Explore o nosso repositório no GitHub para saber mais. Consulte as nossas opções de licenciamento para começar hoje mesmo!