Como a Ultralytics Platform usa IA para automatizar a anotação

As soluções de visão computacional que analisam imagens e vídeos estão a tornar-se parte habitual dos fluxos de trabalho em muitos setores, da manufatura ao diagnóstico por imagem. Na manufatura, por exemplo, detectar defeitos superficiais em produtos que se deslocam numa esteira transportadora depende de modelos de visão computacional capazes de identificar padrões sutis.

Para que esses modelos funcionem bem, precisam ser treinados com dados anotados em que cada defeito esteja claramente identificado. Isso permite que aprendam o que procurar e reconheçam padrões semelhantes.

O processo de criação dessas etiquetas é chamado de anotação de dados. Em particular, a anotação de imagens e a anotação de vídeos envolvem desenhar caixas delimitadoras, contornar formas ou identificar regiões específicas em imagens e quadros de vídeo.

Embora isso seja viável para conjuntos de dados pequenos, torna-se rapidamente mais difícil à medida que a quantidade de dados cresce. Anotar milhares de imagens exige um esforço manual constante, tornando a anotação um grande gargalo. As ferramentas tradicionais costumam ser lentas, fragmentadas e difíceis de escalar.

A Ultralytics Platform, a plataforma completa de IA visual, ajuda a resolver esses desafios com a anotação assistida por IA. Ao usar IA para gerar automaticamente etiquetas iniciais, que podem ser rapidamente revisadas e refinadas, reduz o esforço manual e melhora a eficiência.

Neste artigo, vamos explorar como funciona a anotação assistida por IA na Ultralytics Platform e como ela melhora o processo de anotação. Vamos começar!

Visão geral do processo de anotação de dados#

Antes de analisar como funciona a anotação com IA na Ultralytics Platform, vamos primeiro conhecer melhor a anotação de dados.

A anotação de dados, também conhecida como rotulagem de dados, é o processo de atribuir etiquetas estruturadas a dados brutos para que possam ser usados no treinamento de modelos de aprendizado de máquina. Em visão computacional, essas etiquetas definem os objetos, as regiões ou as características de interesse em imagens ou vídeos.

Durante o treinamento, os modelos ou algoritmos aprendem a associar os dados de entrada a essas etiquetas, o que torna a qualidade da anotação um fator essencial para o desempenho do modelo. Conjuntos de dados anotados com precisão e consistência permitem que o modelo aprenda padrões corretos, enquanto anotações de baixa qualidade ou inconsistentes podem levar a previsões pouco confiáveis.

Por exemplo, num caso de uso de deteção de defeitos, uma imagem de um produto numa esteira transportadora pode ser anotada marcando onde os defeitos aparecem e identificando o tipo de cada defeito. Isso ajuda o modelo a aprender como são os defeitos para que possa identificá-los em novas imagens.

Visão geral das tarefas de anotação mais comuns#

Agora, vamos conhecer algumas formas comuns de anotar imagens em visão computacional. Esses métodos são usados para rotular dados visuais em tarefas como deteção de objetos, segmentação de instâncias e classificação de imagens. Cada método de anotação tem uma função diferente, como localizar objetos, delimitar formas ou identificar estruturas importantes.

Caixas delimitadoras#

As caixas delimitadoras são retângulos simples desenhados à volta dos objetos numa imagem para mostrar onde estão. São uma das formas mais comuns de rotular dados em visão computacional.

Ao treinar com imagens que contêm essas caixas, os modelos de deteção de objetos aprendem a reconhecer diferentes objetos e a identificar as respetivas posições numa imagem. Isso permite detetar vários objetos de uma só vez e identificar onde cada um aparece.

Por exemplo, imagina um jogo de beisebol analisado com visão computacional. Podem ser desenhadas caixas à volta dos jogadores, do taco e da bola em cada quadro, permitindo que o modelo detete e identifique esses objetos ao longo do jogo.

Fig. 1. As caixas delimitadoras podem ser usadas para rotular e localizar vários objetos. (Fonte)

Polígonos ou máscaras de segmentação#

Os polígonos, também chamados de máscaras de segmentação, vão além das caixas delimitadoras ao rotular objetos ao nível do pixel. Em vez de desenhar um retângulo aproximado, representam com precisão a forma e os contornos de cada objeto numa imagem. Isso torna-os úteis para tarefas que exigem uma compreensão mais detalhada.

Por exemplo, na condução autónoma, as máscaras de segmentação são usadas em tarefas como a segmentação semântica, em que cada pixel recebe uma categoria, como estrada ou céu, e a segmentação de instâncias, em que objetos individuais, como veículos ou peões, são identificados separadamente.

Também são usadas em tarefas como a remoção do fundo, quando é necessário isolar um objeto, como uma pessoa, do resto da imagem.

Pontos-chave#

Os pontos-chave são usados para marcar pontos específicos num objeto, como as articulações do corpo humano ou partes de um animal. Ao identificar esses pontos, os modelos conseguem compreender a estrutura de um objeto e a posição relativa das suas partes.

Na visão computacional, isto é conhecido como estimativa de pose, cujo objetivo é identificar a localização destes pontos-chave e compreender a relação entre eles. Acompanhar estes pontos ao longo do tempo permite analisar o movimento e as alterações de postura.

Fig. 2. As anotações de pontos-chave podem ser usadas para assinalar as articulações na estimativa da pose humana. (Fonte)

Um exemplo comum é assinalar as articulações do corpo num vídeo para analisar o movimento humano. Ao concentrarem-se nestes pontos-chave, os modelos conseguem captar a posição de uma pessoa e a forma como a sua postura muda ao longo do tempo.

Caixa delimitadora orientada (OBB)#

Nem todos os objetos numa imagem estão perfeitamente alinhados. Em muitos cenários do mundo real, os objetos aparecem inclinados, rodados ou vistos de ângulos diferentes.

As caixas delimitadoras padrão costumam ter dificuldades nestes casos, pois podem incluir fundo desnecessário ou não se ajustar bem ao objeto. As caixas delimitadoras orientadas resolvem este problema usando retângulos rodados que se alinham com a direção do objeto. O resultado são anotações mais ajustadas e precisas.

Esta abordagem é usada na deteção com caixas delimitadoras orientadas (OBB), em que os modelos identificam tanto a localização de um objeto como a sua orientação. Um exemplo são as imagens aéreas, nas quais objetos como edifícios, navios ou veículos aparecem frequentemente em ângulos diferentes. As caixas rodadas facilitam a representação da forma e da direção reais dos objetos na cena.

Etiquetas de classificação#

As etiquetas de classificação adotam uma abordagem diferente de outros métodos de anotação: atribuem uma única etiqueta à imagem inteira, em vez de assinalarem objetos ou regiões específicos. São usadas quando o objetivo é identificar o que está presente numa imagem, sem se concentrar na localização.

Por exemplo, uma imagem pode ser etiquetada como «gato» ou «cão» com base no seu conteúdo geral. Isto torna a classificação de imagens útil para tarefas em que basta uma compreensão de alto nível da imagem.

Limitações das ferramentas de anotação tradicionais#

Muitas ferramentas de etiquetagem tradicionais dependem de várias etapas e fluxos de trabalho desconexos. As equipas de desenvolvimento de IA têm muitas vezes de alternar entre plataformas de anotação para etiquetagem, armazenamento e validação, o que atrasa os projetos de IA.

A maioria das ferramentas suporta apenas um conjunto limitado de tipos de anotação e de dados, pelo que as equipas acabam por usar ferramentas diferentes para caixas delimitadoras, segmentação e pontos-chave. Esta configuração fragmentada pode ser difícil de gerir, especialmente para equipas que estão a começar na visão computacional.

O trabalho manual é outro grande desafio. Embora a anotação de uma única imagem possa demorar apenas alguns minutos, trabalhar com grandes conjuntos de dados torna-se rapidamente moroso, sobretudo quando imagens semelhantes implicam tarefas repetitivas.

À medida que os conjuntos de dados crescem, as equipas também têm de gerir ficheiros, acompanhar as versões dos conjuntos de dados e manter a consistência das anotações. Isto aumenta a carga de trabalho, deixando menos tempo para melhorar o desempenho dos modelos e mais tempo para gerir dados.

Uma abordagem mais eficiente consiste em usar a anotação assistida por IA na Ultralytics Platform, que utiliza IA para gerar e aperfeiçoar etiquetas, reduzindo o trabalho manual e aumentando a rapidez e a consistência, tudo num único ambiente que reúne a gestão de conjuntos de dados, a anotação, o treino de modelos, a implementação e a monitorização.

Como a Ultralytics Platform facilita o processo de anotação#

A Ultralytics Platform simplifica a anotação ao integrá-la diretamente no restante fluxo de trabalho de visão computacional. Em vez de dependerem de ferramentas separadas, as equipas podem trabalhar com dados, anotações e modelos num único ambiente.

A plataforma suporta várias tarefas de visão computacional, incluindo deteção de objetos, classificação de imagens, segmentação de instâncias, estimativa de pose e deteção com caixas delimitadoras orientadas.

Neste contexto, a anotação pode ser feita de várias formas. As equipas podem etiquetar os dados manualmente para terem controlo total, usar a anotação inteligente com tecnologia SAM para etiquetar interativamente com pontos ou aplicar a anotação inteligente baseada em YOLO para gerar anotações automaticamente, que podem depois ser revistas e aperfeiçoadas. Esta flexibilidade facilita o trabalho com diferentes conjuntos de dados e requisitos de anotação.

Fig. 3. Um olhar sobre a anotação na Ultralytics Platform (Fonte)

Como a anotação assistida por IA e a anotação manual estão integradas na gestão de conjuntos de dados e no treino de modelos, as equipas podem passar facilmente da etiquetagem dos dados à organização dos conjuntos de dados e ao treino de modelos. Isto mantém os fluxos de trabalho estruturados e elimina a necessidade de alternar entre ferramentas ou reformatar anotações.

A plataforma também suporta modelos Ultralytics YOLO, como Ultralytics YOLO11 e Ultralytics YOLO26, permitindo usar diretamente os dados anotados no treino e nos testes. Isto facilita a identificação de lacunas nos conjuntos de dados, o aperfeiçoamento das anotações e o novo treino dos modelos através de iterações contínuas.

Principais funcionalidades da anotação inteligente com SAM na Ultralytics Platform#

A anotação inteligente com tecnologia SAM na Ultralytics Platform foi concebida para acelerar a anotação em tarefas de deteção de objetos, segmentação de instâncias e caixas delimitadoras orientadas (OBB).

A plataforma disponibiliza várias variantes de modelos SAM, incluindo SAM 2.1 Tiny, SAM 2.1 Small, SAM 2.1 Base, SAM 2.1 Large e SAM 3, permitindo aos utilizadores escolher entre rapidez e precisão.

Fig. 4. Anotação inteligente com tecnologia SAM na Ultralytics Platform (Fonte)

Os modelos mais pequenos, como Tiny e Small, são mais rápidos e adequados a fluxos de trabalho de anotação rápidos, enquanto os modelos maiores, como Large e SAM 3, oferecem maior precisão em cenas mais complexas. A mudança de modelo atualiza imediatamente o comportamento da anotação.

No editor de anotação, depois de selecionar um modelo SAM, os anotadores humanos podem entrar no modo Smart para começar a etiquetar. Em vez de desenharem formas manualmente, orientam o modelo com simples indicações baseadas em pontos.

Um clique com o botão esquerdo adiciona um ponto positivo para incluir uma região, enquanto um clique com o botão direito adiciona um ponto negativo para excluir áreas indesejadas. Com base nestas indicações, o modelo gera uma máscara precisa em tempo real.

Para acelerar o fluxo de trabalho, é possível ativar o modo de aplicação automática. Quando está ativo, cada clique gera e guarda automaticamente uma anotação, sem necessidade de confirmação manual. Para objetos mais complexos, os anotadores podem manter premida a tecla "Shift" para colocar vários pontos antes de aplicar a máscara ou desativar a aplicação automática para adicionar pontos livremente e, em seguida, premir "Enter" para aplicar a máscara.

Compreender a anotação inteligente com YOLO na Ultralytics Platform#

Tal como a anotação inteligente com tecnologia SAM, a anotação inteligente com YOLO na Ultralytics Platform usa IA para acelerar o processo de etiquetagem. Em vez de orientar o modelo com cliques, utiliza as previsões do modelo para gerar anotações automaticamente.

Esta abordagem suporta tarefas como deteção de objetos, segmentação de instâncias e anotação com caixas delimitadoras orientadas (OBB). Funciona especificamente com modelos Ultralytics YOLO, incluindo modelos pré-treinados fornecidos pela Ultralytics e modelos YOLO treinados de forma personalizada.

No editor de anotação, os anotadores podem entrar no modo Smart, selecionar um modelo YOLO no seletor de modelos e clicar em Predict. O seletor de modelos mostra apenas os modelos YOLO compatíveis com a tarefa do conjunto de dados atual, garantindo que as anotações geradas são compatíveis.

O modelo analisa a imagem e gera anotações com base nas suas previsões, que são adicionadas diretamente à imagem. Se as previsões se sobrepuserem a resultados de anotação existentes da mesma classe, as deteções duplicadas são automaticamente ignoradas quando a sobreposição ultrapassa um limiar definido, ajudando a manter etiquetas consistentes e sem ruído.

Fig. 5. Anotação inteligente possibilitada pelos modelos Ultralytics YOLO na Ultralytics Platform (Fonte)

Depois de geradas as previsões, os anotadores com intervenção humana no ciclo podem revê-las, ajustá-las ou removê-las conforme necessário. Isto facilita a etiquetagem rápida de grandes conjuntos de dados: basta começar com anotações geradas pelo modelo e aperfeiçoá-las, em vez de anotar tudo manualmente.

Com o tempo, os modelos YOLO melhorados podem ser reutilizados para gerar previsões melhores, apoiando um fluxo de trabalho iterativo de etiquetagem automática.

Aplicar a etiquetagem assistida por IA em fluxos de trabalho reais#

Vamos agora ver exemplos de como a Ultralytics Platform permite anotar dados em casos de utilização do mundo real.

Segmentação na condução autónoma#

Os veículos autónomos integrados com modelos de visão computacional dependem de dados visuais bem anotados para compreender o que os rodeia em tempo real. Os modelos treinados com estes dados conseguem detetar e segmentar veículos, peões, sinais de trânsito e limites da estrada.

As tarefas de segmentação exigem limites precisos ao nível dos píxeis, o que torna a anotação essencial e morosa. A etiquetagem manual de grandes volumes de dados de sensores pode rapidamente tornar-se um estrangulamento, sobretudo em cenas de condução complexas.

A Ultralytics Platform simplifica este processo com anotação assistida por IA que utiliza modelos SAM e YOLO. A anotação inteligente com tecnologia SAM permite uma segmentação rápida, baseada em cliques e com máscaras precisas, enquanto os modelos YOLO podem ser usados para gerar anotações automaticamente em várias imagens.

Em conjunto, estas abordagens facilitam o tratamento de cenas complexas com objetos sobrepostos.

Como a anotação está diretamente ligada ao treino de modelos, os conjuntos de dados atualizados e em grande escala podem ser usados imediatamente para voltar a treinar e avaliar os modelos. Isto permite às equipas melhorar continuamente o desempenho e adaptarem-se com maior eficiência às novas condições de condução.

Melhorar os sistemas de garantia da qualidade na indústria transformadora#

Na indústria transformadora, manter um controlo de qualidade consistente depende da deteção precisa de defeitos durante a produção. Os modelos de visão computacional são frequentemente usados para identificar problemas em tempo real, mas o seu desempenho depende da fidelidade com que os dados de treino representam as condições reais de produção.

As mudanças nos ambientes de produção, como variações nas matérias-primas, nas definições das máquinas ou na iluminação, podem introduzir tipos de defeito novos e raros que não faziam parte dos dados de treino originais. Isto cria uma discrepância entre o que o modelo aprendeu e o que aparece na linha de produção.

Para manter os dados atualizados, é necessário atualizar regularmente os conjuntos de dados com anotações internas de alta qualidade. A Ultralytics Platform facilita a atualização das anotações e a expansão dos conjuntos de dados à medida que surgem novos padrões de defeitos. Estes conjuntos de dados atualizados podem depois ser usados para voltar a treinar os modelos, ajudando as equipas a adaptarem-se mais rapidamente às mudanças nas condições de produção.

Monitorização e segurança de estaleiros de construção#

Os estaleiros de construção são ambientes dinâmicos, com várias equipas, equipamento em movimento e configurações em constante mudança. Manter a segurança nestas condições depende de dados visuais claros e bem anotados.

Anotações precisas podem melhorar a qualidade dos dados e ajudar os sistemas de IA a identificar trabalhadores, equipamento, equipamento de segurança e potenciais riscos em várias condições do estaleiro, incluindo cenas congestionadas, fundos em mudança e iluminação variável.

A Ultralytics Platform facilita este processo ao permitir atualizar e aperfeiçoar as anotações à medida que as condições do estaleiro evoluem. É possível captar e adicionar novas imagens ao conjunto de dados à medida que estas surgem, mantendo-o alinhado com os cenários do mundo real.

Principais conclusões#

A anotação de alta qualidade é essencial para criar modelos fiáveis de visão computacional e IA, mas os fluxos de trabalho tradicionais atrasam muitas vezes as equipas. A Ultralytics Platform simplifica este processo com ferramentas de anotação automatizadas e um fluxo de trabalho escalável. Assim, as equipas conseguem passar mais rapidamente dos dados aos modelos, mantendo a precisão e a consistência.

Visita a nossa comunidade e o nosso repositório GitHub, que estão em crescimento, para saberes mais sobre visão computacional. Se queres criar soluções de visão computacional, consulta as nossas opções de licenciamento. Explora as nossas páginas de soluções para saberes mais sobre os benefícios da visão computacional na indústria transformadora e da IA na área da saúde.