Como a Ultralytics Platform usa IA para automatizar a anotação

As soluções de computer vision que analisam imagens e vídeos estão a tornar-se numa parte regular dos fluxos de trabalho em muitas indústrias, desde a fabricação até à imagem médica. Na fabricação, por exemplo, a deteção de defeitos superficiais em produtos que se movem ao longo de uma correia transportadora depende de computer vision models capazes de detetar padrões subtis.

Para que esses modelos funcionem bem, eles precisam ser treinados com dados rotulados, onde cada defeito é claramente identificado. Isso permite que esses modelos aprendam o que procurar e reconheçam padrões semelhantes.

O processo de criação destes rótulos chama-se anotação de dados. Em particular, a image annotation e a anotação de vídeo envolvem desenhar bounding boxes, delinear formas ou rotular regiões específicas dentro de imagens e fotogramas de vídeo.

Embora isso seja gerenciável para conjuntos de dados pequenos, torna-se rapidamente difícil de lidar à medida que os dados crescem. Rotular milhares de imagens exige um esforço manual consistente, tornando a anotação um grande gargalo. As ferramentas tradicionais são frequentemente lentas, fragmentadas e difíceis de escalar.

Ultralytics Platform, a plataforma de visão IA tudo-em-um, ajuda a resolver estes desafios com anotação assistida por IA. Ao utilizar IA para gerar automaticamente rótulos iniciais que podem ser rapidamente revistos e refinados, reduz o esforço manual e melhora a eficiência.

Neste artigo, exploraremos como a anotação assistida por IA funciona dentro da Ultralytics Platform e como ela melhora o processo de rotulagem. Vamos começar!

Uma visão geral do processo de anotação de dados#

Antes de mergulhar em como a anotação alimentada por IA funciona na Ultralytics Platform, vamos primeiro dar uma olhada mais de perto na anotação de dados.

A anotação de dados, também conhecida como rotulagem de dados, é o processo de atribuir rótulos estruturados a dados brutos para que possam ser usados para treinar modelos de aprendizado de máquina. Na visão computacional, esses rótulos definem os objetos, regiões ou características de interesse dentro de imagens ou vídeos.

Durante o treinamento, modelos ou algoritmos aprendem a mapear dados de entrada para esses rótulos, tornando a qualidade da anotação um fator chave no desempenho do modelo. Conjuntos de dados rotulados precisos e consistentes tornam possível para o modelo aprender padrões corretos, enquanto anotações ruins ou inconsistentes podem levar a previsões não confiáveis.

Por exemplo, em um caso de uso de detecção de defeitos, uma imagem de um produto em uma esteira pode ser anotada marcando onde os defeitos aparecem e rotulando que tipo de defeito eles são. Isso ajuda o modelo a aprender como são os defeitos para que ele possa identificá-los em novas imagens.

Uma olhada nas tarefas comuns de anotação#

Em seguida, vejamos algumas maneiras comuns pelas quais as imagens são anotadas na visão computacional. Esses métodos são usados para rotular dados visuais para tarefas como detecção de objetos, segmentação de instâncias e classificação de imagens. Cada método de anotação serve a uma função diferente, como localizar objetos, capturar formas ou identificar estruturas chave.

Bounding boxes#

Caixas delimitadoras (bounding boxes) são retângulos simples desenhados ao redor de objetos em uma imagem para mostrar onde eles estão. Elas são uma das formas mais comuns de rotular dados em visão computacional.

Ao treinar com imagens com essas caixas, os modelos de detecção de objetos aprendem a reconhecer diferentes objetos e a entender sua localização dentro de uma imagem. Isso permite que eles detectem vários objetos ao mesmo tempo e identifiquem onde cada um aparece.

Por exemplo, considere um jogo de beisebol sendo analisado usando visão computacional. Caixas podem ser desenhadas ao redor dos jogadores, do bastão e da bola em cada quadro, permitindo que o modelo detecte e identifique esses objetos ao longo do jogo.

Fig 1. As bounding boxes podem ser usadas para rotular e localizar múltiplos objetos. (Source)

Polígonos ou máscaras de segmentação#

Polígonos, também chamados de máscaras de segmentação, vão um passo além das caixas delimitadoras ao rotular objetos no nível do pixel. Em vez de desenhar um retângulo aproximado, eles capturam a forma e as bordas exatas de cada objeto em uma imagem. Isso os torna úteis para tarefas que exigem um entendimento mais detalhado.

Por exemplo, na direção autônoma, máscaras de segmentação são usadas em tarefas como segmentação semântica, onde cada pixel recebe uma categoria como estrada ou céu, e segmentação de instâncias, onde objetos individuais como veículos ou pedestres são identificados separadamente.

Elas também são usadas para tarefas como remoção de fundo, onde um objeto, como uma pessoa, precisa ser isolado do resto da imagem.

Pontos-chave (Keypoints)#

Pontos-chave são usados para marcar pontos específicos em um objeto, como articulações no corpo humano ou partes de um animal. Ao identificar esses pontos, os modelos podem entender a estrutura de um objeto e como suas partes estão posicionadas em relação umas às outras.

Na visão computacional, isso é conhecido como estimativa de pose, onde o objetivo é identificar a localização desses pontos-chave e entender como eles se relacionam. Rastrear esses pontos ao longo do tempo torna possível analisar o movimento e as mudanças na postura.

Fig 2. As anotações de pontos-chave podem ser usadas para marcar articulações para estimativa de pose humana. (Source)

Um exemplo comum é marcar as articulações do corpo em um vídeo para analisar o movimento humano. Ao focar nesses pontos-chave, os modelos podem capturar como uma pessoa está posicionada e como sua postura muda com o tempo.

Caixa delimitadora orientada (OBB)#

Nem todos os objetos em uma imagem estão perfeitamente alinhados. Em muitos cenários do mundo real, os objetos aparecem inclinados, rotacionados ou são vistos de diferentes ângulos.

As caixas delimitadoras padrão geralmente têm dificuldade nesses casos, pois podem incluir fundo desnecessário ou falhar em corresponder ao objeto de perto. As caixas delimitadoras orientadas resolvem isso usando retângulos rotacionados que se alinham com a direção do objeto. Isso resulta em anotações mais precisas e justas.

Essa abordagem é usada na detecção de caixa delimitadora orientada (OBB), onde os modelos identificam tanto a localização de um objeto quanto sua orientação. Um exemplo é a imagem aérea, onde objetos como prédios, navios ou veículos geralmente aparecem em ângulos diferentes. Caixas rotacionadas tornam mais fácil capturar sua forma e direção reais dentro da cena.

Rótulos de classificação#

Rótulos de classificação adotam uma abordagem diferente de outros métodos de anotação ao atribuir um único rótulo a uma imagem inteira, em vez de marcar objetos ou regiões específicos. Eles são usados quando o objetivo é identificar o que está presente em uma imagem, sem focar em onde aparece.

Por exemplo, uma imagem pode ser rotulada como “gato” ou “cachorro” com base em seu conteúdo geral. Isso torna a classificação de imagens útil para tarefas onde um entendimento de alto nível da imagem é suficiente.

Limitações das ferramentas de anotação tradicionais#

Muitas ferramentas de rotulagem tradicionais dependem de várias etapas e fluxos de trabalho desconectados. Equipes de desenvolvimento de IA geralmente precisam alternar entre plataformas de anotação para rotulagem, armazenamento e validação, o que retarda os projetos de IA.

A maioria das ferramentas suporta apenas um conjunto limitado de tipos de anotação e tipos de dados, então as equipes acabam usando ferramentas diferentes para caixas delimitadoras, segmentação e pontos-chave. Essa configuração fragmentada pode ser difícil de gerenciar, especialmente para equipes novas em visão computacional.

O esforço manual é outro grande desafio. Embora anotar uma única imagem possa levar apenas alguns minutos, trabalhar com grandes conjuntos de dados rapidamente se torna demorado, especialmente quando imagens semelhantes envolvem tarefas repetitivas.

À medida que os conjuntos de dados crescem, as equipes também precisam gerenciar arquivos, rastrear versões de conjuntos de dados e manter a consistência entre as anotações. Isso aumenta a carga de trabalho, com mais tempo gasto no gerenciamento de dados e menos tempo melhorando o desempenho do modelo.

Uma abordagem mais eficiente é usar a anotação assistida por IA dentro da Ultralytics Platform, que usa IA para gerar e refinar rótulos, reduzindo o esforço manual enquanto melhora a velocidade e a consistência, tudo dentro de um único ambiente que reúne gerenciamento de conjuntos de dados, anotação, treinamento de modelo, implantação e monitoramento.

Como a Ultralytics Platform habilita o processo de anotação#

O Ultralytics Platform simplifica a anotação ao ligá-la diretamente ao resto do fluxo de trabalho de computer vision. Em vez de depender de ferramentas separadas, as equipas podem trabalhar com data, anotações e modelos num único ambiente.

Ela suporta uma série de tarefas de visão computacional, incluindo detecção de objetos, classificação de imagens, segmentação de instâncias, estimativa de pose e detecção de caixa delimitadora orientada.

Dentro dessa configuração, a anotação pode ser feita de várias maneiras. As equipes podem rotular dados manualmente para controle total, usar anotação inteligente alimentada por SAM para rotulagem interativa baseada em pontos ou aplicar anotação inteligente orientada por YOLO para gerar anotações automaticamente que podem ser revisadas e refinadas. Essa flexibilidade torna mais fácil trabalhar com diferentes conjuntos de dados e requisitos de anotação.

Fig 3. Uma vista sobre a anotação no Ultralytics Platform (Source)

Como a anotação assistida por IA e a manual são integradas ao gerenciamento de conjuntos de dados e ao treinamento de modelo, as equipes podem mover-se perfeitamente da rotulagem de dados para a organização de conjuntos de dados e treinamento de modelos. Isso mantém os fluxos de trabalho estruturados e elimina a necessidade de alternar entre ferramentas ou reformatar anotações.

A plataforma também suporta modelos Ultralytics YOLO como Ultralytics YOLO11 e Ultralytics YOLO26, permitindo que os dados anotados sejam usados diretamente para treino e teste. Isto torna mais fácil identificar lacunas em datasets, refinar anotações e re-treinar modelos através de iteração contínua.

Principais recursos da anotação inteligente SAM na Ultralytics Platform#

A anotação inteligente alimentada por SAM na Ultralytics Platform foi projetada para acelerar a anotação para tarefas de detecção de objetos, segmentação de instâncias e caixa delimitadora orientada (OBB).

A plataforma fornece várias variantes do modelo SAM, incluindo SAM 2.1 Tiny, SAM 2.1 Small, SAM 2.1 Base, SAM 2.1 Large e SAM 3, dando aos utilizadores a opção de escolher entre velocidade e precisão.

Fig 4. Anotação inteligente potenciada por SAM no Ultralytics Platform (Source)

Modelos menores, como Tiny e Small, são mais rápidos e adequados para fluxos de trabalho de anotação rápidos, enquanto modelos maiores como Large e SAM 3 oferecem maior precisão para cenas mais complexas. Alternar entre modelos atualiza o comportamento da anotação imediatamente.

Dentro do editor de anotação, uma vez que um modelo SAM é selecionado, os anotadores humanos podem entrar no modo Inteligente para começar a rotular. Em vez de desenhar formas manualmente, o modelo é guiado usando entradas simples baseadas em pontos.

Um clique esquerdo adiciona um ponto positivo para incluir uma região, enquanto um clique direito adiciona um ponto negativo para excluir áreas indesejadas. Com base nessas entradas, o modelo gera uma máscara precisa em tempo real.

Para acelerar o fluxo de trabalho, o modo de aplicação automática pode ser ativado. Quando ativo, cada clique gera e salva automaticamente uma anotação sem exigir confirmação manual. Para objetos mais complexos, os anotadores podem manter "Shift" pressionado para colocar vários pontos antes que a máscara seja aplicada ou desativar a aplicação automática para adicionar pontos livremente e, então, pressionar "Enter" para aplicar a máscara.

Entendendo a anotação inteligente YOLO na Ultralytics Platform#

Semelhante à anotação inteligente alimentada por SAM, a anotação inteligente YOLO na Ultralytics Platform usa IA para acelerar o processo de rotulagem. Em vez de guiar o modelo com cliques, ela usa previsões do modelo para gerar anotações automaticamente.

Essa abordagem suporta tarefas como detecção de objetos, segmentação de instâncias e anotação de caixa delimitadora orientada (OBB). Ela funciona especificamente com modelos Ultralytics YOLO, incluindo modelos pré-treinados fornecidos pela Ultralytics e modelos YOLO treinados de forma personalizada.

Dentro do annotation editor, os anotadores podem entrar no modo Smart, selecionar um modelo YOLO no seletor de modelos e clicar em Predict. O seletor de modelos mostra apenas modelos YOLO que correspondem à tarefa atual do dataset, garantindo que as anotações geradas são compatíveis.

O modelo analisa a imagem e gera anotações com base em suas previsões, que são então adicionadas diretamente à imagem. Se as previsões se sobrepuserem aos resultados de anotação existentes da mesma classe, as detecções duplicadas são ignoradas automaticamente quando a sobreposição excede um limite definido, ajudando a manter rótulos limpos e consistentes.

Fig 5. Anotação inteligente ativada por modelos Ultralytics YOLO no Ultralytics Platform (Source)

Uma vez geradas as previsões, os human-in-the-loop annotators podem revê-las, ajustá-las ou removê-las conforme necessário. Isto torna mais fácil rotular rapidamente grandes datasets começando com anotações geradas por modelos e refinando-as em vez de anotar tudo manualmente.

Com o tempo, modelos YOLO aprimorados podem ser reutilizados para gerar melhores previsões, suportando um fluxo de trabalho de rotulagem automática iterativo.

Aplicando a rotulagem assistida por IA em pipelines do mundo real#

A seguir, vamos percorrer exemplos de como a Ultralytics Platform possibilita a anotação de dados em casos de uso do mundo real.

Segmentação em direção autônoma#

Veículos autônomos integrados com modelos de visão computacional dependem de dados visuais bem anotados para entender seus arredores em tempo real. Modelos treinados com esses dados podem detectar e segmentar veículos, pedestres, sinais de trânsito e limites de estrada.

As tarefas de segmentação exigem limites precisos no nível do pixel, o que torna a anotação crítica e demorada. Rotular manualmente grandes volumes de dados de sensores pode rapidamente se tornar um gargalo, especialmente em cenas de direção complexas.

A Ultralytics Platform simplifica esse processo com anotação assistida por IA usando modelos SAM e YOLO. A anotação inteligente alimentada por SAM permite uma segmentação rápida baseada em cliques com máscaras precisas, enquanto os modelos YOLO podem ser usados para gerar anotações automaticamente em todas as imagens.

Juntas, essas abordagens tornam mais fácil lidar com cenas complexas com objetos sobrepostos.

Como a anotação está diretamente conectada ao treinamento de modelos, conjuntos de dados atualizados em grande escala podem ser usados imediatamente para treinar novamente e avaliar modelos. Isso permite que as equipes melhorem continuamente o desempenho e se adaptem a novas condições de direção de forma mais eficiente.

Aprimorando sistemas de garantia de qualidade na manufatura#

Na manufatura, manter um controle de qualidade consistente depende da detecção precisa de defeitos durante a produção. Modelos de visão computacional são frequentemente usados para identificar problemas em tempo real, mas seu desempenho depende do quanto os dados de treinamento refletem as condições reais de produção.

Mudanças nos ambientes de manufatura, como variações em matérias-primas, configurações de máquinas ou iluminação, podem introduzir tipos de defeitos novos e raros que não faziam parte dos dados de treinamento originais. Isso cria uma lacuna entre o que o modelo aprendeu e o que aparece na linha de produção.

Para se manter alinhados, os conjuntos de dados precisam ser atualizados regularmente com anotações internas de alta qualidade. A Ultralytics Platform torna simples atualizar anotações e expandir conjuntos de dados à medida que novos padrões de defeitos surgem. Esses conjuntos de dados atualizados podem então ser usados para treinar novamente modelos, ajudando as equipes a se adaptarem mais rapidamente às mudanças nas condições de produção.

Monitoramento de local e segurança na construção#

Canteiros de obras são ambientes dinâmicos, com várias equipes, equipamentos em movimento e layouts em constante mudança. Manter a segurança nessas condições depende de dados visuais claros e bem anotados.

Anotações precisas podem impulsionar a data quality e ajudar os sistemas de IA a identificar trabalhadores, equipamentos, equipamento de segurança e riscos potenciais numa variedade de condições no local, incluindo cenários lotados, fundos em mudança e iluminação variada.

A Ultralytics Platform apoia isso tornando fácil atualizar e refinar anotações à medida que as condições do local evoluem. Novas imagens podem ser capturadas e adicionadas ao conjunto de dados à medida que aparecem, mantendo-o alinhado com cenários do mundo real.

Principais pontos#

A anotação de alta qualidade é essencial para a construção de modelos confiáveis de visão computacional e IA, mas os fluxos de trabalho tradicionais geralmente retardam as equipes. A Ultralytics Platform simplifica esse processo com ferramentas de anotação automatizadas e um fluxo de trabalho escalável. Como resultado, as equipes podem avançar mais rápido dos dados para o modelo enquanto mantêm a precisão e a consistência.

Consulta a nossa crescente community e o GitHub repository para saberes mais sobre computer vision. Se pretendes construir soluções de visão, dá uma vista de olhos às nossas licensing options. Explora as nossas páginas de soluções para saberes mais sobre os benefícios de computer vision in manufacturing e AI in healthcare.