Como a Ultralytics Platform usa IA para automatizar a anotação

Soluções de visão computacional que analisam imagens e vídeos estão se tornando parte regular dos fluxos de trabalho em diversos setores, desde a manufatura até a imagem médica. Na manufatura, por exemplo, a detecção de defeitos de superfície em produtos que se movem em uma esteira depende de modelos de visão computacional que conseguem identificar padrões sutis.

Para que esses modelos funcionem bem, eles precisam ser treinados com dados rotulados, onde cada defeito é claramente identificado. Isso permite que esses modelos aprendam o que procurar e reconheçam padrões semelhantes.

O processo de criação desses rótulos é chamado de anotação de dados. Em particular, a anotação de imagem e a anotação de vídeo envolvem desenhar caixas delimitadoras, contornar formas ou rotular regiões específicas dentro de imagens e quadros de vídeo.

Embora isso seja gerenciável para conjuntos de dados pequenos, torna-se rapidamente difícil de lidar à medida que os dados crescem. Rotular milhares de imagens exige um esforço manual consistente, tornando a anotação um grande gargalo. As ferramentas tradicionais são frequentemente lentas, fragmentadas e difíceis de escalar.

A Ultralytics Platform, a plataforma de IA de visão tudo-em-um, ajuda a resolver esses desafios com anotação assistida por IA. Ao usar IA para gerar automaticamente rótulos iniciais que podem ser rapidamente revisados e refinados, ela reduz o esforço manual e melhora a eficiência.

Neste artigo, exploraremos como a anotação assistida por IA funciona dentro da Ultralytics Platform e como ela melhora o processo de rotulagem. Vamos começar!

Link to this sectionUma visão geral do processo de anotação de dados#

Antes de mergulhar em como a anotação alimentada por IA funciona na Ultralytics Platform, vamos primeiro dar uma olhada mais de perto na anotação de dados.

A anotação de dados, também conhecida como rotulagem de dados, é o processo de atribuir rótulos estruturados a dados brutos para que possam ser usados para treinar modelos de aprendizado de máquina. Na visão computacional, esses rótulos definem os objetos, regiões ou características de interesse dentro de imagens ou vídeos.

Durante o treinamento, modelos ou algoritmos aprendem a mapear dados de entrada para esses rótulos, tornando a qualidade da anotação um fator chave no desempenho do modelo. Conjuntos de dados rotulados precisos e consistentes tornam possível para o modelo aprender padrões corretos, enquanto anotações ruins ou inconsistentes podem levar a previsões não confiáveis.

Por exemplo, em um caso de uso de detecção de defeitos, uma imagem de um produto em uma esteira pode ser anotada marcando onde os defeitos aparecem e rotulando que tipo de defeito eles são. Isso ajuda o modelo a aprender como são os defeitos para que ele possa identificá-los em novas imagens.

Link to this sectionUma olhada nas tarefas comuns de anotação#

Em seguida, vejamos algumas maneiras comuns pelas quais as imagens são anotadas na visão computacional. Esses métodos são usados para rotular dados visuais para tarefas como detecção de objetos, segmentação de instâncias e classificação de imagens. Cada método de anotação serve a uma função diferente, como localizar objetos, capturar formas ou identificar estruturas chave.

Link to this sectionBounding boxes#

Caixas delimitadoras (bounding boxes) são retângulos simples desenhados ao redor de objetos em uma imagem para mostrar onde eles estão. Elas são uma das formas mais comuns de rotular dados em visão computacional.

Ao treinar com imagens com essas caixas, os modelos de detecção de objetos aprendem a reconhecer diferentes objetos e a entender sua localização dentro de uma imagem. Isso permite que eles detectem vários objetos ao mesmo tempo e identifiquem onde cada um aparece.

Por exemplo, considere um jogo de beisebol sendo analisado usando visão computacional. Caixas podem ser desenhadas ao redor dos jogadores, do bastão e da bola em cada quadro, permitindo que o modelo detecte e identifique esses objetos ao longo do jogo.

Fig 1. Caixas delimitadoras podem ser usadas para rotular e localizar vários objetos. (Fonte)

Link to this sectionPolígonos ou máscaras de segmentação#

Polígonos, também chamados de máscaras de segmentação, vão um passo além das caixas delimitadoras ao rotular objetos no nível do pixel. Em vez de desenhar um retângulo aproximado, eles capturam a forma e as bordas exatas de cada objeto em uma imagem. Isso os torna úteis para tarefas que exigem um entendimento mais detalhado.

Por exemplo, na direção autônoma, máscaras de segmentação são usadas em tarefas como segmentação semântica, onde cada pixel recebe uma categoria como estrada ou céu, e segmentação de instâncias, onde objetos individuais como veículos ou pedestres são identificados separadamente.

Elas também são usadas para tarefas como remoção de fundo, onde um objeto, como uma pessoa, precisa ser isolado do resto da imagem.

Link to this sectionPontos-chave (Keypoints)#

Pontos-chave são usados para marcar pontos específicos em um objeto, como articulações no corpo humano ou partes de um animal. Ao identificar esses pontos, os modelos podem entender a estrutura de um objeto e como suas partes estão posicionadas em relação umas às outras.

Na visão computacional, isso é conhecido como estimativa de pose, onde o objetivo é identificar a localização desses pontos-chave e entender como eles se relacionam. Rastrear esses pontos ao longo do tempo torna possível analisar o movimento e as mudanças na postura.

Fig 2. Anotações de pontos-chave podem ser usadas para marcar articulações para estimativa de pose humana. (Fonte)

Um exemplo comum é marcar as articulações do corpo em um vídeo para analisar o movimento humano. Ao focar nesses pontos-chave, os modelos podem capturar como uma pessoa está posicionada e como sua postura muda com o tempo.

Link to this sectionCaixa delimitadora orientada (OBB)#

Nem todos os objetos em uma imagem estão perfeitamente alinhados. Em muitos cenários do mundo real, os objetos aparecem inclinados, rotacionados ou são vistos de diferentes ângulos.

As caixas delimitadoras padrão geralmente têm dificuldade nesses casos, pois podem incluir fundo desnecessário ou falhar em corresponder ao objeto de perto. As caixas delimitadoras orientadas resolvem isso usando retângulos rotacionados que se alinham com a direção do objeto. Isso resulta em anotações mais precisas e justas.

Essa abordagem é usada na detecção de caixa delimitadora orientada (OBB), onde os modelos identificam tanto a localização de um objeto quanto sua orientação. Um exemplo é a imagem aérea, onde objetos como prédios, navios ou veículos geralmente aparecem em ângulos diferentes. Caixas rotacionadas tornam mais fácil capturar sua forma e direção reais dentro da cena.

Link to this sectionRótulos de classificação#

Rótulos de classificação adotam uma abordagem diferente de outros métodos de anotação ao atribuir um único rótulo a uma imagem inteira, em vez de marcar objetos ou regiões específicos. Eles são usados quando o objetivo é identificar o que está presente em uma imagem, sem focar em onde aparece.

Por exemplo, uma imagem pode ser rotulada como “gato” ou “cachorro” com base em seu conteúdo geral. Isso torna a classificação de imagens útil para tarefas onde um entendimento de alto nível da imagem é suficiente.

Link to this sectionLimitações das ferramentas de anotação tradicionais#

Muitas ferramentas de rotulagem tradicionais dependem de várias etapas e fluxos de trabalho desconectados. Equipes de desenvolvimento de IA geralmente precisam alternar entre plataformas de anotação para rotulagem, armazenamento e validação, o que retarda os projetos de IA.

A maioria das ferramentas suporta apenas um conjunto limitado de tipos de anotação e tipos de dados, então as equipes acabam usando ferramentas diferentes para caixas delimitadoras, segmentação e pontos-chave. Essa configuração fragmentada pode ser difícil de gerenciar, especialmente para equipes novas em visão computacional.

O esforço manual é outro grande desafio. Embora anotar uma única imagem possa levar apenas alguns minutos, trabalhar com grandes conjuntos de dados rapidamente se torna demorado, especialmente quando imagens semelhantes envolvem tarefas repetitivas.

À medida que os conjuntos de dados crescem, as equipes também precisam gerenciar arquivos, rastrear versões de conjuntos de dados e manter a consistência entre as anotações. Isso aumenta a carga de trabalho, com mais tempo gasto no gerenciamento de dados e menos tempo melhorando o desempenho do modelo.

Uma abordagem mais eficiente é usar a anotação assistida por IA dentro da Ultralytics Platform, que usa IA para gerar e refinar rótulos, reduzindo o esforço manual enquanto melhora a velocidade e a consistência, tudo dentro de um único ambiente que reúne gerenciamento de conjuntos de dados, anotação, treinamento de modelo, implantação e monitoramento.

Link to this sectionComo a Ultralytics Platform habilita o processo de anotação#

A Ultralytics Platform simplifica a anotação conectando-a diretamente com o restante do fluxo de trabalho de visão computacional. Em vez de depender de ferramentas separadas, as equipes podem trabalhar com dados, anotações e modelos em um único ambiente.

Ela suporta uma série de tarefas de visão computacional, incluindo detecção de objetos, classificação de imagens, segmentação de instâncias, estimativa de pose e detecção de caixa delimitadora orientada.

Dentro dessa configuração, a anotação pode ser feita de várias maneiras. As equipes podem rotular dados manualmente para controle total, usar anotação inteligente alimentada por SAM para rotulagem interativa baseada em pontos ou aplicar anotação inteligente orientada por YOLO para gerar anotações automaticamente que podem ser revisadas e refinadas. Essa flexibilidade torna mais fácil trabalhar com diferentes conjuntos de dados e requisitos de anotação.

Fig 3. Uma olhada na anotação dentro da Ultralytics Platform (Fonte)

Como a anotação assistida por IA e a manual são integradas ao gerenciamento de conjuntos de dados e ao treinamento de modelo, as equipes podem mover-se perfeitamente da rotulagem de dados para a organização de conjuntos de dados e treinamento de modelos. Isso mantém os fluxos de trabalho estruturados e elimina a necessidade de alternar entre ferramentas ou reformatar anotações.

A plataforma também suporta modelos Ultralytics YOLO como Ultralytics YOLO11 e Ultralytics YOLO26, permitindo que dados anotados sejam usados diretamente para treinamento e teste. Isso torna mais fácil identificar lacunas em conjuntos de dados, refinar anotações e treinar novamente modelos por meio de iteração contínua.

Link to this sectionPrincipais recursos da anotação inteligente SAM na Ultralytics Platform#

A anotação inteligente alimentada por SAM na Ultralytics Platform foi projetada para acelerar a anotação para tarefas de detecção de objetos, segmentação de instâncias e caixa delimitadora orientada (OBB).

A plataforma fornece várias variantes de modelos SAM, incluindo SAM 2.1 Tiny, SAM 2.1 Small, SAM 2.1 Base, SAM 2.1 Large e SAM 3, dando aos usuários a opção de escolher entre velocidade e precisão.

Fig 4. Anotação inteligente alimentada por SAM na Ultralytics Platform (Fonte)

Modelos menores, como Tiny e Small, são mais rápidos e adequados para fluxos de trabalho de anotação rápidos, enquanto modelos maiores como Large e SAM 3 oferecem maior precisão para cenas mais complexas. Alternar entre modelos atualiza o comportamento da anotação imediatamente.

Dentro do editor de anotação, uma vez que um modelo SAM é selecionado, os anotadores humanos podem entrar no modo Inteligente para começar a rotular. Em vez de desenhar formas manualmente, o modelo é guiado usando entradas simples baseadas em pontos.

Um clique esquerdo adiciona um ponto positivo para incluir uma região, enquanto um clique direito adiciona um ponto negativo para excluir áreas indesejadas. Com base nessas entradas, o modelo gera uma máscara precisa em tempo real.

Para acelerar o fluxo de trabalho, o modo de aplicação automática pode ser ativado. Quando ativo, cada clique gera e salva automaticamente uma anotação sem exigir confirmação manual. Para objetos mais complexos, os anotadores podem manter "Shift" pressionado para colocar vários pontos antes que a máscara seja aplicada ou desativar a aplicação automática para adicionar pontos livremente e, então, pressionar "Enter" para aplicar a máscara.

Link to this sectionEntendendo a anotação inteligente YOLO na Ultralytics Platform#

Semelhante à anotação inteligente alimentada por SAM, a anotação inteligente YOLO na Ultralytics Platform usa IA para acelerar o processo de rotulagem. Em vez de guiar o modelo com cliques, ela usa previsões do modelo para gerar anotações automaticamente.

Essa abordagem suporta tarefas como detecção de objetos, segmentação de instâncias e anotação de caixa delimitadora orientada (OBB). Ela funciona especificamente com modelos Ultralytics YOLO, incluindo modelos pré-treinados fornecidos pela Ultralytics e modelos YOLO treinados de forma personalizada.

Dentro do editor de anotação, os anotadores podem entrar no modo Inteligente, selecionar um modelo YOLO do seletor de modelos e clicar em Prever. O seletor de modelos mostra apenas modelos YOLO que correspondem à tarefa atual do conjunto de dados, garantindo que as anotações geradas sejam compatíveis.

O modelo analisa a imagem e gera anotações com base em suas previsões, que são então adicionadas diretamente à imagem. Se as previsões se sobrepuserem aos resultados de anotação existentes da mesma classe, as detecções duplicadas são ignoradas automaticamente quando a sobreposição excede um limite definido, ajudando a manter rótulos limpos e consistentes.

Fig 5. Anotação inteligente habilitada por modelos Ultralytics YOLO na Ultralytics Platform (Fonte)

Uma vez que as previsões são geradas, os anotadores humanos no loop podem revisá-las, ajustá-las ou removê-las conforme necessário. Isso torna mais fácil rotular rapidamente grandes conjuntos de dados começando com anotações geradas pelo modelo e refinando-as em vez de anotar tudo manualmente.

Com o tempo, modelos YOLO aprimorados podem ser reutilizados para gerar melhores previsões, suportando um fluxo de trabalho de rotulagem automática iterativo.

Link to this sectionAplicando a rotulagem assistida por IA em pipelines do mundo real#

A seguir, vamos percorrer exemplos de como a Ultralytics Platform possibilita a anotação de dados em casos de uso do mundo real.

Link to this sectionSegmentação em direção autônoma#

Veículos autônomos integrados com modelos de visão computacional dependem de dados visuais bem anotados para entender seus arredores em tempo real. Modelos treinados com esses dados podem detectar e segmentar veículos, pedestres, sinais de trânsito e limites de estrada.

As tarefas de segmentação exigem limites precisos no nível do pixel, o que torna a anotação crítica e demorada. Rotular manualmente grandes volumes de dados de sensores pode rapidamente se tornar um gargalo, especialmente em cenas de direção complexas.

A Ultralytics Platform simplifica esse processo com anotação assistida por IA usando modelos SAM e YOLO. A anotação inteligente alimentada por SAM permite uma segmentação rápida baseada em cliques com máscaras precisas, enquanto os modelos YOLO podem ser usados para gerar anotações automaticamente em todas as imagens.

Juntas, essas abordagens tornam mais fácil lidar com cenas complexas com objetos sobrepostos.

Como a anotação está diretamente conectada ao treinamento de modelos, conjuntos de dados atualizados em grande escala podem ser usados imediatamente para treinar novamente e avaliar modelos. Isso permite que as equipes melhorem continuamente o desempenho e se adaptem a novas condições de direção de forma mais eficiente.

Link to this sectionAprimorando sistemas de garantia de qualidade na manufatura#

Na manufatura, manter um controle de qualidade consistente depende da detecção precisa de defeitos durante a produção. Modelos de visão computacional são frequentemente usados para identificar problemas em tempo real, mas seu desempenho depende do quanto os dados de treinamento refletem as condições reais de produção.

Mudanças nos ambientes de manufatura, como variações em matérias-primas, configurações de máquinas ou iluminação, podem introduzir tipos de defeitos novos e raros que não faziam parte dos dados de treinamento originais. Isso cria uma lacuna entre o que o modelo aprendeu e o que aparece na linha de produção.

Para se manter alinhados, os conjuntos de dados precisam ser atualizados regularmente com anotações internas de alta qualidade. A Ultralytics Platform torna simples atualizar anotações e expandir conjuntos de dados à medida que novos padrões de defeitos surgem. Esses conjuntos de dados atualizados podem então ser usados para treinar novamente modelos, ajudando as equipes a se adaptarem mais rapidamente às mudanças nas condições de produção.

Link to this sectionMonitoramento de local e segurança na construção#

Canteiros de obras são ambientes dinâmicos, com várias equipes, equipamentos em movimento e layouts em constante mudança. Manter a segurança nessas condições depende de dados visuais claros e bem anotados.

Anotações precisas podem impulsionar a qualidade dos dados e ajudar sistemas de IA a identificar trabalhadores, equipamentos, equipamentos de segurança e riscos potenciais em uma variedade de condições de local, incluindo cenas lotadas, planos de fundo em mudança e iluminação variável.

A Ultralytics Platform apoia isso tornando fácil atualizar e refinar anotações à medida que as condições do local evoluem. Novas imagens podem ser capturadas e adicionadas ao conjunto de dados à medida que aparecem, mantendo-o alinhado com cenários do mundo real.

Link to this sectionPrincipais pontos#

A anotação de alta qualidade é essencial para a construção de modelos confiáveis de visão computacional e IA, mas os fluxos de trabalho tradicionais geralmente retardam as equipes. A Ultralytics Platform simplifica esse processo com ferramentas de anotação automatizadas e um fluxo de trabalho escalável. Como resultado, as equipes podem avançar mais rápido dos dados para o modelo enquanto mantêm a precisão e a consistência.

Confira nossa comunidade em crescimento e nosso repositório no GitHub para saber mais sobre visão computacional. Se você deseja criar soluções de visão, dê uma olhada em nossas opções de licenciamento. Explore nossas páginas de soluções para saber mais sobre os benefícios da visão computacional na manufatura e IA na saúde.