Otimizando a anotação de imagem com a Ultralytics Platform

A Ultralytics lançou recentemente a Ultralytics Platform, um ambiente criado para suportar todo o ciclo de vida do desenvolvimento de visão computacional. A plataforma centraliza ferramentas usadas para gerenciar os vários estágios dos fluxos de trabalho de visão AI, incluindo preparação de datasets, anotação de imagens e vídeos, treinamento de modelos e implantação.

Apesar da crescente adoção em setores como direção autônoma e saúde, a criação de soluções de computer vision ainda pode ser vista como um processo fragmentado. Um dos principais motivos é que os modelos de computer vision dependem fortemente da qualidade dos dados em que são treinados. Antes mesmo de o treinamento começar, os datasets precisam ser criados, organizados, revisados e rotulados para que o modelo possa aprender o que detectar ou reconhecer.

Ao trabalhar com dados visuais, esse processo é conhecido como anotação de dados ou anotação de imagens. Durante a anotação de imagens, partes específicas de uma imagem são marcadas e recebem rótulos que guiam o modelo durante o treinamento.

Por exemplo, se o objetivo é detectar cães em imagens, os anotadores podem desenhar bounding boxes ao redor de cada cão para mostrar onde eles aparecem. Em tarefas mais detalhadas, eles podem contornar o formato do cão usando máscaras de segmentação ou marcar keypoints para capturar sua postura. Esses exemplos rotulados influenciam diretamente o desempenho do modelo após a implantação.

Gerenciar fluxos de trabalho de anotação de imagens em escala pode ser desafiador. Grandes datasets geralmente exigem padrões de rotulagem consistentes, colaboração entre vários anotadores e ferramentas que tornem a revisão e o refinamento das anotações mais fáceis.

A Ultralytics Platform reúne tudo isso com um annotation editor integrado. Ela suporta vários tipos de tarefas de anotação e oferece às equipes uma maneira mais simples de rotular dados e preparar datasets de computer vision dentro de um único fluxo de trabalho.

Fig 1. Uma visão do editor de anotação na Ultralytics Platform (Source)

Neste artigo, exploraremos como o editor de anotação da Ultralytics Platform ajuda as equipes a anotar datasets de forma eficiente e otimiza a preparação de dados. Vamos começar!

Link to this sectionAnotação de dados em computer vision#

Antes de explorar as ferramentas de anotação de imagens disponíveis na Ultralytics Platform, vamos dar um passo atrás para entender o que é a anotação de dados e por que ela é importante na construção de sistemas de computer vision.

Computer vision models aprendem analisando grandes coleções de imagens ou vídeos conhecidas como datasets. No entanto, imagens brutas por si só não fornecem informações suficientes para um modelo entender o que ele deve detectar ou reconhecer. Para tornar os dados úteis para o treinamento, as imagens precisam ser rotuladas por meio da rotulagem de dados para que o modelo possa aprender quais objetos, formatos ou padrões procurar.

Durante a anotação de imagens, elementos específicos dentro de uma imagem são marcados e recebem rótulos que descrevem o que o modelo deve aprender. Esses exemplos rotulados guiam os modelos de deep learning e algoritmos durante o treinamento e os ajudam a reconhecer padrões semelhantes ao processar novas imagens.

Diferentes tarefas de computer vision exigem diferentes tipos de anotação de imagens, dependendo da aplicação e do caso de uso. Por exemplo, os anotadores podem desenhar bounding boxes ao redor de objetos para detecção de objetos, contornar regiões em uma imagem para segmentação semântica, definir keypoints para estimativa de pose ou atribuir rótulos a uma imagem inteira para classificação.

Link to this sectionGerenciando e preparando dados#

Preparar dados para projetos de computer vision geralmente envolve trabalhar com vários formatos de arquivo e organizar datasets. Também inclui garantir que tudo esteja pronto para a anotação e o treinamento de algoritmos de machine learning. Em muitos fluxos de trabalho, esse processo é distribuído entre várias ferramentas, com os dados sendo carregados, limpos e movidos entre sistemas antes de poderem ser usados.

A Ultralytics Platform simplifica isso lidando com a data preparation, o treinamento de modelos e a implantação dentro de um único ambiente. As equipes podem enviar imagens, vídeos ou arquivos de datasets e se beneficiar de uma abordagem totalmente personalizável para preparar seus dados com anotações manuais ou automatizadas por IA. A Ultralytics Platform suporta tanto dados brutos quanto formatos padrão como YOLO e COCO, tornando fácil iniciar novos projetos. Ela também fornece acesso a datasets existentes na plataforma, incluindo datasets anotados que as equipes podem usar para iniciar rapidamente novos projetos ou experimentos.

Fig 2. Carregue e gerencie datasets em um único ambiente na Ultralytics Platform. (Source)

Assim que os dados estiverem disponíveis, eles podem ser gerenciados diretamente na plataforma. Os desenvolvedores podem revisar imagens, monitorar o progresso da anotação e usar visualizações integradas para entender a distribuição do dataset e identificar possíveis lacunas.

A plataforma também suporta versionamento de datasets, ajudando as equipes a capturar snapshots de seus dados à medida que evoluem. Isso torna mais fácil rastrear alterações, comparar experimentos e manter a consistência durante o treinamento.

Com os dados preparados, as equipes podem passar para a anotação de imagens, onde elas são rotuladas para ajudar os modelos a aprender o que detectar.

Link to this sectionAnotando datasets na Ultralytics Platform#

Uma vez que os dados são carregados, o próximo passo é a anotação. É aqui que os dados de imagem são rotulados, estabelecendo as bases para então treinar modelos de computer vision. A Ultralytics Platform inclui serviços de anotação de imagens integrados por meio de um editor de anotação que permite às equipes rotular e gerenciar datasets diretamente no mesmo ambiente.

O editor de anotação se desdobra em um espaço de trabalho simples onde os usuários podem revisar imagens, adicionar rótulos e atualizar anotações conforme necessário. Tudo é organizado em um só lugar, tornando mais fácil manter os datasets consistentes e prontos para o treinamento de dados.

As equipes podem enviar datasets e começar a rotular imagens diretamente no navegador, definindo e gerenciando classes de anotação para garantir que os rótulos permaneçam consistentes em todo o dataset. À medida que as anotações são criadas, os usuários podem revisá-las visualmente no editor, tornando mais fácil verificar a precisão antes de passar para o treinamento do modelo.

Link to this sectionFerramentas de anotação de imagens na Ultralytics Platform#

A Ultralytics Platform também inclui vários recursos que suportam fluxos de trabalho eficientes de rotulagem de datasets, simplificando o processo de anotação usando algoritmos avançados.

Aqui estão alguns dos principais recursos disponíveis na Ultralytics Platform:

• Anotação manual: Esta abordagem permite que os usuários tenham controle total e flexibilidade ao criar anotações de imagem, como bounding boxes, regiões de segmentação ou keypoints, diretamente nas imagens.
• Rotulagem assistida por IA: Este recurso gera automaticamente anotações sugeridas, reduzindo a necessidade de rotulagem manual. Ele usa SAM (Segment Anything Model) para detectar objetos ou regiões com apenas um clique, otimizando o processo de anotação, ajudando os usuários a revisar e confirmar as sugestões antes de adicioná-las ao dataset.
• Edição de anotação: A qualquer momento, os usuários podem modificar ou refinar as anotações de imagem após serem criadas. Isso ajuda a corrigir erros de rotulagem e manter rótulos de dataset consistentes durante todo o processo de anotação.
• Gerenciamento de classes: Equipes e desenvolvedores solo podem definir e organizar classes de anotação usadas durante a rotulagem de datasets. Isso ajuda a manter os rótulos consistentes entre as imagens, o que é importante para treinar modelos que podem reconhecer e diferenciar classes com precisão.

Ao combinar ferramentas manuais, inteligência artificial e automação, a Ultralytics Platform ajuda os usuários a anotar imagens de forma mais eficiente. Ela também possibilita a preparação de dados de treinamento de alta qualidade para modelos de computer vision escaláveis.

Link to this sectionTipos de tarefas de anotação suportadas#

Diferentes casos de uso, como garantia de qualidade de produto, exigirão diferentes tipos de anotação, dependendo do que precisa ser detectado nas imagens ou vídeos. Como mencionamos acima, a Ultralytics Platform suporta cinco tarefas de detecção de objetos, cada uma com seu próprio tipo de anotação.

Vamos dar uma olhada mais de perto nas tarefas de anotação suportadas na plataforma e como elas podem ser usadas para rotular datasets.

Link to this sectionDetecção de objetos#

A detecção de objetos identifica e localiza objetos dentro de uma imagem. Os anotadores marcam cada objeto de interesse usando bounding boxes, indicando onde os itens aparecem na imagem.

No editor de anotação, isso é feito usando a ferramenta de bounding box. Os usuários podem entrar no “modo de edição”, clicar e arrastar para desenhar um retângulo ao redor de um objeto e atribuir um rótulo de classe a partir de um menu suspenso.

As bounding boxes podem ser ajustadas após a criação. Os anotadores podem redimensioná-las arrastando o canto ou a borda, movê-las arrastando o centro da caixa ou excluí-las usando atalhos de teclado. Essas anotações ajudam os modelos de visão a aprender a detectar objetos em diferentes cenas e condições.

Fig 3. Anotação de detecção de objetos usando bounding boxes na Ultralytics Platform. (Source)

Link to this sectionSegmentação de instâncias#

A segmentação de instâncias fornece anotações mais detalhadas ao definir o formato exato dos objetos dentro de uma imagem. Em vez de desenhar uma caixa simples, os anotadores traçam as bordas do objeto usando anotação de polígono para criar máscaras precisas para tarefas de segmentação de imagem.

O editor de anotação inclui uma ferramenta de polígono para esta tarefa. Os anotadores colocam vários vértices ao redor das bordas de um objeto para contornar seu formato. Uma vez que os vértices são colocados, o polígono pode ser fechado para criar uma máscara de segmentação.

Os vértices podem ser ajustados após a criação do polígono. Pontos individuais podem ser movidos para refinar as bordas do objeto, e vértices podem ser removidos, se necessário. Essas anotações em nível de pixel ajudam os modelos a aprender estruturas visuais detalhadas e a distinguir entre objetos que aparecem próximos uns dos outros.

Link to this sectionEstimativa de pose#

As anotações de estimativa de pose capturam as posições das articulações do corpo e as relações entre elas. Isso ajuda os modelos a entender a estrutura e o movimento de pessoas ou animais em uma imagem.

Usando a ferramenta de keypoint, os anotadores colocam keypoints que representam articulações do corpo, como ombros, cotovelos, pulsos, quadris, joelhos e tornozelos. A plataforma suporta vários modelos de esqueleto integrados, incluindo o formato de pose humana COCO de 17 pontos, bem como modelos para mãos, rostos, cães e cantos de caixas.

Os modelos tornam possível colocar um layout de esqueleto completo com um único clique, após o qual os keypoints individuais podem ser ajustados para corresponder à pose na imagem. Cada keypoint também pode incluir um sinalizador de visibilidade para indicar se está visível ou ocluído.

Fig 4. Anotação de estimativa de pose usando keypoints e modelos de esqueleto. (Source)

Link to this sectionOriented bounding boxes (OBB)#

As oriented bounding boxes levam as bounding boxes tradicionais um passo adiante ao suportar rotação. Esse tipo de anotação é útil quando os objetos aparecem em ângulos em vez de estarem alinhados com a moldura da imagem.

No editor de anotação, os anotadores podem usar a ferramenta de oriented bounding box para desenhar retângulos rotacionados ao redor dos objetos. Após desenhar a caixa inicial, uma alça de rotação pode ser usada para ajustar o ângulo, enquanto as alças de canto permitem que a caixa seja redimensionada.

As anotações rotacionadas são frequentemente usadas em imagens aéreas, datasets de inspeção industrial e outros cenários onde os objetos aparecem na diagonal ou de diferentes pontos de vista.

Fig 5. Anotação de oriented bounding box (OBB) para objetos rotacionados em imagens aéreas. (Source)

Link to this sectionClassificação de imagem#

A classificação de imagem atribui um rótulo a uma imagem inteira em vez de marcar objetos individuais dentro dela.

Para datasets de classificação, o editor de anotação fornece um painel seletor de classes. Os anotadores podem atribuir rótulos às imagens selecionando uma classe na barra lateral ou usando atalhos de teclado para uma rotulagem mais rápida.

Esses rótulos em nível de imagem ajudam os modelos a aprender padrões visuais de alto nível que representam diferentes categorias.

Link to this sectionAnotação assistida por IA com SAM#

Rotular imagens para tarefas como segmentação geralmente requer um trabalho cuidadoso e detalhado, especialmente quando os objetos precisam ser contornados com precisão. A Ultralytics Platform inclui ferramentas de anotação assistidas por IA que aceleram o processo, mantendo as anotações precisas e fáceis de revisar.

Por exemplo, os anotadores podem interagir com uma imagem clicando em partes de um objeto que desejam incluir na anotação. Eles também podem marcar áreas que devem ser excluídas para refinar o resultado. Com base nesses inputs, o modelo gera uma máscara de segmentação em tempo real, que pode então ser revisada e ajustada antes de ser salva.

Essa abordagem torna mais fácil trabalhar com imagens complexas sem a necessidade de traçar manualmente cada detalhe. Ao mesmo tempo, os anotadores permanecem no controle do resultado final, garantindo que as anotações permaneçam consistentes em todo o dataset.

Fig 6. Segmentação assistida por IA usando a ferramenta de anotação Smart na Ultralytics Platform. (Source)

Esses recursos são alimentados por Segment Anything Models (SAM). Esses modelos fazem parte de um ecossistema mais amplo de ferramentas de computer vision open source projetadas para gerar segmentações de alta qualidade a partir de um input mínimo. A plataforma suporta várias variantes do SAM, incluindo SAM 2.1 e SAM 3. Isso dá às equipes a flexibilidade de escolher entre um desempenho mais rápido e resultados mais detalhados com base em suas necessidades.

Essas ferramentas assistidas por IA podem ser aplicadas em tarefas como detecção de objetos, segmentação de instâncias e detecção de oriented bounding box. Isso significa que as equipes podem processar grandes datasets com mais eficiência, mantendo a qualidade necessária para um treinamento de modelo confiável.

Link to this sectionMelhorando fluxos de trabalho de anotação com ferramentas integradas#

À medida que o trabalho de anotação progride, é comum voltar e ajustar rótulos, corrigir erros ou revisar imagens mais de perto. O editor de anotação da Ultralytics inclui ferramentas integradas que tornam essas tarefas diárias mais fáceis de lidar e menos demoradas.

Alguns dos recursos de fluxo de trabalho disponíveis no editor incluem:

• Atalhos de teclado: O editor inclui atalhos que aceleram ações comuns, como salvar anotações, desfazer ou refazer alterações, excluir rótulos e selecionar classes enquanto anota.
• Histórico de desfazer e refazer: Os anotadores podem facilmente reverter ou restaurar as alterações feitas durante uma sessão de edição. Isso ajuda as equipes a experimentar com anotações e corrigir rapidamente erros sem perder o progresso, apoiando um melhor controle de qualidade durante a preparação do dataset.
• Edição flexível de anotação: As anotações podem ser ajustadas mesmo após a criação. Os usuários podem redimensionar formas, mover anotações, rotacionar oriented bounding boxes ou atualizar rótulos de classe conforme necessário, especialmente ao refinar objetos com formas irregulares.
• Controles de visibilidade: O editor inclui alternadores de visibilidade que permitem aos usuários mostrar ou ocultar anotações e rótulos de classe, tornando mais fácil inspecionar imagens durante a rotulagem.
• Ferramentas de precisão: Recursos como zoom e um cursor de mira com coordenadas de pixel ajudam os anotadores a colocar rótulos com mais precisão ao trabalhar com imagens detalhadas.

Link to this sectionGerenciando classes de anotação na Ultralytics Platform#

Classes de anotação claras e consistentes desempenham um papel importante na construção de datasets de computer vision confiáveis. À medida que os projetos crescem, gerenciar a rotulagem de dados em grandes datasets pode se tornar difícil, especialmente quando vários anotadores estão envolvidos. Manter as classes bem organizadas ajuda a garantir que as anotações permaneçam consistentes e que os modelos aprendam com dados estruturados.

A Ultralytics Platform simplifica esse processo trazendo o gerenciamento de classes diretamente para o editor de anotação. Em vez de lidar com os rótulos separadamente, as equipes podem criar, atualizar e revisar classes enquanto trabalham nas imagens, tornando mais fácil manter a consistência durante todo o fluxo de trabalho de anotação.

Dentro do editor, todas as classes estão disponíveis em uma barra lateral ao lado da tela de anotação. Isso facilita a seleção do rótulo correto durante a anotação e o acompanhamento de como as classes estão sendo usadas em todo o dataset. Os usuários podem pesquisar classes existentes ou criar novas conforme necessário, sem interromper seu fluxo de trabalho.

Os detalhes da classe também podem ser atualizados a qualquer momento. Os nomes podem ser editados diretamente, e cores podem ser atribuídas para tornar diferentes classes mais fáceis de identificar nas anotações. O editor também mostra quantas anotações estão vinculadas a cada classe e permite que os usuários as revisem, ajudando as equipes a verificar a consistência e a precisão.

Todas as classes são gerenciadas por meio de uma tabela centralizada onde podem ser classificadas, pesquisadas e atualizadas. Quaisquer alterações feitas aqui são aplicadas automaticamente em todo o dataset, ajudando as equipes a manter a consistência à medida que os projetos de anotação aumentam.

Fig 7. O gerenciamento de classes no editor de anotação mostra a organização dos rótulos e a personalização de cores. (Source)

Link to this sectionComo a qualidade da anotação afeta o desempenho no mundo real#

À medida que os sistemas de computer vision passam do desenvolvimento para o uso no mundo real, a qualidade dos dados anotados desempenha um papel fundamental no desempenho dos modelos. Datasets bem rotulados ajudam os modelos a produzir previsões mais precisas e consistentes, especialmente em ambientes dinâmicos ou imprevisíveis.

Na prática, até mesmo pequenas inconsistências na anotação podem afetar o comportamento do modelo. Diferenças na forma como os objetos são rotulados ou como casos extremos são tratados podem não ser óbvias durante o treinamento, mas podem levar a previsões menos confiáveis uma vez que os sistemas são implantados.

Além disso, essas inconsistências podem se tornar mais visíveis em aplicações do mundo real. Por exemplo, em robótica e sistemas de saúde, os modelos dependem de inputs visuais para detectar objetos e guiar ações em tempo real. Variações na rotulagem podem influenciar a precisão com que esses sistemas interpretam seus arredores.

Ao manter práticas de anotação consistentes e usar plataformas como a Ultralytics para gerenciar e refinar datasets ao longo do tempo, as equipes podem construir modelos que funcionam de forma mais confiável além dos ambientes de teste controlados.

Link to this sectionPrincipais pontos#

A anotação de dados de alta qualidade é essencial para treinar modelos de computer vision precisos e apoiar projetos de anotação de imagem bem-sucedidos. A Ultralytics Platform simplifica esse processo com um poderoso editor de anotação que suporta várias tarefas de visão. Ao combinar ferramentas de anotação manual com rotulagem assistida por IA usando SAM e recursos de fluxo de trabalho integrados, as equipes podem preparar datasets com mais eficiência e avançar mais rápido da preparação de dados para o desenvolvimento de modelos.

Junte-se à nossa comunidade e explore o GitHub repository para saber mais sobre modelos de computer vision. Leia sobre aplicações como AI in automotive e computer vision in robotics em nossas páginas de soluções. Confira nossas opções de licenciamento e comece a construir seu próprio modelo de vision AI.