Simplificando a anotação de imagens com a Ultralytics Platform

Recentemente, a Ultralytics apresentou a Ultralytics Platform, um ambiente criado para dar suporte a todo o ciclo de vida do desenvolvimento de visão computacional. A plataforma centraliza ferramentas usadas para gerenciar as várias etapas dos fluxos de trabalho de IA visual, incluindo preparação de conjuntos de dados, anotação de imagens e vídeos, treinamento de modelos e implantação.

Apesar da crescente adoção em setores como direção autônoma e saúde, a criação de soluções de visão computacional ainda pode ser vista como um processo fragmentado. Um dos principais motivos é a forte dependência dos modelos de visão computacional em relação à qualidade dos dados usados no treinamento. Antes mesmo de começar o treinamento, é preciso criar, organizar, revisar e rotular os conjuntos de dados para que o modelo aprenda o que deve detectar ou reconhecer.

Ao trabalhar com dados visuais, esse processo é conhecido como anotação de dados ou anotação de imagens. Durante a anotação de imagens, partes específicas de uma imagem são marcadas e recebem rótulos que orientam o modelo durante o treinamento.

Por exemplo, se o objetivo for detectar cães em imagens, os anotadores podem desenhar caixas delimitadoras ao redor de cada cão para indicar onde eles aparecem. Em tarefas mais detalhadas, podem contornar a forma do cão usando máscaras de segmentação ou marcar pontos-chave para registrar sua postura. Esses exemplos rotulados influenciam diretamente o desempenho do modelo após a implantação.

Gerenciar fluxos de trabalho de anotação de imagens em grande escala pode ser um desafio. Conjuntos de dados grandes geralmente exigem padrões de rotulagem consistentes, colaboração entre vários anotadores e ferramentas que facilitem a revisão e o refinamento das anotações.

A Ultralytics Platform reúne tudo isso em um editor de anotações integrado. Ele oferece suporte a vários tipos de tarefas de anotação e proporciona às equipes uma maneira mais simples de rotular dados e preparar conjuntos de dados de visão computacional em um único fluxo de trabalho.

Fig. 1. Visão geral do editor de anotações da Ultralytics Platform (Fonte)

Neste artigo, vamos explorar como o editor de anotações da Ultralytics Platform ajuda as equipes a anotar conjuntos de dados com eficiência e agiliza a preparação dos dados. Vamos começar!

Anotação de dados em visão computacional#

Antes de explorar as ferramentas de anotação de imagens disponíveis na Ultralytics Platform, vamos entender melhor o que é anotação de dados e por que ela é importante na criação de sistemas de visão computacional.

Os modelos de visão computacional aprendem analisando grandes coleções de imagens ou vídeos conhecidas como conjuntos de dados. No entanto, imagens brutas, por si só, não fornecem informações suficientes para que um modelo entenda o que deve detectar ou reconhecer. Para que os dados sejam úteis no treinamento, as imagens precisam ser rotuladas por meio da rotulagem de dados, para que o modelo aprenda quais objetos, formas ou padrões procurar.

Durante a anotação de imagens, elementos específicos de uma imagem são marcados e recebem rótulos que descrevem o que o modelo deve aprender. Esses exemplos rotulados orientam os modelos e algoritmos de deep learning durante o treinamento e ajudam a reconhecer padrões semelhantes ao processar novas imagens.

Diferentes tarefas de visão computacional exigem diferentes tipos de anotação de imagens, dependendo da aplicação e do caso de uso. Por exemplo, os anotadores podem desenhar caixas delimitadoras ao redor de objetos para detecção de objetos, contornar regiões de uma imagem para segmentação semântica, definir pontos-chave para estimativa de pose ou atribuir rótulos a uma imagem inteira para classificação.

Gerenciamento e preparação de dados#

A preparação de dados para projetos de visão computacional geralmente envolve lidar com vários formatos de arquivo e organizar conjuntos de dados. Também inclui garantir que tudo esteja pronto para a anotação e o treinamento de algoritmos de machine learning. Em muitos fluxos de trabalho, esse processo é dividido entre várias ferramentas, com os dados sendo carregados, limpos e transferidos entre sistemas antes de poderem ser usados.

A Ultralytics Platform simplifica esse processo ao gerenciar a preparação de dados, o treinamento de modelos e a implantação em um único ambiente. As equipes podem carregar imagens, vídeos ou arquivos compactados de conjuntos de dados e aproveitar uma abordagem totalmente personalizável para preparar os dados com anotações manuais ou automatizadas por IA. A Ultralytics Platform oferece suporte tanto a dados brutos quanto a formatos padrão, como YOLO e COCO, facilitando o início de novos projetos. Também dá acesso aos conjuntos de dados existentes na plataforma, incluindo conjuntos de dados anotados que as equipes podem usar para iniciar rapidamente novos projetos ou experimentos.

Fig. 2. Carregue e gerencie conjuntos de dados em um único ambiente na Ultralytics Platform. (Fonte)

Quando os dados estiverem disponíveis, será possível gerenciá-los diretamente na plataforma. Os desenvolvedores podem revisar imagens, acompanhar o progresso da anotação e usar visualizações integradas para entender a distribuição do conjunto de dados e identificar possíveis lacunas.

A plataforma também oferece suporte ao versionamento de conjuntos de dados, ajudando as equipes a registrar instantâneos dos dados à medida que evoluem. Isso facilita o acompanhamento de alterações, a comparação de experimentos e a manutenção da consistência durante o treinamento.

Com os dados preparados, as equipes podem passar à anotação das imagens, rotulando-as para ajudar os modelos a aprender o que detectar.

Anotação de conjuntos de dados na Ultralytics Platform#

Depois de carregar os dados, a próxima etapa é a anotação. É nesse momento que os dados de imagem são rotulados, estabelecendo as bases para o treinamento de modelos de visão computacional. A Ultralytics Platform inclui serviços integrados de anotação de imagens por meio de um editor de anotações que permite às equipes rotular e gerenciar conjuntos de dados diretamente no mesmo ambiente.

O editor de anotações oferece um espaço de trabalho simples onde os usuários podem revisar imagens, adicionar rótulos e atualizar anotações conforme necessário. Tudo fica organizado em um só lugar, facilitando a manutenção da consistência dos conjuntos de dados e deixando-os prontos para o treinamento.

As equipes podem carregar conjuntos de dados e começar a rotular imagens diretamente no navegador, definindo e gerenciando classes de anotação para garantir a consistência dos rótulos em todo o conjunto de dados. À medida que as anotações são criadas, os usuários podem revisá-las visualmente no editor, facilitando a verificação da precisão antes de iniciar o treinamento do modelo.

Ferramentas de anotação de imagens na Ultralytics Platform#

A Ultralytics Platform também inclui vários recursos que dão suporte a fluxos de trabalho eficientes de rotulagem de conjuntos de dados, simplificando o processo de anotação com algoritmos avançados.

Veja alguns dos principais recursos disponíveis na Ultralytics Platform:

• Anotação manual: essa abordagem permite que os usuários tenham controle e flexibilidade totais ao criar anotações em imagens, como caixas delimitadoras, regiões de segmentação ou pontos-chave, diretamente nas imagens.
• Rotulagem assistida por IA: esse recurso gera automaticamente sugestões de anotação, reduzindo a necessidade de rotulagem manual. Ele usa o SAM (Modelo Segment Anything) para detectar objetos ou regiões com apenas um clique, agilizando o processo de anotação e ajudando os usuários a revisar e confirmar as sugestões antes de adicioná-las ao conjunto de dados.
• Edição de anotações: a qualquer momento, os usuários podem modificar ou refinar as anotações de imagens após criá-las. Isso ajuda a corrigir erros de rotulagem e a manter a consistência dos rótulos do conjunto de dados durante todo o processo de anotação.
• Gerenciamento de classes: as equipes e os desenvolvedores individuais podem definir e organizar as classes de anotação usadas durante a rotulagem dos conjuntos de dados. Isso ajuda a manter a consistência dos rótulos entre as imagens, algo importante para treinar modelos capazes de reconhecer e diferenciar classes com precisão.

Ao combinar ferramentas manuais, inteligência artificial e automação, a Ultralytics Platform ajuda os usuários a anotar imagens com mais eficiência. Ela também permite preparar dados de treinamento de alta qualidade para modelos de visão computacional escaláveis.

Tipos de tarefas de anotação compatíveis#

Diferentes casos de uso, como a garantia de qualidade de produtos, exigem diferentes tipos de anotação, dependendo do que precisa ser detectado nas imagens ou nos vídeos. Como mencionamos acima, a Ultralytics Platform oferece suporte a cinco tarefas de detecção de objetos, cada uma com seu próprio tipo de anotação.

Vamos examinar mais de perto as tarefas de anotação compatíveis com a plataforma e como elas podem ser usadas para rotular conjuntos de dados.

Detecção de objetos#

A detecção de objetos identifica e localiza objetos em uma imagem. Os anotadores marcam cada objeto de interesse usando caixas delimitadoras para indicar onde os itens aparecem na imagem.

No editor de anotações, isso é feito com a ferramenta de caixa delimitadora. Os usuários podem entrar no “modo de edição”, clicar e arrastar para desenhar um retângulo ao redor de um objeto e atribuir um rótulo de classe usando um menu suspenso.

As caixas delimitadoras podem ser ajustadas depois de criadas. Os anotadores podem redimensioná-las arrastando as alças nos cantos ou nas bordas, movê-las arrastando o centro da caixa ou excluí-las usando atalhos de teclado. Essas anotações ajudam os modelos de visão computacional a aprender a detectar objetos em diferentes cenas e condições.

Fig. 3. Anotação de deteção de objetos com caixas delimitadoras na Ultralytics Platform. (Fonte)

Segmentação de instâncias#

A segmentação de instâncias fornece anotações mais detalhadas ao definir a forma exata dos objetos numa imagem. Em vez de desenharem uma caixa simples, os anotadores traçam os limites dos objetos com polígonos para criar máscaras precisas para tarefas de segmentação de imagens.

O editor de anotações inclui uma ferramenta de polígonos para esta tarefa. Os anotadores colocam vários vértices ao longo dos contornos de um objeto para delinear a sua forma. Depois de posicionados os vértices, o polígono pode ser fechado para criar uma máscara de segmentação.

Os vértices podem ser ajustados depois de criado o polígono. É possível mover pontos individuais para aperfeiçoar os limites dos objetos e, se necessário, remover vértices. Estas anotações ao nível do píxel ajudam os modelos a aprender estruturas visuais detalhadas e a distinguir objetos que aparecem próximos uns dos outros.

Estimativa de pose#

As anotações de estimativa de pose registam as posições das articulações do corpo e as relações entre elas. Isto ajuda os modelos a compreender a estrutura e o movimento de pessoas ou animais numa imagem.

Com a ferramenta de pontos-chave, os anotadores colocam pontos que representam articulações do corpo, como ombros, cotovelos, pulsos, ancas, joelhos e tornozelos. A plataforma inclui vários modelos de esqueleto integrados, incluindo o formato de pose humana COCO de 17 pontos, bem como modelos para mãos, rostos, cães e cantos de caixas.

Os modelos permitem inserir a estrutura completa de um esqueleto com um único clique; em seguida, os pontos-chave individuais podem ser ajustados para corresponder à pose na imagem. Cada ponto-chave também pode incluir um indicador de visibilidade para assinalar se está visível ou ocluído.

Fig. 4. Anotação de estimativa de pose com pontos-chave e modelos de esqueleto. (Fonte)

Caixas delimitadoras orientadas (OBB)#

As caixas delimitadoras orientadas vão além das caixas delimitadoras tradicionais ao permitirem rotação. Este tipo de anotação é útil quando os objetos aparecem inclinados, em vez de alinhados com o enquadramento da imagem.

No editor de anotações, os anotadores podem usar a ferramenta de caixas delimitadoras orientadas para desenhar retângulos rodados em torno dos objetos. Depois de desenhada a caixa inicial, é possível usar uma alça de rotação para ajustar o ângulo, enquanto as alças dos cantos permitem redimensionar a caixa.

As anotações com rotação são frequentemente usadas em imagens aéreas, conjuntos de dados de inspeção industrial e outros cenários em que os objetos aparecem na diagonal ou a partir de diferentes perspetivas.

Fig. 5. Anotação de caixa delimitadora orientada (OBB) para objetos rodados em imagens aéreas. (Fonte)

Classificação de imagens#

A classificação de imagens atribui uma etiqueta à imagem inteira, em vez de assinalar objetos individuais dentro dela.

Para conjuntos de dados de classificação, o editor de anotações disponibiliza um painel de seleção de classes. Os anotadores podem atribuir etiquetas às imagens selecionando uma classe na barra lateral ou usando atalhos de teclado para acelerar a etiquetagem.

Estas etiquetas ao nível da imagem ajudam os modelos a aprender padrões visuais de alto nível que representam diferentes categorias.

Anotação assistida por IA com SAM#

A etiquetagem de imagens para tarefas como a segmentação exige frequentemente um trabalho cuidadoso e detalhado, sobretudo quando é necessário delinear os objetos com precisão. A Ultralytics Platform inclui ferramentas de anotação assistida por IA que aceleram o processo, mantendo as anotações precisas e fáceis de rever.

Por exemplo, os anotadores podem interagir com uma imagem clicando nas partes de um objeto que pretendem incluir na anotação. Também podem assinalar áreas a excluir para aperfeiçoar o resultado. Com base nestas indicações, o modelo gera uma máscara de segmentação em tempo real, que pode depois ser revista e ajustada antes de ser guardada.

Esta abordagem facilita o trabalho com imagens complexas sem ser necessário traçar manualmente todos os detalhes. Ao mesmo tempo, os anotadores mantêm o controlo sobre o resultado final, garantindo a consistência das anotações em todo o conjunto de dados.

Fig. 6. Segmentação assistida por IA com a ferramenta de anotação Smart na Ultralytics Platform. (Fonte)

Estas funcionalidades são alimentadas pelos Modelos Segment Anything (SAM). Estes modelos fazem parte de um ecossistema mais amplo de ferramentas de visão por computador de código aberto, concebidas para gerar segmentações de alta qualidade a partir de um mínimo de dados de entrada. A plataforma suporta várias variantes de SAM, incluindo SAM 2.1 e SAM 3. Isto dá às equipas flexibilidade para escolher entre um desempenho mais rápido e resultados mais detalhados, consoante as suas necessidades.

Essas ferramentas assistidas por IA podem ser aplicadas a tarefas como detecção de objetos, segmentação de instâncias e detecção de caixas delimitadoras orientadas. Isso permite que as equipes processem grandes conjuntos de dados com mais eficiência, mantendo a qualidade necessária para um treinamento confiável de modelos. Conjuntos de dados de detecção de objetos também podem ser anotados automaticamente com modelos de linguagem visual e revisados antes do treinamento.

Melhorar os fluxos de trabalho de anotação com ferramentas integradas#

À medida que o trabalho de anotação avança, é comum voltar atrás para ajustar etiquetas, corrigir erros ou analisar imagens com mais atenção. O editor de anotações da Ultralytics inclui ferramentas integradas que facilitam estas tarefas do dia a dia e reduzem o tempo necessário para as realizar.

Entre as funcionalidades de fluxo de trabalho disponíveis no editor estão:

• Atalhos de teclado: O editor inclui atalhos que aceleram ações comuns, como guardar anotações, anular ou refazer alterações, eliminar etiquetas e selecionar classes durante a anotação.
• Histórico de anulações e repetições: Os anotadores podem reverter ou restaurar facilmente as alterações feitas durante uma sessão de edição. Isto ajuda as equipas a experimentar com as anotações e a corrigir rapidamente erros sem perder o progresso, contribuindo para um melhor controlo de qualidade durante a preparação dos conjuntos de dados.
• Edição flexível de anotações: As anotações podem ser ajustadas mesmo depois de criadas. Os utilizadores podem redimensionar formas, mover anotações, rodar caixas delimitadoras orientadas ou atualizar etiquetas de classe conforme necessário, sobretudo ao aperfeiçoar objetos com formas irregulares.
• Controlos de visibilidade: O editor inclui opções de visibilidade que permitem aos utilizadores mostrar ou ocultar anotações e etiquetas de classe, facilitando a inspeção das imagens durante a etiquetagem.
• Ferramentas de precisão: Funcionalidades como o zoom e um cursor em forma de mira com coordenadas de píxeis ajudam os anotadores a posicionar etiquetas com mais precisão ao trabalhar com imagens detalhadas.

Gerir classes de anotação na Ultralytics Platform#

Classes de anotação claras e consistentes são importantes para criar conjuntos de dados fiáveis de visão por computador. À medida que os projetos crescem, gerir a etiquetagem de dados em grandes conjuntos de dados pode tornar-se difícil, sobretudo quando há vários anotadores envolvidos. Manter as classes bem organizadas ajuda a garantir que as anotações permanecem consistentes e que os modelos aprendem com dados estruturados.

A Ultralytics Platform simplifica este processo ao integrar a gestão de classes diretamente no editor de anotações. Em vez de gerirem as etiquetas separadamente, as equipas podem criar, atualizar e rever classes enquanto trabalham nas imagens, facilitando a consistência ao longo de todo o fluxo de trabalho de anotação.

No editor, todas as classes estão disponíveis numa barra lateral, junto à tela de anotação. Assim, é fácil selecionar a etiqueta correta durante a anotação e acompanhar a utilização das classes em todo o conjunto de dados. Os utilizadores podem pesquisar classes existentes ou criar novas conforme necessário, sem interromper o fluxo de trabalho.

Os detalhes das classes também podem ser atualizados a qualquer momento. Os nomes podem ser editados diretamente e podem ser atribuídas cores para facilitar a identificação das diferentes classes nas anotações. O editor também mostra o número de anotações associadas a cada classe e permite que os utilizadores as revejam, ajudando as equipas a verificar a consistência e a precisão.

Todas as classes são geridas através de uma tabela centralizada, onde podem ser ordenadas, pesquisadas e atualizadas. Quaisquer alterações feitas nesta tabela são aplicadas automaticamente em todo o conjunto de dados, ajudando as equipas a manter a consistência à medida que os projetos de anotação crescem.

Fig. 7. A gestão de classes no editor de anotações mostra a organização das etiquetas e a personalização das cores. (Fonte)

Como a qualidade das anotações afeta o desempenho no mundo real#

À medida que os sistemas de visão por computador passam do desenvolvimento para a utilização no mundo real, a qualidade dos dados anotados desempenha um papel fundamental no desempenho dos modelos. Conjuntos de dados bem etiquetados ajudam os modelos a produzir previsões mais precisas e consistentes, sobretudo em ambientes dinâmicos ou imprevisíveis.

Na prática, até pequenas inconsistências nas anotações podem afetar o comportamento dos modelos. Diferenças na forma como os objetos são etiquetados ou os casos extremos são tratados podem não ser óbvias durante o treino, mas podem levar a previsões menos fiáveis após a implementação dos sistemas.

Além disso, estas inconsistências podem tornar-se mais evidentes em aplicações do mundo real. Por exemplo, em sistemas de robótica e saúde, os modelos dependem de dados visuais para detetar objetos e orientar ações em tempo real. As variações na etiquetagem podem influenciar a precisão com que estes sistemas interpretam o que os rodeia.

Ao manter práticas de anotação consistentes e utilizar plataformas como a Ultralytics para gerir e aperfeiçoar conjuntos de dados ao longo do tempo, as equipas podem criar modelos que têm um desempenho mais fiável para além dos ambientes de teste controlados.

Principais conclusões#

A anotação de dados de alta qualidade é essencial para treinar modelos precisos de visão por computador e apoiar projetos de anotação de imagens bem-sucedidos. A Ultralytics Platform simplifica este processo com um editor de anotações avançado que suporta várias tarefas de visão. Ao combinar ferramentas de anotação manual com etiquetagem assistida por IA usando SAM e funcionalidades de fluxo de trabalho integradas, as equipas podem preparar conjuntos de dados com mais eficiência e passar mais rapidamente da preparação de dados ao desenvolvimento de modelos.

Junta-te à nossa comunidade e explora o repositório do GitHub para saberes mais sobre modelos de visão por computador. Lê sobre aplicações como IA no setor automóvel e visão por computador na robótica nas nossas páginas de soluções. Consulta as nossas opções de licenciamento e começa a criar o teu próprio modelo de IA para visão.