Simplificar a anotação de imagens com a Ultralytics Platform

A Ultralytics apresentou recentemente a Ultralytics Platform, um ambiente criado para apoiar todo o ciclo de vida do desenvolvimento de visão computacional. A plataforma centraliza as ferramentas usadas para gerir as várias etapas dos fluxos de trabalho de IA para visão, incluindo a preparação de conjuntos de dados, a anotação de imagens e vídeos, o treino de modelos e a implementação.

Apesar da crescente adoção em setores como a condução autónoma e os cuidados de saúde, a criação de soluções de visão computacional ainda pode ser vista como um processo fragmentado. Uma das principais razões é que os modelos de visão computacional dependem fortemente da qualidade dos dados com que são treinados. Antes mesmo de o treino começar, os conjuntos de dados precisam de ser criados, organizados, revistos e etiquetados para que o modelo possa aprender o que deve detetar ou reconhecer.

Ao trabalhar com dados visuais, este processo é conhecido como anotação de dados ou anotação de imagens. Durante a anotação de imagens, partes específicas de uma imagem são marcadas e recebem etiquetas que orientam o modelo durante o treino.

Por exemplo, se o objetivo for detetar cães em imagens, os anotadores podem desenhar caixas delimitadoras à volta de cada cão para mostrar onde aparecem. Em tarefas mais detalhadas, podem contornar a forma do cão usando máscaras de segmentação ou marcar pontos-chave para captar a sua postura. Estes exemplos etiquetados influenciam diretamente o desempenho do modelo depois de implementado.

Gerir fluxos de trabalho de anotação de imagens em grande escala pode ser desafiante. Os grandes conjuntos de dados exigem frequentemente padrões de etiquetagem consistentes, colaboração entre vários anotadores e ferramentas que facilitem a revisão e o aperfeiçoamento das anotações.

A Ultralytics Platform reúne tudo isto com um editor de anotações integrado. A plataforma suporta vários tipos de tarefas de anotação e oferece às equipas uma forma mais simples de etiquetar dados e preparar conjuntos de dados de visão computacional num único fluxo de trabalho.

Fig. 1. Uma vista do editor de anotações na Ultralytics Platform (Fonte)

Neste artigo, vamos explorar como o editor de anotações da Ultralytics Platform ajuda as equipas a anotar conjuntos de dados de forma eficiente e a simplificar a preparação de dados. Vamos começar!

Anotação de dados em visão computacional#

Antes de explorarmos as ferramentas de anotação de imagens disponíveis na Ultralytics Platform, vamos recuar um pouco para compreender o que é a anotação de dados e por que razão é importante na criação de sistemas de visão computacional.

Os modelos de visão computacional aprendem através da análise de grandes coleções de imagens ou vídeos conhecidas como conjuntos de dados. No entanto, as imagens em bruto, por si só, não fornecem informação suficiente para que um modelo compreenda o que deve detetar ou reconhecer. Para tornar os dados úteis para o treino, as imagens têm de ser etiquetadas através da etiquetagem de dados, para que o modelo aprenda que objetos, formas ou padrões deve procurar.

Durante a anotação de imagens, elementos específicos de uma imagem são marcados e recebem etiquetas que descrevem o que o modelo deve aprender. Estes exemplos etiquetados orientam os modelos e algoritmos de aprendizagem profunda durante o treino e ajudam-nos a reconhecer padrões semelhantes ao processar novas imagens.

Diferentes tarefas de visão computacional exigem diferentes tipos de anotação de imagens, dependendo da aplicação e do caso de uso. Por exemplo, os anotadores podem desenhar caixas delimitadoras à volta de objetos para a deteção de objetos, contornar regiões de uma imagem para a segmentação semântica, definir pontos-chave para a estimativa de pose ou atribuir etiquetas a uma imagem inteira para a classificação.

Gestão e preparação de dados#

A preparação de dados para projetos de visão computacional envolve frequentemente trabalhar com vários formatos de ficheiro e organizar conjuntos de dados. Inclui também garantir que tudo está pronto para a anotação e o treino de algoritmos de aprendizagem automática. Em muitos fluxos de trabalho, este processo está distribuído por várias ferramentas, com os dados a serem carregados, limpos e transferidos entre sistemas antes de poderem ser utilizados.

A Ultralytics Platform simplifica este processo ao tratar da preparação de dados, do treino de modelos e da implementação num único ambiente. As equipas podem carregar imagens, vídeos ou arquivos de conjuntos de dados e beneficiar de uma abordagem totalmente personalizável à preparação dos seus dados, com anotações manuais ou automatizadas por IA. A Ultralytics Platform suporta tanto dados em bruto como formatos padrão, como YOLO e COCO, facilitando o início de novos projetos. Também dá acesso a conjuntos de dados existentes na plataforma, incluindo conjuntos de dados anotados que as equipas podem utilizar para iniciar rapidamente novos projetos ou experiências.

Fig. 2. Carregue e gira conjuntos de dados num único ambiente na Ultralytics Platform. (Fonte)

Assim que os dados estiverem disponíveis, podem ser geridos diretamente na plataforma. Os programadores podem rever imagens, acompanhar o progresso das anotações e utilizar visualizações integradas para compreender a distribuição do conjunto de dados e identificar possíveis lacunas.

A plataforma também suporta o versionamento de conjuntos de dados, ajudando as equipas a registar instantâneos dos seus dados à medida que estes evoluem. Isto facilita o acompanhamento de alterações, a comparação de experiências e a manutenção da consistência durante o treino.

Com os dados preparados, as equipas podem passar à anotação de imagens, nas quais são aplicadas etiquetas para ajudar os modelos a aprender o que devem detetar.

Anotação de conjuntos de dados na Ultralytics Platform#

Depois de os dados serem carregados, o passo seguinte é a anotação. É nesta fase que os dados de imagem são etiquetados, estabelecendo as bases para treinar posteriormente modelos de visão computacional. A Ultralytics Platform inclui serviços integrados de anotação de imagens através de um editor de anotações que permite às equipas etiquetar e gerir conjuntos de dados diretamente no mesmo ambiente.

O editor de anotações apresenta um espaço de trabalho simples onde os utilizadores podem rever imagens, adicionar etiquetas e atualizar anotações conforme necessário. Tudo está organizado num só lugar, facilitando a consistência dos conjuntos de dados e a sua preparação para o treino de dados.

As equipas podem carregar conjuntos de dados e começar a etiquetar imagens diretamente no navegador, definindo e gerindo classes de anotação para garantir que as etiquetas permanecem consistentes em todo o conjunto de dados. À medida que as anotações são criadas, os utilizadores podem revê-las visualmente no editor, facilitando a verificação da precisão antes de avançarem para o treino do modelo.

Ferramentas de anotação de imagens na Ultralytics Platform#

A Ultralytics Platform também inclui várias funcionalidades que suportam fluxos de trabalho eficientes de etiquetagem de conjuntos de dados, simplificando o processo de anotação através de algoritmos avançados.

Eis algumas das principais funcionalidades disponíveis na Ultralytics Platform:

• Anotação manual: Esta abordagem permite aos utilizadores ter controlo e flexibilidade totais ao criar anotações de imagens, como caixas delimitadoras, regiões de segmentação ou pontos-chave, diretamente nas imagens.
• Etiquetagem assistida por IA: Esta funcionalidade gera automaticamente anotações sugeridas, reduzindo a necessidade de etiquetagem manual. Utiliza SAM (Modelo Segment Anything) para detetar objetos ou regiões com apenas um clique, simplificando o processo de anotação e ajudando os utilizadores a rever e confirmar as sugestões antes de as adicionarem ao conjunto de dados.
• Edição de anotações: A qualquer momento, os utilizadores podem modificar ou aperfeiçoar as anotações de imagens depois de estas serem criadas. Isto ajuda a corrigir erros de etiquetagem e a manter etiquetas consistentes no conjunto de dados durante todo o processo de anotação.
• Gestão de classes: As equipas e os programadores individuais podem definir e organizar as classes de anotação utilizadas durante a etiquetagem de conjuntos de dados. Isto ajuda a manter as etiquetas consistentes entre imagens, algo importante para treinar modelos capazes de reconhecer e distinguir classes com precisão.

Ao combinar ferramentas manuais, inteligência artificial e automação, a Ultralytics Platform ajuda os utilizadores a anotar imagens de forma mais eficiente. Também permite preparar dados de treino de alta qualidade para modelos de visão computacional escaláveis.

Tipos de tarefas de anotação suportados#

Diferentes casos de uso, como a garantia da qualidade de produtos, exigem diferentes tipos de anotação, dependendo do que precisa de ser detetado nas imagens ou vídeos. Como referimos acima, a Ultralytics Platform suporta cinco tarefas de deteção de objetos, cada uma com o seu próprio tipo de anotação.

Vamos analisar mais de perto as tarefas de anotação suportadas na plataforma e como podem ser utilizadas para etiquetar conjuntos de dados.

Deteção de objetos#

A deteção de objetos identifica e localiza objetos numa imagem. Os anotadores marcam cada objeto de interesse utilizando caixas delimitadoras, indicando onde os elementos aparecem na imagem.

No editor de anotações, isto é feito através da ferramenta de caixa delimitadora. Os utilizadores podem entrar no “modo de edição”, clicar e arrastar para desenhar um retângulo à volta de um objeto e atribuir uma etiqueta de classe a partir de um menu pendente.

As caixas delimitadoras podem ser ajustadas depois de criadas. Os anotadores podem redimensioná-las arrastando as alças dos cantos ou das margens, movê-las arrastando o centro da caixa ou eliminá-las através de atalhos de teclado. Estas anotações ajudam os modelos de visão a aprender a detetar objetos em diferentes cenas e condições.

Fig. 3. Anotação de deteção de objetos com caixas delimitadoras na Ultralytics Platform. (Fonte)

Segmentação de instâncias#

A segmentação de instâncias fornece anotações mais detalhadas ao definir a forma exata dos objetos numa imagem. Em vez de desenharem uma simples caixa, os anotadores seguem os limites do objeto utilizando uma anotação poligonal para criar máscaras precisas para tarefas de segmentação de imagens.

O editor de anotações inclui uma ferramenta de polígono para esta tarefa. Os anotadores colocam vários vértices ao longo das margens de um objeto para delinear a sua forma. Depois de os vértices serem colocados, o polígono pode ser fechado para criar uma máscara de segmentação.

Os vértices podem ser ajustados depois de o polígono ser criado. Os pontos individuais podem ser movidos para aperfeiçoar os limites dos objetos e os vértices podem ser removidos conforme necessário. Estas anotações ao nível dos píxeis ajudam os modelos a aprender estruturas visuais detalhadas e a distinguir objetos que aparecem próximos uns dos outros.

Estimativa de pose#

As anotações de estimativa de pose captam as posições das articulações do corpo e as relações entre elas. Isto ajuda os modelos a compreender a estrutura e o movimento de pessoas ou animais numa imagem.

Utilizando a ferramenta de pontos-chave, os anotadores colocam pontos-chave que representam articulações do corpo, como ombros, cotovelos, pulsos, ancas, joelhos e tornozelos. A plataforma suporta vários modelos de esqueleto integrados, incluindo o formato de pose humana COCO de 17 pontos, bem como modelos para mãos, rostos, cães e cantos de caixas.

Os modelos permitem colocar um esquema completo do esqueleto com um único clique, após o qual os pontos-chave individuais podem ser ajustados para corresponder à pose na imagem. Cada ponto-chave também pode incluir um indicador de visibilidade para mostrar se está visível ou ocluído.

Fig. 4. Anotação de estimativa de pose com pontos-chave e modelos de esqueleto. (Fonte)

Caixas delimitadoras orientadas (OBB)#

As caixas delimitadoras orientadas levam as caixas delimitadoras tradicionais mais longe ao suportarem rotação. Este tipo de anotação é útil quando os objetos aparecem inclinados, em vez de alinhados com o enquadramento da imagem.

No editor de anotações, os anotadores podem utilizar a ferramenta de caixa delimitadora orientada para desenhar retângulos rodados à volta dos objetos. Depois de desenharem a caixa inicial, podem utilizar uma alça de rotação para ajustar o ângulo, enquanto as alças dos cantos permitem redimensionar a caixa.

As anotações rodadas são frequentemente utilizadas em imagens aéreas, conjuntos de dados de inspeção industrial e outros cenários em que os objetos aparecem na diagonal ou a partir de diferentes perspetivas.

Fig. 5. Anotação de caixas delimitadoras orientadas (OBB) para objetos rodados em imagens aéreas. (Fonte)

Classificação de imagens#

A classificação de imagens atribui uma etiqueta a uma imagem inteira, em vez de marcar objetos individuais nela.

Para conjuntos de dados de classificação, o editor de anotações disponibiliza um painel de seleção de classes. Os anotadores podem atribuir etiquetas às imagens selecionando uma classe na barra lateral ou utilizando atalhos de teclado para uma etiquetagem mais rápida.

Estas etiquetas ao nível da imagem ajudam os modelos a aprender padrões visuais de alto nível que representam diferentes categorias.

Anotação assistida por IA com SAM#

A etiquetagem de imagens para tarefas como a segmentação exige frequentemente um trabalho cuidadoso e detalhado, especialmente quando os objetos precisam de ser delineados com precisão. A Ultralytics Platform inclui ferramentas de anotação assistida por IA que aceleram o processo, mantendo as anotações precisas e fáceis de rever.

Por exemplo, os anotadores podem interagir com uma imagem clicando nas partes de um objeto que pretendem incluir na anotação. Também podem marcar áreas que devem ser excluídas para aperfeiçoar o resultado. Com base nestas entradas, o modelo gera uma máscara de segmentação em tempo real, que pode depois ser revista e ajustada antes de ser guardada.

Esta abordagem facilita o trabalho com imagens complexas sem ser necessário traçar manualmente todos os detalhes. Ao mesmo tempo, os anotadores mantêm o controlo sobre o resultado final, garantindo que as anotações permanecem consistentes em todo o conjunto de dados.

Fig. 6. Segmentação assistida por IA com a ferramenta de anotação Smart na Ultralytics Platform. (Fonte)

Estas funcionalidades são alimentadas pelos Modelos Segment Anything (SAM). Estes modelos fazem parte de um ecossistema mais amplo de ferramentas de visão computacional de código aberto, concebidas para gerar segmentações de alta qualidade a partir de uma entrada mínima. A plataforma suporta várias variantes de SAM, incluindo SAM 2.1 e SAM 3. Isto dá às equipas flexibilidade para escolher entre um desempenho mais rápido e resultados mais detalhados, com base nas suas necessidades.

Estas ferramentas assistidas por IA podem ser aplicadas a tarefas como a deteção de objetos, a segmentação de instâncias e a deteção de caixas delimitadoras orientadas. Isto significa que as equipas podem processar grandes conjuntos de dados com mais eficiência, mantendo a qualidade necessária para um treino fiável dos modelos.

Melhorar os fluxos de trabalho de anotação com ferramentas integradas#

À medida que o trabalho de anotação avança, é comum voltar atrás e ajustar etiquetas, corrigir erros ou rever imagens com mais atenção. O editor de anotações da Ultralytics inclui ferramentas integradas que tornam estas tarefas quotidianas mais fáceis de executar e menos demoradas.

Algumas das funcionalidades de fluxo de trabalho disponíveis no editor incluem:

• Atalhos de teclado: O editor inclui atalhos que aceleram ações comuns, como guardar anotações, anular ou refazer alterações, eliminar etiquetas e selecionar classes durante a anotação.
• Histórico de anulação e repetição: Os anotadores podem reverter ou restaurar facilmente as alterações feitas durante uma sessão de edição. Isto ajuda as equipas a experimentar com anotações e a corrigir rapidamente erros sem perder o progresso, promovendo um melhor controlo de qualidade durante a preparação dos conjuntos de dados.
• Edição flexível de anotações: As anotações podem ser ajustadas mesmo depois de criadas. Os utilizadores podem redimensionar formas, mover anotações, rodar caixas delimitadoras orientadas ou atualizar etiquetas de classe conforme necessário, especialmente ao aperfeiçoar objetos com formas irregulares.
• Controlos de visibilidade: O editor inclui controlos de visibilidade que permitem aos utilizadores mostrar ou ocultar anotações e etiquetas de classe, facilitando a inspeção das imagens durante a etiquetagem.
• Ferramentas de precisão: Funcionalidades como o zoom e um cursor em mira com coordenadas de píxeis ajudam os anotadores a posicionar etiquetas com maior precisão ao trabalhar com imagens detalhadas.

Gerir classes de anotação na Ultralytics Platform#

Classes de anotação claras e consistentes desempenham um papel importante na criação de conjuntos de dados de visão computacional fiáveis. À medida que os projetos crescem, a gestão da etiquetagem de dados em grandes conjuntos de dados pode tornar-se difícil, especialmente quando estão envolvidos vários anotadores. Manter as classes bem organizadas ajuda a garantir que as anotações permanecem consistentes e que os modelos aprendem com dados estruturados.

A Ultralytics Platform simplifica este processo ao integrar a gestão de classes diretamente no editor de anotações. Em vez de tratarem das etiquetas separadamente, as equipas podem criar, atualizar e rever classes enquanto trabalham nas imagens, facilitando a manutenção da consistência ao longo de todo o fluxo de trabalho de anotação.

No editor, todas as classes estão disponíveis numa barra lateral junto à tela de anotação. Isto facilita a seleção da etiqueta correta durante a anotação e o acompanhamento da utilização das classes em todo o conjunto de dados. Os utilizadores podem procurar classes existentes ou criar novas conforme necessário, sem interromper o fluxo de trabalho.

Os detalhes das classes também podem ser atualizados a qualquer momento. Os nomes podem ser editados diretamente e podem ser atribuídas cores para facilitar a identificação das diferentes classes nas anotações. O editor também mostra quantas anotações estão associadas a cada classe e permite aos utilizadores revê-las, ajudando as equipas a verificar a consistência e a precisão.

Todas as classes são geridas através de uma tabela centralizada onde podem ser ordenadas, pesquisadas e atualizadas. Quaisquer alterações feitas aqui são aplicadas automaticamente em todo o conjunto de dados, ajudando as equipas a manter a consistência à medida que os projetos de anotação crescem.

Fig. 7. A gestão de classes no editor de anotações mostra a organização das etiquetas e a personalização das cores. (Fonte)

Como a qualidade das anotações afeta o desempenho no mundo real#

À medida que os sistemas de visão computacional passam do desenvolvimento para a utilização no mundo real, a qualidade dos dados anotados desempenha um papel fundamental no desempenho dos modelos. Conjuntos de dados bem etiquetados ajudam os modelos a produzir previsões mais precisas e consistentes, especialmente em ambientes dinâmicos ou imprevisíveis.

Na prática, até pequenas inconsistências na anotação podem afetar o comportamento do modelo. Diferenças na forma como os objetos são etiquetados ou como os casos extremos são tratados podem não ser óbvias durante o treino, mas podem conduzir a previsões menos fiáveis depois de os sistemas serem implementados.

Além disso, estas inconsistências podem tornar-se mais evidentes em aplicações do mundo real. Por exemplo, em sistemas de robótica e cuidados de saúde, os modelos dependem de entradas visuais para detetar objetos e orientar ações em tempo real. Variações na etiquetagem podem influenciar a precisão com que estes sistemas interpretam o ambiente.

Ao manter práticas de anotação consistentes e utilizar plataformas como a Ultralytics para gerir e aperfeiçoar conjuntos de dados ao longo do tempo, as equipas podem criar modelos que têm um desempenho mais fiável para além de ambientes de teste controlados.

Principais conclusões#

A anotação de dados de alta qualidade é essencial para treinar modelos de visão computacional precisos e apoiar projetos de anotação de imagens bem-sucedidos. A Ultralytics Platform simplifica este processo com um editor de anotações avançado que suporta várias tarefas de visão. Ao combinar ferramentas de anotação manual com etiquetagem assistida por IA através de SAM e funcionalidades integradas de fluxo de trabalho, as equipas podem preparar conjuntos de dados de forma mais eficiente e avançar mais rapidamente da preparação de dados para o desenvolvimento de modelos.

Junta-te à nossa comunidade e explora o repositório do GitHub para saberes mais sobre modelos de visão computacional. Lê sobre aplicações como IA no setor automóvel e visão computacional na robótica nas nossas páginas de soluções. Consulta as nossas opções de licenciamento e começa a criar o teu próprio modelo de IA para visão.