Simplificar a anotação de imagens com a Ultralytics

Ultralytics lançou Ultralytics Ultralytics , um ambiente concebido para apoiar todo o ciclo de vida do desenvolvimento da visão computacional. A plataforma centraliza as ferramentas utilizadas para gerir as várias fases dos fluxos de trabalho de IA de visão, incluindo a preparação de conjuntos de dados, a anotação de imagens e vídeos, o treino de modelos e a implementação.

Apesar da crescente adoção em setores como a condução autónoma e os cuidados de saúde, o desenvolvimento de soluções de visão computacional ainda pode ser considerado um processo fragmentado. Uma das principais razões é que os modelos de visão computacional dependem fortemente da qualidade dos dados com que são treinados. Antes mesmo de o treino começar, os conjuntos de dados precisam de ser criados, organizados, revistos e rotulados para que o modelo possa aprender o que deve detect reconhecer.

Quando se trabalha com dados visuais, este processo é conhecido como anotação de dados ou anotação de imagens. Durante a anotação de imagens, são marcadas partes específicas de uma imagem e atribuídos rótulos que orientam o modelo durante o treino.

Por exemplo, se o objetivo for detect em imagens, os anotadores podem desenhar caixas delimitadoras à volta de cada cão para indicar onde estes aparecem. Em tarefas mais detalhadas, podem delinear a forma do cão utilizando máscaras de segmentação ou marcar pontos-chave para captar a sua postura. Estes exemplos rotulados influenciam diretamente o desempenho do modelo após a sua implementação.

A gestão de fluxos de trabalho de anotação de imagens em grande escala pode ser um desafio. Os conjuntos de dados de grande dimensão exigem frequentemente normas de rotulagem consistentes, colaboração entre vários anotadores e ferramentas que facilitem a revisão e o aperfeiçoamento das anotações.

Ultralytics integra tudo isto com um editor de anotações incorporado. Suporta vários tipos de tarefas de anotação e oferece às equipas uma forma mais simples de rotular dados e preparar conjuntos de dados de visão computacional num único fluxo de trabalho.

Neste artigo, vamos explorar como o editor de anotações Ultralytics ajuda as equipas a anotar conjuntos de dados de forma eficiente e a simplificar a preparação dos dados. Vamos começar!

Anotação de dados na visão computacional

Antes de explorarmos as ferramentas de anotação de imagens disponíveis na Ultralytics , vamos dar um passo atrás para compreender o que é a anotação de dados e por que razão é importante na criação de sistemas de visão computacional.

Os modelos de visão computacional aprendem através da análise de grandes conjuntos de imagens ou vídeos, conhecidos como conjuntos de dados. No entanto, as imagens em bruto, por si só, não fornecem informação suficiente para que um modelo compreenda o que deve detect reconhecer. Para que os dados sejam úteis para o treino, as imagens têm de ser rotuladas através do processo de rotulagem de dados, para que o modelo possa aprender quais os objetos, formas ou padrões que deve procurar.

Durante a anotação de imagens, determinados elementos dentro de uma imagem são assinalados e recebem rótulos que descrevem o que o modelo deve aprender. Estes exemplos rotulados orientam os modelos e algoritmos de aprendizagem profunda durante o treino e ajudam-nos a reconhecer padrões semelhantes ao processarem novas imagens.

Diferentes tarefas de visão computacional requerem diferentes tipos de anotação de imagens, dependendo da aplicação e do caso de uso. Por exemplo, os anotadores podem desenhar caixas delimitadoras em torno de objetos para a deteção de objetos, contornar regiões numa imagem para a segmentação semântica, definir pontos-chave para a estimativa de pose ou atribuir rótulos a uma imagem inteira para a classificação.

Gestão e preparação de dados

A preparação de dados para projetos de visão computacional envolve frequentemente o trabalho com vários formatos de ficheiro e a organização de conjuntos de dados. Inclui também garantir que tudo está pronto para a anotação e o treino de algoritmos de aprendizagem automática. Em muitos fluxos de trabalho, este processo está distribuído por várias ferramentas, sendo os dados carregados, limpos e transferidos entre sistemas antes de poderem ser utilizados.

Ultralytics simplifica este processo, gerindo a preparação de dados, o treino de modelos e a implementação num único ambiente. As equipas podem carregar imagens, vídeos ou arquivos de conjuntos de dados e beneficiar de uma abordagem totalmente personalizável para preparar os seus dados com anotações manuais ou automatizadas por IA. Ultralytics suporta tanto dados brutos como formatos padrão, como YOLO COCO, facilitando o início de novos projetos. Também fornece acesso a conjuntos de dados existentes na plataforma, incluindo conjuntos de dados anotados que as equipas podem utilizar para iniciar rapidamente novos projetos ou experiências.

Assim que os dados estiverem disponíveis, podem ser geridos diretamente na plataforma. Os programadores podem analisar imagens, acompanhar o progresso da anotação e utilizar visualizações integradas para compreender a distribuição do conjunto de dados e identificar possíveis lacunas.

A plataforma também suporta o controlo de versões dos conjuntos de dados, ajudando as equipas a capturar instantâneos dos seus dados à medida que estes evoluem. Isto facilita o track , a comparação de experiências e a manutenção da consistência durante o treino.

Com os dados preparados, as equipas podem passar à fase de anotação das imagens, na qual estas são rotuladas para ajudar os modelos a aprender o que devem detect.

Anotação de conjuntos de dados na Ultralytics

Depois de os dados serem carregados, o passo seguinte é a anotação. É nesta fase que os dados das imagens são rotulados, lançando as bases para o treino dos modelos de visão computacional. Ultralytics inclui serviços de anotação de imagens integrados, através de um editor de anotação que permite às equipas rotular e gerir conjuntos de dados diretamente no mesmo ambiente.

O editor de anotações abre-se numa área de trabalho simples, onde os utilizadores podem rever imagens, adicionar etiquetas e atualizar anotações conforme necessário. Tudo está organizado num único local, facilitando a manutenção da consistência dos conjuntos de dados e a sua preparação para o treino de dados.

As equipas podem carregar conjuntos de dados e começar a rotular imagens diretamente no navegador, definindo e gerindo classes de anotação para garantir que as etiquetas se mantêm consistentes em todo o conjunto de dados. À medida que as anotações são criadas, os utilizadores podem revê-las visualmente no editor, facilitando a verificação da precisão antes de avançarem para o treino do modelo.

Ferramentas de anotação de imagens na Ultralytics

Ultralytics inclui também várias funcionalidades que facilitam fluxos de trabalho eficientes de rotulagem de conjuntos de dados, simplificando o processo de anotação através de algoritmos avançados.

Eis algumas das principais funcionalidades disponíveis na Ultralytics :

• Anotação manual: Esta abordagem permite aos utilizadores ter total controlo e flexibilidade na criação de anotações nas imagens, tais como caixas delimitadoras, regiões de segmentação ou pontos-chave, diretamente nas imagens.
• Rotulagem assistida por IA: Esta funcionalidade gera automaticamente sugestões de anotações, reduzindo a necessidade de rotulagem manual. Utiliza SAM Segment Anything Model) para detect ou regiões com apenas um clique, simplificando o processo de anotação e ajudando os utilizadores a rever e confirmar as sugestões antes de as adicionarem ao conjunto de dados.
• Edição de anotações: A qualquer momento, os utilizadores podem modificar ou aperfeiçoar as anotações das imagens após a sua criação. Isto ajuda a corrigir erros de rotulagem e a manter a consistência das etiquetas do conjunto de dados ao longo de todo o processo de anotação.
• Gestão de classes: As equipas e os programadores individuais podem definir e organizar as classes de anotação utilizadas durante a rotulagem do conjunto de dados. Isto ajuda a manter a consistência das etiquetas entre as imagens, o que é importante para treinar modelos capazes de reconhecer e diferenciar com precisão as classes.

Ao combinar ferramentas manuais, inteligência artificial e automação, Ultralytics ajuda os utilizadores a anotar imagens de forma mais eficiente. Permite também a preparação de dados de treino de alta qualidade para modelos de visão computacional escaláveis.

Tipos de tarefas de anotação suportados

Diferentes casos de utilização, como a garantia da qualidade dos produtos, exigirão diferentes tipos de anotação, dependendo do que é necessário detetar nas imagens ou nos vídeos. Tal como referimos anteriormente, Ultralytics suporta cinco tarefas de deteção de objetos, cada uma com o seu próprio tipo de anotação.

Vamos analisar mais detalhadamente as tarefas de anotação suportadas pela plataforma e como podem ser utilizadas para rotular conjuntos de dados.

Detecção de objetos

A deteção de objetos identifica e localiza objetos numa imagem. Os anotadores marcam cada objeto de interesse utilizando caixas delimitadoras, indicando onde os itens aparecem na imagem.

No editor de anotações, isto é feito utilizando a ferramenta de caixa delimitadora. Os utilizadores podem entrar no «modo de edição», clicar e arrastar para desenhar um retângulo à volta de um objeto e atribuir uma etiqueta de classe a partir de um menu suspenso.

As caixas delimitadoras podem ser ajustadas após a sua criação. Os anotadores podem alterar o seu tamanho arrastando os pontos de controlo dos cantos ou das arestas, movê-las arrastando o centro da caixa ou eliminá-las utilizando atalhos de teclado. Estas anotações ajudam os modelos de visão a aprender a detect em diferentes cenários e condições.

Segmentação de instâncias

A segmentação por instância permite anotações mais detalhadas, definindo a forma exata dos objetos dentro de uma imagem. Em vez de desenhar uma simples caixa, os anotadores traçam os contornos do objeto utilizando a anotação por polígonos para criar máscaras precisas para tarefas de segmentação de imagens.

O editor de anotações inclui uma ferramenta de polígono para esta tarefa. Os anotadores colocam vários vértices ao longo dos contornos de um objeto para delinear a sua forma. Depois de colocados os vértices, o polígono pode ser fechado para criar uma máscara de segmentação.

Os vértices podem ser ajustados após a criação do polígono. É possível mover pontos individuais para refinar os contornos do objeto e remover vértices, se necessário. Estas anotações ao nível do pixel ajudam os modelos a aprender estruturas visuais detalhadas e a distinguir entre objetos que parecem estar próximos uns dos outros.

Estimativa de pose

As anotações de estimativa de pose capturam as posições das articulações do corpo e as relações entre elas. Isto ajuda os modelos a compreender a estrutura e o movimento de pessoas ou animais numa imagem.

Utilizando a ferramenta de pontos-chave, os anotadores colocam pontos-chave que representam as articulações do corpo, tais como ombros, cotovelos, pulsos, ancas, joelhos e tornozelos. A plataforma suporta vários modelos de esqueleto integrados, incluindo o formato de pose COCO de 17 pontos, bem como modelos para mãos, rostos, cães e cantos de caixas.

Os modelos permitem inserir um esboço completo do esqueleto com um único clique, após o que os pontos-chave individuais podem ser ajustados para corresponder à pose da imagem. Cada ponto-chave pode também incluir um indicador de visibilidade para indicar se está visível ou oculto.

Caixas delimitadoras orientadas (OBB)

As caixas delimitadoras orientadas vão um passo além das caixas delimitadoras tradicionais, ao permitirem a rotação. Este tipo de anotação é útil quando os objetos aparecem em ângulo, em vez de estarem alinhados com o enquadramento da imagem.

No editor de anotações, os anotadores podem utilizar a ferramenta de caixa delimitadora orientada para desenhar retângulos rodados em torno dos objetos. Após desenhar a caixa inicial, é possível utilizar uma alça de rotação para ajustar o ângulo, enquanto as alças dos cantos permitem redimensionar a caixa.

As anotações rotacionadas são frequentemente utilizadas em imagens aéreas, conjuntos de dados de inspeção industrial e outros cenários em que os objetos aparecem na diagonal ou a partir de diferentes pontos de vista.

Classificação de imagens

A classificação de imagens atribui uma etiqueta a uma imagem na sua totalidade, em vez de identificar objetos individuais dentro dela.

No caso de conjuntos de dados de classificação, o editor de anotações disponibiliza um painel de seleção de classes. Os anotadores podem atribuir rótulos às imagens selecionando uma classe na barra lateral ou utilizando atalhos de teclado para agilizar o processo de rotulagem.

Estas etiquetas ao nível da imagem ajudam os modelos a aprender padrões visuais de alto nível que representam diferentes categorias.

Anotação assistida por IA com SAM

A rotulagem de imagens para tarefas como a segmentação requer frequentemente um trabalho cuidadoso e minucioso, especialmente quando é necessário contornar os objetos com precisão. Ultralytics inclui ferramentas de anotação assistidas por IA que aceleram o processo, mantendo as anotações precisas e fáceis de rever.

Por exemplo, os anotadores podem interagir com uma imagem clicando nas partes de um objeto que pretendem incluir na anotação. Também podem marcar áreas que devem ser excluídas para aperfeiçoar o resultado. Com base nestas entradas, o modelo gera uma máscara de segmentação em tempo real, que pode depois ser revista e ajustada antes de ser guardada.

Esta abordagem facilita o trabalho com imagens complexas, sem necessidade de traçar manualmente cada detalhe. Ao mesmo tempo, os anotadores mantêm o controlo sobre o resultado final, garantindo que as anotações se mantêm consistentes em todo o conjunto de dados.

Estas funcionalidades são fornecidas pelos Segment Anything Models (SAM). Estes modelos fazem parte de um ecossistema mais vasto de ferramentas de visão computacional de código aberto, concebidas para gerar segmentações de alta qualidade a partir de dados mínimos. A plataforma suporta várias SAM , incluindo SAM .1 e SAM . Isto dá às equipas a flexibilidade de escolher entre um desempenho mais rápido e resultados mais detalhados, consoante as suas necessidades.

Estas ferramentas assistidas por IA podem ser aplicadas em tarefas como a deteção de objetos, a segmentação de instâncias e a deteção de caixas delimitadoras orientadas. Isto significa que as equipas podem processar grandes conjuntos de dados de forma mais eficiente, mantendo simultaneamente a qualidade necessária para um treino fiável dos modelos.

Melhorar os fluxos de trabalho de anotação com ferramentas integradas

À medida que o trabalho de anotação avança, é comum voltar atrás para ajustar rótulos, corrigir eventuais erros ou analisar as imagens com mais atenção. O editor Ultralytics inclui ferramentas integradas que tornam estas tarefas diárias mais fáceis de realizar e menos demoradas.

Algumas das funcionalidades de fluxo de trabalho disponíveis no editor incluem:

• Atalhos de teclado: O editor inclui atalhos que agilizam ações comuns, tais como guardar anotações, desfazer ou refazer alterações, eliminar etiquetas e selecionar classes durante a anotação.
• Histórico de anulação e repetição: os anotadores podem facilmente reverter ou restaurar as alterações efetuadas durante uma sessão de edição. Isto ajuda as equipas a experimentar diferentes anotações e a corrigir rapidamente os erros sem perder o progresso, contribuindo para um melhor controlo de qualidade durante a preparação do conjunto de dados.
• Edição flexível de anotações: as anotações podem ser ajustadas mesmo após a sua criação. Os utilizadores podem redimensionar formas, mover anotações, rodar caixas delimitadoras orientadas ou atualizar rótulos de classe conforme necessário, especialmente ao refinar objetos com formas irregulares.
• Controlos de visibilidade: O editor inclui botões de alternância de visibilidade que permitem aos utilizadores mostrar ou ocultar anotações e rótulos de classe, facilitando a inspeção das imagens durante a rotulagem.
• Ferramentas de precisão: Funcionalidades como o zoom e um cursor em forma de cruz com coordenadas em pixels ajudam os anotadores a colocar etiquetas com maior precisão ao trabalhar com imagens detalhadas.

Gestão de classes de anotação na Ultralytics

Categorias de anotação claras e consistentes desempenham um papel importante na criação de conjuntos de dados fiáveis para a visão computacional. À medida que os projetos crescem, a gestão da rotulagem de dados em conjuntos de dados de grande dimensão pode tornar-se difícil, especialmente quando estão envolvidos vários anotadores. Manter as categorias bem organizadas ajuda a garantir que as anotações se mantêm consistentes e que os modelos aprendem a partir de dados estruturados.

Ultralytics simplifica este processo ao integrar a gestão de classes diretamente no editor de anotações. Em vez de gerir as etiquetas separadamente, as equipas podem criar, atualizar e rever as classes enquanto trabalham nas imagens, facilitando a manutenção da consistência ao longo de todo o fluxo de trabalho de anotação.

No editor, todas as classes estão disponíveis numa barra lateral ao lado da área de trabalho de anotação. Isto facilita a seleção da etiqueta correta durante a anotação e permite track as classes estão a ser utilizadas ao longo do conjunto de dados. Os utilizadores podem pesquisar classes existentes ou criar novas, conforme necessário, sem interromper o seu fluxo de trabalho.

Os detalhes das classes também podem ser atualizados a qualquer momento. Os nomes podem ser editados diretamente e é possível atribuir cores para facilitar a identificação das diferentes classes nas anotações. O editor também mostra quantas anotações estão associadas a cada classe e permite que os utilizadores as revejam, ajudando as equipas a verificar a consistência e a precisão.

Todas as classes são geridas através de uma tabela centralizada, onde podem ser ordenadas, pesquisadas e atualizadas. Quaisquer alterações efetuadas aqui são automaticamente aplicadas a todo o conjunto de dados, ajudando as equipas a manter a consistência à medida que os projetos de anotação vão crescendo.

Como a qualidade das anotações afeta o desempenho na prática

À medida que os sistemas de visão computacional passam da fase de desenvolvimento para a aplicação no mundo real, a qualidade dos dados anotados desempenha um papel fundamental no desempenho dos modelos. Conjuntos de dados bem rotulados ajudam os modelos a produzir previsões mais precisas e consistentes, especialmente em ambientes dinâmicos ou imprevisíveis.

Na prática, mesmo pequenas inconsistências na anotação podem afetar o comportamento do modelo. As diferenças na forma como os objetos são rotulados ou como os casos extremos são tratados podem não ser evidentes durante o treino, mas podem levar a previsões menos fiáveis assim que os sistemas forem implementados.

Além disso, estas inconsistências podem tornar-se mais evidentes em aplicações do mundo real. Por exemplo, na robótica e nos sistemas de saúde, os modelos dependem de dados visuais para detect e orientar ações em tempo real. As variações na rotulagem podem influenciar a precisão com que estes sistemas interpretam o ambiente que os rodeia.

Ao manter práticas de anotação consistentes e utilizar plataformas como Ultralytics gerir e aperfeiçoar os conjuntos de dados ao longo do tempo, as equipas podem criar modelos que funcionam de forma mais fiável fora dos ambientes de teste controlados.

Principais conclusões

A anotação de dados de alta qualidade é essencial para treinar modelos de visão computacional precisos e garantir o sucesso dos projetos de anotação de imagens. Ultralytics simplifica este processo com um poderoso editor de anotação que suporta múltiplas tarefas de visão. Ao combinar ferramentas de anotação manual com a rotulagem assistida por IA, utilizando SAM funcionalidades de fluxo de trabalho integradas, as equipas podem preparar conjuntos de dados de forma mais eficiente e avançar mais rapidamente da preparação dos dados para o desenvolvimento de modelos.

Junte-se à nossa comunidade e explore o repositório do GitHub para saber mais sobre modelos de visão computacional. Leia sobre aplicações como a IA no setor automóvel e a visão computacional na robótica nas nossas páginas de soluções. Consulte as nossas opções de licenciamento e comece a criar o seu próprio modelo de IA de visão.