Entenda por que a anotação com participação humana é essencial

Há vinte anos, se alguém dissesse que estava pensando em comprar um robô para ajudar nas tarefas domésticas, isso pareceria muito improvável. No entanto, estamos em plena expansão da IA, e robôs estão sendo testados em cenários semelhantes.

Uma área fundamental da IA que impulsiona este progresso é a visão por computador, que permite às máquinas compreender imagens e vídeos. Por outras palavras, os modelos de visão por computador, como o Ultralytics YOLO11 e o mais recente Ultralytics YOLO26, podem ser treinados com conjuntos de dados compostos por dados visuais e anotações.

Essas anotações ajudam o modelo a compreender os dados visuais. Por exemplo, conjuntos de dados de detecção de objetos usam caixas delimitadoras para desenhar retângulos ao redor dos objetos de interesse. Isso permite que o modelo detecte e localize esses objetos em novas imagens, mesmo quando a cena está cheia de elementos ou o objeto está parcialmente oculto.

Outras tarefas de visão computacional dependem de diferentes tipos de anotação. Os conjuntos de dados de segmentação identificam o contorno exato de um objeto no nível do pixel, enquanto os conjuntos de dados de pontos-chave marcam pontos de referência específicos, como as articulações de uma pessoa.

No entanto, em todos esses formatos, um fator crucial é a qualidade e a consistência dos rótulos. Os modelos aprendem diretamente com os dados usados no treinamento; por isso, se os rótulos forem inconsistentes ou incorretos, o modelo muitas vezes incorporará esses erros às previsões.

Mesmo com a automação, os conjuntos de dados anotados por humanos continuam sendo essenciais, especialmente em áreas de alto risco, como imagens médicas. Pequenos erros de rotulagem, como um limite impreciso de tumor ou uma anomalia não identificada, podem ensinar o padrão errado ao modelo e levar a previsões inseguras mais tarde. Especialistas humanos fornecem a verdade fundamental precisa e o discernimento exigidos por essas aplicações.

Fig. 1. Há necessidade de conjuntos de dados anotados por humanos. Imagem do autor.

Neste artigo, vamos analisar mais de perto por que os dados anotados por humanos são essenciais, mesmo com o avanço contínuo da IA.

A necessidade de anotação de imagens e vídeos#

Os modelos de visão computacional aprendem de forma parecida com a gente: observando muitos exemplos. A diferença é que eles aprendem treinando com grandes conjuntos de dados de imagens e vídeos rotulados previamente por humanos. Esses rótulos funcionam como verdade fundamental e ensinam ao modelo coisas como: isto é um pedestre, aqui está o limite de um tumor ou aquele objeto é um carro.

Os elementos visuais do mundo real raramente são limpos ou consistentes. A iluminação pode mudar e fazer com que o mesmo objeto pareça diferente. Pessoas e veículos podem se sobrepor ou ficar parcialmente ocultos. Os fundos podem ser carregados e causar distração. Quando os conjuntos de dados incluem rótulos cuidadosos e consistentes para essas situações, os modelos ficam muito mais preparados para o que vão encontrar fora de ambientes controlados.

A anotação de dados também vai além de simplesmente desenhar caixas ou traçar contornos. Ela envolve aplicar diretrizes e tomar decisões práticas sobre o que conta como objeto, onde deve ficar o limite do objeto e o que fazer quando algo não está claro. Esse julgamento humano mantém os dados precisos e utilizáveis.

No fim das contas, o desempenho de um sistema de visão computacional não pode ser melhor do que o dos dados rotulados com que ele aprende. Em aplicações de grande impacto, como identificar câncer em exames ou detectar perigos na estrada para carros autônomos, rótulos precisos feitos por pessoas qualificadas fazem uma diferença real na precisão e na segurança.

O crescimento da automação na anotação de dados#

À medida que a visão por computador se expande e os conjuntos de dados crescem, a automatização torna-se uma forma comum de acelerar a anotação. Em vez de rotularem tudo manualmente, as equipas utilizam modelos de IA para gerar uma primeira versão das anotações.

Depois, as pessoas analisam os resultados, corrigem os erros e lidam com os casos que o modelo não consegue rotular com confiança. Essa abordagem acelera a anotação sem comprometer a qualidade.

Veja algumas formas como a automação costuma ajudar na anotação de dados:

• Segmentação automática: Os modelos podem sugerir automaticamente contornos de objetos ou máscaras ao nível do píxel, reduzindo a quantidade de delineação manual necessária por parte dos anotadores.
• Rastreamento por fluxo óptico: Em vídeos, os métodos de rastreamento podem acompanhar um objeto em movimento entre os quadros e propagar seu rótulo, ajudando a manter as anotações consistentes ao longo do tempo.
• Interpolação de quadros: As ferramentas podem preencher os rótulos dos quadros entre dois quadros rotulados, usando pistas de movimento e rastreamento, para que os anotadores não precisem rotular cada quadro.
• Aprendizagem ativa: Os pipelines de treinamento podem identificar exemplos que o modelo considera incertos ou incomuns e enviá-los primeiro para as pessoas, direcionando o esforço manual aos dados que mais melhoram o desempenho.

Por que a anotação humana de dados continua sendo tão essencial#

Embora a automação possa acelerar a rotulagem, os modelos de IA ainda precisam do julgamento humano para continuar precisos e confiáveis.

Veja algumas áreas importantes em que a experiência humana faz diferença na anotação de dados:

• Compreensão do contexto: Imagens e vídeos reais costumam ser desorganizados. Sombras, reflexos, desfoque de movimento e objetos sobrepostos podem confundir as ferramentas automatizadas. Os anotadores humanos conseguem interpretar o que realmente está acontecendo, tornando os rótulos mais precisos.
• Manutenção da consistência dos rótulos: À medida que os conjuntos de dados crescem, os rótulos automatizados podem se desviar ou variar entre lotes. As pessoas podem auditar, corrigir e harmonizar os rótulos para manter a consistência do conjunto de dados do início ao fim.
• Redução de vieses e danos: As pessoas identificam melhor conteúdo sensível, nuances culturais e padrões que podem introduzir vieses. A supervisão humana ajuda a tornar os conjuntos de dados mais justos e evita danos não intencionais.
• Aplicação de conhecimento especializado: Algumas tarefas exigem conhecimento de domínio, como identificar anomalias médicas ou defeitos industriais. Os especialistas podem fornecer rótulos precisos e resolver casos ambíguos para que o modelo aprenda os detalhes corretos.

Visão geral da anotação com participação humana#

As ferramentas e plataformas de anotação, como a Roboflow, integram a automatização para acelerar a rotulagem, muitas vezes utilizando modelos fundacionais como o Segment Anything Model 3, ou SAM 3. O SAM 3 é o modelo fundacional de segmentação da Meta AI que pode ser orientado por instruções.

Ele pode detectar, segmentar e rastrear objetos em imagens e vídeos a partir de prompts simples, como cliques, caixas delimitadoras ou frases curtas, gerando máscaras de segmentação para os objetos correspondentes sem precisar de treinamento específico para cada nova categoria.

Mesmo com estas abordagens avançadas, continua a ser necessária a revisão e finalização das anotações por especialistas humanos. Quando as ferramentas automatizadas produzem uma primeira versão e as pessoas a verificam, corrigem e aperfeiçoam, o fluxo de trabalho é conhecido como anotação com participação humana. Assim, a anotação continua a ser rápida e as etiquetas finais mantêm a precisão e a consistência necessárias para treinar modelos fiáveis.

Fig. 2. Uma visão da anotação com participação humana. (Fonte)

Quando a automação da anotação funciona e quando não funciona#

A anotação automatizada funciona melhor com dados provenientes de ambientes controlados. As imagens coletadas em fábricas, armazéns ou corredores de lojas costumam ter iluminação estável e vistas nítidas dos objetos. Assim, as ferramentas automatizadas conseguem rotulá-las com precisão e ajudar as equipes a ganhar escala mais rapidamente, com menos trabalho manual.

Os dados de ambientes menos controlados são mais complexos. As imagens externas mudam conforme a hora do dia e o clima, e as cenas de ruas ou casas costumam incluir desordem, desfoque de movimento, objetos que se ocultam uns aos outros e muitas sobreposições. Objetos pequenos, limites precisos ou situações raras aumentam ainda mais a possibilidade de erro. Um modelo que funciona bem com dados internos limpos ainda pode ter dificuldades com imagens confusas do mundo real.

É por isso que a participação humana continua sendo importante. As pessoas podem intervir quando o modelo está incerto, interpretar contextos difíceis e corrigir erros antes que eles cheguem ao conjunto de dados final. A anotação com participação humana ajuda a manter a automação ancorada nas condições do mundo real e os modelos confiáveis após a implantação.

Onde a anotação com participação humana pode fazer diferença?#

Agora que vimos onde a automação funciona bem e onde fica aquém do esperado, vamos explorar algumas aplicações em que a anotação com participação humana desempenha um papel importante.

Detecção de defeitos na indústria#

Pensa numa esteira de fábrica onde centenas de peças passam diante de uma câmera a cada minuto. A maioria dos defeitos é evidente, mas, de vez em quando, aparece uma fissura capilar num ângulo incomum ou sob o brilho de uma luz. Um sistema automatizado pode não detectá-la ou classificá-la como uma textura superficial inofensiva, mas uma pessoa pode identificar a falha, corrigir a anotação e garantir que o modelo aprenda a diferença.

Esse é o papel da anotação com participação humana na inspeção industrial. A automação pode pré-rotular tipos comuns de defeitos e processar rapidamente grandes volumes de imagens, mas as pessoas ainda precisam verificar os resultados, ajustar os limites e lidar com falhas raras que não aparecem com frequência no treinamento.

Veículos autônomos e transporte inteligente#

Da mesma forma, os veículos autônomos usam visão computacional para detectar pedestres, ler sinais e navegar no trânsito, mas as estradas reais são imprevisíveis. Por exemplo, um pedestre que surge de trás de um carro estacionado à noite pode ficar parcialmente oculto e difícil de ver devido ao brilho.

Fig. 3. Exemplo do uso da visão computacional para analisar o trânsito. (Fonte)

Os anotadores humanos podem rotular esses casos extremos raros e críticos para a segurança durante o treinamento, para que os modelos aprendam a resposta correta não apenas em condições normais, mas também nos momentos mais importantes. Essa etapa com participação humana é essencial para ensinar os sistemas a lidar com eventos pouco frequentes, difíceis de capturar apenas com automação.

O futuro dos conjuntos de dados anotados por humanos#

A anotação com participação humana está se tornando mais colaborativa à medida que a tecnologia avança. Curiosamente, os modelos de visão e linguagem (VLMs), que aprendem tanto com imagens quanto com texto, estão sendo usados para criar uma primeira versão dos rótulos e sugerir correções a partir de prompts simples.

Assim, em vez de examinar manualmente cada imagem para decidir o que rotular, um anotador pode enviar a um VLM um prompt como “rotule todos os pedestres, carros e semáforos” ou “segmente todos os defeitos desta peça” e obter um rascunho de anotações para revisar. Na Ultralytics Platform, as equipes podem anotar automaticamente conjuntos de dados de detecção com modelos de linguagem visual, e o VLM Leaderboard compara a precisão com que cada modelo rotula imagens do mundo real.

Fig. 4. Grandes modelos multimodais podem trabalhar com anotadores humanos (Fonte)

Isso reduz o tempo de anotação porque o modelo pode lidar de antemão com muitos casos simples, permitindo que as pessoas se concentrem em revisar os resultados, corrigir exemplos difíceis e manter a consistência do conjunto de dados. Os grandes modelos multimodais também estão começando a orientar os anotadores para as amostras mais incertas, direcionando melhor o esforço humano e melhorando a qualidade geral do conjunto de dados.

Principais conclusões#

A visão computacional ajuda as máquinas a interpretar e reagir ao que veem, mas funciona melhor quando conta com a participação de especialistas humanos. Os dados anotados por humanos mantêm os modelos ancorados nas condições do mundo real e aumentam a confiabilidade do desempenho. Com a automação e o julgamento humano trabalhando lado a lado, as equipes podem criar sistemas de visão de grande impacto.

Junta-te à nossa comunidade, sempre ativa, e descobre inovações como a IA na logística e a IA visual na robótica. Visita o nosso repositório do GitHub para saberes mais. Para começares hoje a trabalhar com visão por computador, consulta as nossas opções de licenciamento.