Compreender por que razão a anotação com participação humana é essencial

Há vinte anos, se alguém dissesse que estava pensando em comprar um robô para ajudar nas tarefas de casa, isso pareceria muito improvável. No entanto, estamos em plena explosão da IA, e os robôs estão sendo testados em cenários semelhantes.

Uma área fundamental da IA que impulsiona esse progresso é a visão computacional, que dá às máquinas a capacidade de compreender imagens e vídeos. Em outras palavras, modelos de visão computacional como o Ultralytics YOLO11 e o futuro Ultralytics YOLO26 podem ser treinados com datasets compostos por dados visuais e anotações.

Essas anotações ajudam o modelo a compreender os dados visuais. Por exemplo, datasets de detecção de objetos usam caixas delimitadoras para desenhar retângulos ao redor dos objetos de interesse. Isso permite que o modelo detecte e localize esses objetos em novas imagens, mesmo quando a cena está poluída ou o objeto está parcialmente oculto.

Outras tarefas de visão computacional dependem de diferentes tipos de anotações. Datasets de segmentação identificam o contorno exato de um objeto ao nível dos pixels, enquanto datasets de keypoints marcam pontos de referência específicos, como as articulações de uma pessoa.

No entanto, em todos esses formatos, um fator crucial é a qualidade e a consistência dos rótulos. Os modelos aprendem diretamente com os dados usados no treinamento; portanto, se os rótulos forem inconsistentes ou estiverem errados, o modelo frequentemente levará esses erros para as suas previsões.

Mesmo com a automação, datasets anotados por humanos continuam sendo essenciais, especialmente em áreas de alto risco, como a imagiologia médica. Pequenos erros de rotulagem, como um limite impreciso de um tumor ou uma anomalia não identificada, podem ensinar ao modelo o padrão errado e levar a previsões inseguras mais tarde. Especialistas humanos fornecem a verdade fundamental e o discernimento precisos que essas aplicações exigem.

Fig. 1. Há necessidade de datasets anotados por humanos. Imagem do autor.

Neste artigo, vamos analisar mais de perto por que os dados anotados por humanos são essenciais, mesmo com o avanço contínuo da IA.

A necessidade de anotação de imagens e vídeos#

Os modelos de visão computacional aprendem de forma muito parecida conosco: observando muitos exemplos. A diferença é que eles aprendem por meio do treinamento com grandes datasets de imagens e vídeos que os humanos rotulam antecipadamente. Esses rótulos funcionam como verdade fundamental, ensinando ao modelo coisas como isto é um pedestre, aqui está o limite de um tumor ou aquele objeto é um carro.

As imagens do mundo real raramente são limpas ou consistentes. A iluminação pode mudar e fazer o mesmo objeto parecer diferente. Pessoas e veículos podem se sobrepor ou ficar parcialmente ocultos. Os fundos podem ser confusos e distrativos. Quando os datasets incluem rótulos cuidadosos e consistentes em todas essas situações, os modelos ficam muito mais preparados para o que encontrarão fora de ambientes controlados.

A anotação de dados também vai além de desenhar caixas ou traçar contornos. Ela envolve aplicar diretrizes e tomar decisões práticas sobre o que conta como objeto, onde deve ficar o seu limite e o que fazer quando algo não está claro. Esse discernimento humano mantém os dados precisos e utilizáveis.

No fim, um sistema de visão computacional tem um desempenho tão bom quanto os dados rotulados com os quais aprende. Em aplicações de alto impacto, como identificar cancro em exames ou detetar perigos na estrada para carros autónomos, rótulos precisos produzidos por pessoas qualificadas fazem uma diferença real na exatidão e na segurança.

A ascensão da automação na anotação de dados#

À medida que a visão computacional escala e os datasets crescem, a automação está se tornando uma forma comum de acelerar a anotação. Em vez de rotular tudo manualmente, as equipes usam modelos de IA para produzir uma primeira versão dos rótulos.

Depois, os humanos analisam os resultados, corrigem os erros e lidam com os casos que o modelo não consegue rotular com confiança. Essa abordagem acelera a anotação mantendo a qualidade elevada.

Veja algumas formas pelas quais a automação normalmente ajuda na anotação de dados:

• Segmentação automática: os modelos podem sugerir automaticamente contornos de objetos ou máscaras ao nível dos pixels, reduzindo a quantidade de traçado manual que os anotadores precisam fazer.
• Rastreamento por fluxo óptico: no caso de vídeos, os métodos de rastreamento podem acompanhar um objeto em movimento entre os frames e transferir o seu rótulo, ajudando a manter as anotações consistentes ao longo do tempo.
• Interpolação de frames: as ferramentas podem preencher os rótulos dos frames entre dois frames rotulados usando pistas de movimento e rastreamento, para que os anotadores não precisem rotular cada frame.
• Aprendizagem ativa: os pipelines de treinamento podem identificar exemplos que o modelo considera incertos ou incomuns e enviá-los primeiro para os humanos, fazendo com que o esforço manual seja direcionado aos dados que mais melhoram o desempenho.

Por que a anotação de dados por humanos continua sendo tão crucial#

Embora a automação possa acelerar a rotulagem, os modelos de IA ainda precisam do discernimento humano para se manterem precisos e confiáveis.

Veja algumas áreas importantes em que a experiência humana causa impacto na anotação de dados:

• Compreensão do contexto: imagens e vídeos reais costumam ser confusos. Sombras, reflexos, desfoque de movimento e objetos sobrepostos podem confundir as ferramentas automatizadas. Os anotadores humanos conseguem interpretar o que está realmente acontecendo, tornando os rótulos mais precisos.
• Manutenção da consistência dos rótulos: à medida que os datasets crescem, os rótulos automatizados podem sofrer desvios ou variar entre lotes. Os humanos podem auditar, corrigir e alinhar os rótulos para que o dataset permaneça consistente do início ao fim.
• Redução de vieses e danos: as pessoas são melhores em identificar conteúdo sensível, nuances culturais e padrões que podem introduzir vieses. A sua supervisão ajuda a tornar os datasets mais justos e evita danos não intencionais.
• Aplicação de conhecimentos especializados: algumas tarefas exigem conhecimento de um domínio, como identificar anomalias médicas ou defeitos industriais. Os especialistas podem fornecer rótulos precisos e resolver casos ambíguos para que o modelo aprenda os detalhes corretos.

Uma visão geral da anotação human-in-the-loop#

Ferramentas e plataformas de anotação, como a Roboflow, integram automação para acelerar a rotulagem, muitas vezes usando modelos fundamentais, como o Modelo Segment Anything 3 ou o SAM3. O SAM3 é o modelo fundamental de segmentação acionável por prompts da Meta AI.

Ele pode detetar, segmentar e rastrear objetos em imagens e vídeos a partir de prompts simples, como cliques, caixas delimitadoras ou frases curtas, produzindo máscaras de segmentação para os objetos correspondentes sem precisar de treinamento específico para cada nova categoria.

Mesmo com essas abordagens de ponta, os especialistas humanos ainda são necessários para analisar e finalizar as anotações. Quando as ferramentas automatizadas produzem um primeiro rascunho e os humanos o verificam, corrigem e refinam, o fluxo de trabalho é conhecido como anotação human-in-the-loop. Isso mantém a anotação rápida e garante que os rótulos finais sejam suficientemente precisos e consistentes para treinar modelos confiáveis.

Fig. 2. Uma visão da anotação human-in-the-loop. (Fonte)

Quando a automação da anotação funciona e quando não funciona#

A anotação automatizada funciona melhor com dados provenientes de ambientes controlados. As imagens recolhidas em fábricas, armazéns ou corredores de lojas geralmente têm iluminação estável e visões claras dos objetos, permitindo que as ferramentas automatizadas os rotulem com precisão e ajudem as equipes a escalar mais rapidamente com menos trabalho manual.

Os dados provenientes de ambientes menos controlados são mais complexos. As imagens externas mudam conforme a hora do dia e o clima, e as cenas de ruas ou casas frequentemente incluem desordem, desfoque de movimento, objetos que bloqueiam uns aos outros e muita sobreposição. Objetos pequenos, limites detalhados ou situações raras acrescentam ainda mais margem para erros. Um modelo que tem bom desempenho com dados internos limpos ainda pode ter dificuldades com imagens desorganizadas do mundo real.

É por isso que a intervenção humana continua sendo importante. As pessoas podem intervir quando o modelo está incerto, interpretar contextos difíceis e corrigir erros antes que eles cheguem ao dataset final. A anotação human-in-the-loop ajuda a manter a automação fundamentada nas condições do mundo real e preserva a confiabilidade dos modelos após a implementação.

Onde a anotação human-in-the-loop pode fazer a diferença?#

Agora que vimos onde a automação funciona bem e onde fica aquém do esperado, vamos explorar algumas aplicações em que a anotação human-in-the-loop desempenha um papel importante.

Deteção de defeitos na fabricação#

Considere uma esteira de fábrica onde centenas de peças passam diante de uma câmera a cada minuto. A maioria dos defeitos é óbvia, mas, ocasionalmente, surge uma fissura fina num ângulo estranho ou sob o reflexo intenso de uma luz. Um sistema automatizado pode não a detetar ou classificá-la como uma textura superficial inofensiva, mas um revisor humano consegue identificar a falha, corrigir a anotação e garantir que o modelo aprenda a diferença.

Esse é o papel da anotação human-in-the-loop na inspeção industrial. A automação pode pré-rotular tipos comuns de defeitos e processar rapidamente grandes volumes de imagens, mas os humanos ainda precisam verificar os resultados, ajustar os limites e lidar com falhas raras que não aparecem com frequência no treinamento.

Veículos autónomos e transporte inteligente#

Da mesma forma, os veículos autónomos usam visão computacional para identificar pedestres, ler sinais e navegar no trânsito, mas as estradas reais são imprevisíveis. Por exemplo, um pedestre que sai de trás de um carro estacionado à noite pode estar parcialmente oculto e ser difícil de ver sob o reflexo intenso.

Fig. 3. Um exemplo do uso de visão computacional para analisar o trânsito. (Fonte)

Os anotadores humanos podem rotular esses casos extremos raros e críticos para a segurança durante o treinamento, para que os modelos aprendam a resposta correta, não apenas em condições normais, mas também nos momentos que mais importam. Essa etapa human-in-the-loop é essencial para ensinar os sistemas a lidar com eventos de baixa frequência difíceis de capturar apenas com automação.

O futuro dos datasets anotados por humanos#

A anotação human-in-the-loop está se tornando mais colaborativa à medida que a tecnologia avança. Curiosamente, os modelos de visão e linguagem (VLMs), que aprendem tanto com imagens quanto com texto, estão sendo usados para criar uma primeira versão dos rótulos e sugerir correções a partir de prompts simples.

Assim, em vez de analisar manualmente cada imagem para decidir o que rotular, um anotador pode fornecer a um VLM um prompt como “rotule todos os pedestres, carros e semáforos” ou “segmente todos os defeitos nesta peça” e obter um conjunto preliminar de anotações para revisar.

Fig. 4. Modelos multimodais de grande escala podem trabalhar com anotadores humanos (Fonte)

Isso reduz o tempo de anotação porque o modelo pode lidar antecipadamente com muitos casos simples, permitindo que os humanos se concentrem na análise dos resultados, na correção de exemplos complexos e na manutenção da consistência do dataset. Os modelos multimodais de grande escala também estão começando a orientar os anotadores para as amostras mais incertas, tornando o esforço humano mais direcionado e melhorando a qualidade geral do dataset.

Principais conclusões#

A visão computacional ajuda as máquinas a interpretar e reagir ao que veem, mas funciona melhor com a experiência humana integrada ao processo. Os dados anotados por humanos mantêm os modelos fundamentados nas condições do mundo real e melhoram a confiabilidade do seu desempenho. Com a automação e o discernimento humano trabalhando lado a lado, as equipes podem criar sistemas de visão de grande impacto.

Junta-te à nossa comunidade ativa e explora inovações como IA na logística e IA de visão na robótica. Visita o nosso repositório no GitHub para descobrir mais. Para começares hoje com visão computacional, consulta as nossas opções de licenciamento.