Concordância entre avaliadores: definição, exemplos e cálculos

Ao desenvolver um modelo de IA, a qualidade dos dados é tão importante quanto os algoritmos por trás dele. Sempre que várias pessoas rotulam ou revisam os mesmos dados, é inevitável que haja discordâncias. Isso acontece em muitas áreas, incluindo pesquisa, saúde e educação.

Em particular, na visão computacional, um ramo da IA que envolve o treinamento de modelos como o Ultralytics YOLO11 para interpretar dados visuais, como imagens ou vídeos, os exemplos rotulados desempenham um papel fundamental. Se esses rótulos forem inconsistentes, os modelos de visão computacional podem ter dificuldade para aprender os padrões corretos.

A concordância entre avaliadores (IRR) mede o grau de concordância entre diferentes pessoas, ou anotadores, em uma tarefa. Ela ajuda a monitorar a consistência e identificar lacunas no treinamento, nas diretrizes ou na interpretação. Isso é especialmente importante no treinamento de modelos personalizados, em que modelos de IA são desenvolvidos com dados específicos para uma finalidade particular.

Neste artigo, vamos explorar o que é a concordância entre avaliadores, como medi-la e como melhorá-la em projetos do mundo real. Vamos começar!

O que é concordância entre avaliadores?#

A concordância entre avaliadores mede com que frequência duas ou mais pessoas (também chamadas de avaliadores) concordam ao rotular, classificar ou revisar o mesmo conteúdo. Ela é usada para verificar o grau de consistência com que diferentes avaliadores aplicam os critérios fornecidos. Uma alta concordância entre avaliadores significa que a tarefa está bem definida e é claramente compreendida.

Esse conceito é usado em diferentes áreas. Dependendo da área, ele recebe nomes distintos, como concordância entre avaliadores, confiabilidade entre observadores ou confiabilidade entre codificadores. No entanto, o princípio subjacente continua sendo o mesmo.

Na IA visual, a fiabilidade entre avaliadores é uma parte essencial do processo de rotulagem de dados. O treino de modelos de visão computacional exige muitas vezes a rotulagem de enormes conjuntos de dados de imagens ou fotogramas de vídeo, pelo que vários anotadores trabalham frequentemente nos mesmos dados.

Para obter resultados precisos, eles precisam seguir as mesmas diretrizes de rotulagem. Por exemplo, ao rotular animais, todos precisam concordar claramente sobre o que é considerado um cachorro, como desenhar a caixa delimitadora ao redor dele e se devem rotular ou ignorar objetos desfocados.

Fig. 1. Entenda a concordância entre avaliadores (imagem do autor)

Confiabilidade entre avaliadores, dentro do mesmo avaliador e de teste-reteste#

Quando há pessoas envolvidas na rotulagem ou pontuação de dados, existem três tipos principais de confiabilidade a considerar. Cada um serve a uma finalidade diferente para medir a consistência dos resultados. Veja cada um deles mais de perto:

• Confiabilidade entre avaliadores: A confiabilidade entre avaliadores analisa o grau de concordância entre diferentes pessoas que realizam a mesma tarefa. Isso é especialmente útil quando vários anotadores participam de projetos como rotulagem de imagens, análise de sentimentos ou revisões médicas.
• Confiabilidade dentro do mesmo avaliador: Aqui, o foco muda para uma única pessoa. A confiabilidade dentro do mesmo avaliador verifica se o avaliador mantém a consistência ao repetir a mesma tarefa em momentos diferentes. Se os rótulos mudarem muito, isso pode ser resultado de diretrizes pouco claras ou falta de clareza na tarefa.
• Confiabilidade de teste-reteste: A confiabilidade de teste-reteste não se concentra no anotador, mas na ferramenta ou no método usado. Ela mede se o mesmo resultado aparece quando o teste é repetido em condições semelhantes. Se a saída permanecer consistente, o método é considerado confiável.

Em conjunto, essas medidas ajudam a confirmar que tanto as pessoas quanto os processos produzem resultados consistentes e confiáveis.

Fig. 2. Visão geral da confiabilidade interavaliadores, intra-avaliador e teste-reteste (Imagem do autor)

Por que a confiabilidade interavaliadores é importante?#

Em projetos de IA de visão em grande escala, a qualidade dos dados rotulados afeta diretamente o desempenho de um modelo. Mesmo pequenas diferenças na forma como os anotadores aplicam as diretrizes podem gerar inconsistências que confundem o modelo durante o treinamento. Com o tempo, isso pode levar a previsões imprecisas, desperdício de recursos e à necessidade de refazer as rotulações, com custos elevados.

Medir a confiabilidade interavaliadores ajuda a identificar esses problemas logo no início. Uma concordância alta significa que os anotadores estão alinhados, produzindo conjuntos de dados mais limpos e confiáveis. Uma concordância baixa indica que talvez seja necessário aperfeiçoar as instruções, os exemplos ou o treinamento antes de o projeto avançar. Ao garantir que os rotuladores trabalhem em sintonia, as equipes podem criar modelos de IA que aprendem com mais eficácia e oferecem melhores resultados em aplicações do mundo real.

Considerações práticas sobre a confiabilidade interavaliadores#

Estas são algumas considerações práticas importantes a ter em mente ao trabalhar com vários avaliadores e buscar uma alta confiabilidade interavaliadores:

• Tarefas ambíguas ou subjetivas: Quando a rotulação exige interpretação, como decidir se um objeto borrado é um pedestre ou avaliar a qualidade de uma imagem, vários avaliadores ajudam a garantir decisões consistentes, sem influência excessiva de vieses individuais.
• Tarefas simples e objetivas: Tarefas diretas, como contar o número de carros em uma imagem ou confirmar se um objeto está presente, muitas vezes exigem apenas um avaliador bem treinado, já que a concordância costuma ser alta quando o processo está claramente definido.
• Diretrizes de rotulação claras: Instruções detalhadas e fáceis de seguir reduzem a incerteza sobre como aplicar os rótulos, melhorando a concordância entre avaliadores. As diretrizes devem abordar explicitamente os casos-limite para evitar interpretações inconsistentes.
• Treinamento e calibração periódicos: Até mesmo avaliadores experientes podem mudar seus critérios ao longo do tempo. Sessões regulares de treinamento e verificações de calibração ajudam a manter a consistência e minimizar o viés do experimentador.

Medidas de confiabilidade interavaliadores#

Existem várias formas de medir a fiabilidade entre avaliadores, e a melhor opção depende do tipo de dados e da tarefa. Alguns métodos funcionam bem com dois avaliadores que respondem a perguntas simples de sim ou não, enquanto outros foram concebidos para situações com vários avaliadores.

Entre as abordagens comuns estão a percentagem de concordância, o Kappa de Cohen, o Kappa de Fleiss e o coeficiente de correlação intraclasse. Cada método mede o nível de concordância entre avaliadores e a maioria também tem em conta a possibilidade de alguma concordância ocorrer por acaso.

Kappa de Cohen e Kappa de Fleiss#

O Kappa de Cohen é um método amplamente utilizado para medir a confiabilidade interavaliadores entre dois avaliadores. Ele calcula a frequência com que eles concordam em uma tarefa, ajustando o resultado para levar em conta a possibilidade de que parte da concordância ocorra por acaso. As pontuações variam de -1 a 1: 1 indica concordância perfeita, e 0 significa que a concordância não é melhor do que uma suposição aleatória.

Da mesma forma, o Kappa de Fleiss é usado quando há mais de dois avaliadores. Ele fornece uma pontuação geral que mostra o nível de consistência do grupo. Ambos os métodos são usados em tarefas com categorias definidas, como rotular imagens ou identificar emoções. São fáceis de calcular.

Porcentagem de concordância e coeficiente de correlação intraclasse (ICC)#

Outra maneira de medir a confiabilidade interavaliadores é calcular a porcentagem de concordância, que indica a porcentagem de vezes em que os avaliadores tomam a mesma decisão. Embora seja simples de usar, esse método não leva em conta a concordância que pode ocorrer por acaso.

Já o coeficiente de correlação intraclasse é um método mais avançado, usado com dados contínuos ou baseados em escalas. Ele mede a consistência das avaliações entre vários avaliadores e costuma ser aplicado em pesquisas que envolvem pontuações, medições ou outros tipos de dados além de categorias fixas.

Exemplos e aplicações da confiabilidade interavaliadores#

Agora que entendemos melhor como medir a confiabilidade interavaliadores, vamos ver como esses métodos podem ser usados em aplicações do mundo real.

Confiabilidade interavaliadores na anotação de imagens médicas#

No caso de imagens médicas, até mesmo pequenas diferenças de interpretação podem levar a mudanças significativas nos resultados. Por exemplo, muitas vezes os radiologistas precisam identificar padrões sutis, ambíguos ou difíceis de definir. Quando esses padrões se tornam dados de treinamento para sistemas de IA, os riscos são maiores. Se os especialistas rotularem a mesma tomografia de maneiras diferentes, o modelo poderá aprender os padrões errados ou não aprender nada.

A confiabilidade interavaliadores ajuda as equipes que trabalham com esses dados a avaliar a consistência real dos julgamentos dos especialistas. Por exemplo, em um estudo recente sobre exames de OCT da retina, dois avaliadores rotularam 500 imagens.

A concordância foi alta para características claras, como drusas (depósitos amarelos sob a retina), com uma pontuação kappa de 0,87. Já para elementos mais difíceis de definir, como focos hiper-refletivos (pequenos pontos brilhantes vistos em exames da retina), a pontuação caiu para 0,33. Isso mostra que características mais claras e bem definidas tendem a gerar julgamentos mais consistentes entre especialistas, enquanto características ambíguas deixam mais espaço para interpretação.

Fig. 3. Exemplos de rótulos para diferentes características relacionadas a doenças da retina (Fonte)

Conjuntos de dados de veículos autônomos e confiabilidade interavaliadores#

O treinamento de modelos de IA para um sistema de condução autônoma depende de rótulos precisos e consistentes em uma ampla variedade de condições de estrada. Em geral, os anotadores desses projetos precisam identificar pedestres, veículos, sinais de trânsito e marcações de faixa, muitas vezes em condições de pouca iluminação ou em cenas movimentadas.

Essas decisões moldam a maneira como o modelo aprende a responder em ambientes adversos do mundo real. A confiabilidade interavaliadores permite que as equipes verifiquem se os rótulos estão sendo aplicados da mesma maneira por todos os anotadores.

Fig. 4. Uma análise das divergências de anotação (Fonte)

Além da confiabilidade interavaliadores: outras medidas de garantia de qualidade#

Embora medir a confiabilidade interavaliadores seja uma etapa crucial na criação de uma solução de IA, ela faz parte de um processo mais amplo de garantia de qualidade. Veja algumas outras práticas que podem ajudar a melhorar a qualidade dos dados em equipes e projetos:

• Diretrizes de anotação claras: as instruções devem explicar exatamente como aplicar as etiquetas, para que todos sigam o mesmo padrão.
• Treinamento e calibração: Sessões regulares ajudam os anotadores a manter o alinhamento e oferecem espaço para fazer perguntas e se adaptar aos casos-limite.
• Verificações contínuas de qualidade: verificações pontuais e exemplos de referência permitem detetar erros atempadamente e manter a qualidade elevada à medida que o projeto cresce.
• Resolução de divergências: Quando os anotadores discordam, deve haver um processo claro para analisar esses casos e tomar decisões finais.
• Grupo diversificado de anotadores: Envolver pessoas com diferentes origens pode reduzir vieses e melhorar a representatividade das variações do mundo real no conjunto de dados.

Principais conclusões#

A confiabilidade interavaliadores mede a consistência com que as pessoas aplicam rótulos ou tomam decisões. Métodos como o Kappa de Cohen, o Kappa de Fleiss e o ICC ajudam a quantificar essa concordância. Com diretrizes claras, treinamento e controle de vieses, as anotações confiáveis levam a dados melhores e a resultados superiores dos modelos.

Junta-te à nossa comunidade e explora o nosso repositório do GitHub para descobrir mais sobre IA. Se queres começar o teu próprio projeto de IA de visão, consulta as nossas opções de licenciamento. Também podes ver como a IA na área da saúde e a IA de visão no varejo estão gerando impacto visitando as nossas páginas de soluções.