Conjunto de dados de referência

Um conjunto de dados de referência é um conjunto de dados normalizado e de alta qualidade utilizado na aprendizagem automática (ML) para avaliar e comparar o desempenho de diferentes algoritmos e modelos de uma forma justa e reprodutível. Estes conjuntos de dados são cuidadosamente selecionados e amplamente aceites pela comunidade de investigação, servindo de base comum para medir o progresso em tarefas específicas, como a deteção de objectos ou a classificação de imagens. Ao testar modelos com os mesmos dados e métricas de avaliação, os investigadores e programadores podem determinar objetivamente quais as abordagens mais eficazes, mais rápidas ou mais eficientes. A utilização de padrões de referência é fundamental para fazer avançar o estado da arte da inteligência artificial (IA).

A importância do Benchmarking

No domínio da visão por computador (CV), em rápida evolução, os conjuntos de dados de referência são indispensáveis. Fornecem uma base de referência estável para avaliar as melhorias e inovações dos modelos. Sem eles, seria difícil saber se uma nova arquitetura de modelo ou técnica de formação representa verdadeiramente um avanço ou se o seu desempenho se deve simplesmente ao facto de ter sido testado num conjunto de dados diferente e potencialmente mais fácil. As tabelas de classificação públicas, frequentemente associadas a desafios como o ImageNet Large Scale Visual Recognition Challenge (ILSVRC), utilizam estes conjuntos de dados para promover uma concorrência saudável e acompanhar de forma transparente o progresso. Este processo incentiva o desenvolvimento de modelos mais robustos e generalizáveis, o que é crucial para a implementação de modelos no mundo real.

Exemplos do mundo real

1. Comparação de modelos de deteção de objectos: Quando a Ultralytics desenvolve um novo modelo como o YOLO11, o seu desempenho é rigorosamente testado em conjuntos de dados de referência padrão, como o COCO. Os resultados, medidos por métricas como a precisão média (mAP), são comparados com versões anteriores(YOLOv8, YOLOv10) e outros modelos de última geração. Estas comparações de modelos ajudam os utilizadores a escolher o melhor modelo para as suas necessidades. Plataformas como o Ultralytics HUB permitem aos utilizadores treinar modelos e compará-los com dados personalizados.
2. Avanço da condução autónoma: As empresas que desenvolvem tecnologia para veículos autónomos dependem fortemente de referências como o Argoverse ou o nuScenes. Estes conjuntos de dados contêm cenários complexos de condução urbana com anotações detalhadas para carros, peões e ciclistas. Ao avaliar os seus modelos de perceção nestes benchmarks, as empresas podem medir as melhorias na precisão da deteção, na fiabilidade do rastreio e na robustez geral do sistema, o que é fundamental para garantir a segurança na IA para carros autónomos.

Benchmark vs. Outros conjuntos de dados

É importante distinguir os conjuntos de dados de referência de outras divisões de dados utilizadas no ciclo de vida do ML:

• Dados de formação: Utilizados para ensinar o modelo, ajustando os seus parâmetros com base em exemplos de entrada e nas suas etiquetas correspondentes. Esta é normalmente a maior parte dos dados. Técnicas como o aumento de dados são frequentemente aplicadas aqui.
• Dados de validação: Utilizados durante a formação para ajustar os hiperparâmetros do modelo (como a taxa de aprendizagem ou as escolhas de arquitetura) e fornecer uma estimativa imparcial da capacidade do modelo. Ajuda a evitar o sobreajuste aos dados de treino.
• Dados de teste: Utilizados depois de o modelo estar completamente treinado para fornecer uma avaliação final e imparcial do seu desempenho em dados não vistos.

Embora um conjunto de dados de referência sirva frequentemente como um conjunto de testes normalizado, o seu objetivo principal é mais amplo: fornecer um padrão comum para comparação em toda a comunidade de investigação. Muitos conjuntos de dados de referência são listados e monitorizados em plataformas como a Papers with Code, que aloja tabelas de classificação para várias tarefas de ML. Outros conjuntos de dados notáveis incluem o Open Images V7 da Google e o desafio Pascal VOC. O acesso a estes conjuntos de dados de visão computacional de alta qualidade é essencial para qualquer pessoa que esteja a criar sistemas de IA fiáveis.