Golden Dataset

Um conjunto de dados de referência é uma coleção de exemplos cuidadosamente selecionada, rotulada com precisão e representativa, utilizada como referência fiável para avaliar um sistema de IA. Em vez de maximizar a dimensão, dá prioridade à correção, à cobertura e à relevância para a aplicação pretendida. As equipas utilizam-no como uma «chave de respostas» estável para comparar modelos, verificar regressões, investigar falhas e decidir se um sistema está pronto para implementação.

Na aprendizagem automática, «conjunto de dados de referência» é um termo informal de engenharia, não um tipo de conjunto de dados universalmente padronizado. O seu conteúdo exato depende da tarefa: imagens com caixas delimitadoras verificadas para deteção de objetos, prompts com respostas aprovadas para um modelo de linguagem ou transações com resultados confirmados para deteção de fraude.

O que torna um conjunto de dados de referência fiável#

Um conjunto de dados de referência contém entradas e resultados esperados fiáveis, muitas vezes denominados verdade de referência. Em visão computacional, estes resultados podem ser rótulos de classe, caixas delimitadoras, máscaras de segmentação ou pontos-chave produzidos através de uma anotação de dados rigorosa.

As suas principais qualidades são:

• Precisão dos rótulos: Especialistas no domínio ou revisores com formação verificam as anotações de acordo com orientações claras. Os exemplos ambíguos são resolvidos de forma consistente, em vez de ficarem sujeitos à interpretação individual.
• Cobertura representativa: O conjunto de dados reflete condições importantes de produção, incluindo casos comuns, exemplos difíceis, eventos raros e grupos relevantes de utilizadores ou ambientais.
• Alinhamento com a tarefa: Cada exemplo ajuda a medir um requisito definido, como detetar embalagens danificadas sob a iluminação de um armazém.
• Independência: Os exemplos são separados dos dados de treino para evitar fuga de dados, que pode fazer com que o desempenho reportado pareça enganadoramente elevado.
• Rastreabilidade: As equipas registam as fontes dos dados, as condições de recolha, as regras de anotação, os revisores e as alterações. O acompanhamento de conjuntos de dados do MLflow ilustra como hashes, esquemas, fontes e linhagem de conjuntos de dados podem contribuir para a reprodutibilidade.
• Alterações controladas: As atualizações são versionadas e revistas. A pontuação de um modelo só é significativa quando se conhecem a versão exata do conjunto de dados e as definições de avaliação.

«Dourado» não significa perfeito nem permanentemente correto. As condições e definições do mundo real podem mudar, pelo que o conjunto de referência deve ser auditado e atualizado sem reescrever silenciosamente os resultados históricos.

Conjunto de dados dourado vs. termos relacionados#

Um conjunto de dados dourado sobrepõe-se a vários conceitos conhecidos, mas dá ênfase à confiança e à governança:

• Uma anotação de referência é a resposta aceite para um exemplo; um conjunto de dados dourado é uma coleção de exemplos revistos e das respetivas respostas aceites.
• Um conjunto de dados de referência costuma ser partilhado para comparar sistemas numa tarefa comum. Um conjunto de dados dourado é frequentemente privado e adaptado a uma organização, produto ou ambiente de implementação específico.
• Os dados de validação orientam a seleção e o ajuste do modelo durante o desenvolvimento. As decisões repetidas com base nesses dados podem, gradualmente, levar ao sobreajuste do processo de desenvolvimento.
• Os dados de teste são reservados para a avaliação final. Um conjunto de dados dourado funciona muitas vezes como um conjunto de teste ou de regressão de alta qualidade, embora também possa conter partes separadas para desenvolvimento e teste final.
• Os dados de treino ensinam os parâmetros do modelo e costumam ser muito maiores. Um conjunto de dados dourado deve permanecer fora do treino, a menos que uma cópia versionada seja deliberadamente retirada da avaliação.

As orientações da Google sobre a divisão de conjuntos de dados recomendam manter distintos os exemplos de treino, validação e teste. Quando há poucos dados, as técnicas de validação cruzada podem melhorar a estimativa, mas continua a ser valioso manter um conjunto de referência final protegido.

Aplicações no mundo real#

Inspeção de defeitos de fabricação: Uma fábrica pode criar um conjunto de dados de referência com imagens analisadas que mostram produtos aceitáveis e defeitos confirmados, como fissuras, componentes em falta ou montagem incorreta. O conjunto inclui várias linhas de produção, posições de câmara, materiais e condições de iluminação. Cada modelo candidato é avaliado no mesmo conjunto antes do lançamento. Se a revocação diminuir para fissuras pequenas, a equipe pode bloquear a implantação mesmo quando a métrica geral parece aceitável.

Monitorização de prateleiras de retalho: Um retalhista pode manter imagens verificadas de lojas com prateleiras cheias, espaços vazios, produtos parcialmente ocultos, embalagens sazonais e reflexos. Este conjunto de dados mede se um sistema de visão deteta de forma fiável produtos e ruturas de stock em diferentes ambientes de loja. A revisão do desempenho por cenário ou categoria de produto segue a prática mais ampla de identificar grupos com taxas de erro elevadas, descrita nas orientações da Microsoft para uma IA responsável.

Estas aplicações mostram por que motivo a precisão global, por si só, é insuficiente. O conjunto de dados dourado deve permitir uma avaliação por segmentos para classes, locais, dispositivos ou condições raros, em que os erros têm consequências diferentes. O Núcleo da Estrutura de Gestão de Riscos de IA do NIST também salienta a importância de conjuntos de teste documentados, métricas adequadas e avaliação em condições semelhantes às da implementação.

Criar e manter um conjunto de dados dourado#

Começa por definir o comportamento pretendido do modelo e os modos de falha importantes. Recolhe exemplos representativos, escreve instruções de anotação precisas, calibra os revisores e resolve divergências com especialistas no domínio. Mantém os quase duplicados e os fotogramas de vídeo relacionados na mesma divisão, para que conteúdos visualmente semelhantes não atravessem a fronteira entre treino e avaliação.

Para projetos de visão, a Ultralytics Platform permite gerir conjuntos de dados na cloud, fazer anotações, treinar e implementar modelos. O fluxo de trabalho de anotação permite às equipas criar e aperfeiçoar etiquetas, enquanto as vistas dos conjuntos de dados ajudam a inspecionar a distribuição das classes, imagens não anotadas, divisões, duplicados e valores atípicos.

Versiona cada lançamento aprovado e documenta adições, remoções, correções de etiquetas e alterações de políticas. As orientações do NIST sobre testes, avaliação, validação e verificação de IA oferecem um enquadramento mais amplo para uma avaliação significativa. Após a implementação, compara os dados recebidos com a referência dourada e monitoriza as alterações nas condições; as orientações da Azure sobre monitorização de modelos explicam como os sinais de deriva e de qualidade dos dados podem revelar quando é necessário rever um conjunto de referência.

Avaliar um modelo de visão#

O Ultralytics YOLO pode avaliar previsões em relação a etiquetas revistas através do modo de validação:

from ultralytics import YOLO

# Load a pretrained object detection model
model = YOLO("yolo26n.pt")

# Evaluate predictions against a labeled reference split
metrics = model.val(data="coco8.yaml", split="val")

# Report the primary detection metric
print(f"mAP50-95: {metrics.box.map:.3f}")

Este fluxo de trabalho demonstra a função do conjunto de dados dourado do lado do modelo: executar um modelo fixo sobre uma divisão rotulada fixa e registar uma métrica reproduzível. Em projetos de produção, as equipas também devem inspecionar os resultados por classe, as matrizes de confusão, os exemplos difíceis e os limiares de aceitação específicos da aplicação antes de aprovar um lançamento.