Dados de validação

O papel dos dados de validação

Durante o processo de treinamento do modelo, um modelo de ML aprende padrões a partir dos dados de treinamento. No entanto, avaliar o modelo apenas com base nestes dados pode ser enganador, uma vez que o modelo pode simplesmente memorizar os exemplos de treino, um fenómeno conhecido como sobreajuste. Os dados de validação funcionam como um ponto de controlo. Ao avaliar o desempenho do modelo neste conjunto separado periodicamente durante o treino, os programadores podem:

1. Ajusta os hiperparâmetros: Ajusta as definições como a taxa de aprendizagem, o tamanho do lote ou a complexidade do modelo com base nas métricas de desempenho(Precisão, mAP, etc.) calculadas no conjunto de validação. Isso geralmente é feito usando técnicas discutidas nos guias de ajuste de hiperparâmetros.
2. Selecionar modelos: Compara diferentes arquitecturas ou versões de modelos (por exemplo, comparando Ultralytics YOLOv8 vs. YOLOv10) com base no seu desempenho de validação.
3. Evita o sobreajuste: Monitoriza as métricas de validação para detetar quando o modelo começa a ter um desempenho pior no conjunto de validação, mesmo quando o desempenho do treino melhora, indicando sobreajuste. Técnicas como a interrupção antecipada dependem do desempenho da validação.

Dados de validação vs. Dados de treino e teste

Compreender a distinção entre conjuntos de dados de treino, validação e teste é fundamental para o desenvolvimento de modelos robustos:

• Dados de treino: A maior parte do conjunto de dados, utilizada diretamente pelo algoritmo de aprendizagem para aprender padrões e ajustar os pesos do modelo. O modelo "vê" estes dados frequentemente durante os ciclos de treino(épocas).
• Dados de validação: Uma parte menor usada indiretamente durante o treinamento. O modelo não aprende diretamente com estes dados, mas o desempenho neste conjunto orienta as decisões sobre os hiperparâmetros e a estrutura do modelo. Fornece feedback sobre a capacidade de generalização do modelo para novos dados durante a fase de desenvolvimento.
• Dados de teste: Uma porção de dados completamente separada que o modelo nunca viu durante o treinamento ou a validação. É utilizada apenas uma vez depois de todo o treino e afinação estarem concluídos para fornecer uma estimativa final e imparcial da capacidade de generalização do modelo em dados não vistos do mundo real.

A separação adequada, muitas vezes gerida através de ferramentas como o Ultralytics HUB para a gestão e o controlo de versões de conjuntos de dados, garante que as informações do conjunto de testes não "vazam" para o processo de formação ou de seleção de modelos, o que levaria a estimativas de desempenho demasiado optimistas.

Afinação de hiperparâmetros e seleção de modelos

Os dados de validação são indispensáveis para a afinação dos hiperparâmetros. Os hiperparâmetros são definições de configuração externas ao próprio modelo, definidas antes do início do processo de aprendizagem. Os exemplos incluem a taxa de aprendizagem, o número de camadas numa rede neural ou o tipo de algoritmo de otimização utilizado. Os programadores treinam várias versões do modelo com diferentes combinações de hiperparâmetros, avaliam cada uma delas no conjunto de validação e selecionam a combinação que produz o melhor desempenho. Esta pesquisa sistemática pode ser automatizada utilizando métodos como a pesquisa em grelha ou a otimização bayesiana, muitas vezes facilitada por plataformas integradas em ferramentas MLOps.

Exemplos do mundo real

1. Deteção de objectospor visão computacional: Ao treinar um Ultralytics YOLO da Ultralytics para detetar objectos em imagens (por exemplo, utilizando o conjunto de dados VisDrone), uma parte das imagens rotuladas é separada como dados de validação. Durante o treino, o mAP (precisão média média) do modelo é calculado neste conjunto de validação após cada época. Este mAP de validação ajuda a decidir quando parar o treino (paragem antecipada) ou que conjunto de técnicas de aumento de dados funciona melhor, antes de uma verificação final do desempenho no conjunto de teste. Estratégias eficazes de avaliação de modelos dependem muito desta divisão.
2. Processamento de linguagem natural Classificação de texto: Ao desenvolver um modelo para classificar os comentários dos clientes como positivos ou negativos(análise de sentimentos), é utilizado um conjunto de validação para escolher a arquitetura ideal (por exemplo, LSTM vs. Transformer) ou ajustar hiperparâmetros como taxas de desistência. O modelo que obtiver a pontuação F1 ou a precisão mais alta no conjunto de validação será selecionado para o teste final. Recursos como Hugging Face fornecem frequentemente conjuntos de dados pré-divididos para este fim.

Validação cruzada

Quando a quantidade de dados disponíveis é limitada, é frequentemente utilizada uma técnica chamada validação cruz ada (especificamente validação cruzada K-Fold). Neste caso, os dados de treino são divididos em 'K' subconjuntos (folds). O modelo é treinado K vezes, cada vez utilizando K-1 dobras para treino e a dobra restante como conjunto de validação. Depois, calcula a média do desempenho de todas as K execuções. Isto fornece uma estimativa mais robusta do desempenho do modelo e utiliza melhor os dados limitados, conforme explicado no guiaUltralytics K-Fold Cross-Validation.

Em resumo, os dados de validação são a pedra angular da construção de modelos de Inteligência Artificial (IA) fiáveis e de elevado desempenho. Permitem um ajuste eficaz dos hiperparâmetros, a seleção de modelos e a prevenção do sobreajuste, garantindo que os modelos se generalizam muito para além dos dados em que foram treinados.