Dados de validação

Os dados de validação são um componente crucial no ciclo de desenvolvimento da aprendizagem automática (ML). Trata-se de um subconjunto separado do conjunto de dados original, distinto dos dados de treino utilizados para ajustar o modelo e dos dados de teste utilizados para a avaliação final. O principal objetivo dos dados de validação é fornecer uma avaliação imparcial do ajuste de um modelo no conjunto de dados de treino, enquanto se ajustam os hiperparâmetros do modelo e se tomam decisões sobre a arquitetura do modelo. Este processo ajuda a selecionar a melhor configuração do modelo antes de avaliar o seu desempenho final em dados não vistos.

O papel dos dados de validação

Durante o processo de treino do modelo, um modelo de ML aprende padrões a partir dos dados de treino. No entanto, avaliar o modelo apenas com base nestes dados pode ser enganador, uma vez que o modelo pode simplesmente memorizar os exemplos de treino, um fenómeno conhecido como sobreajuste. Os dados de validação funcionam como um ponto de controlo. Ao avaliar o desempenho do modelo neste conjunto separado periodicamente durante o treino, os programadores podem:

1. Ajustar hiperparâmetros: Ajuste as definições como a taxa de aprendizagem, o tamanho do lote ou a complexidade do modelo com base nas métricas de desempenho(Precisão, mAP, etc.) calculadas no conjunto de validação. Isso geralmente é feito usando técnicas discutidas nos guias de ajuste de hiperparâmetros.
2. Selecionar modelos: Comparar diferentes arquitecturas ou versões de modelos (por exemplo, comparar Ultralytics YOLOv8 vs. YOLOv10) com base no seu desempenho de validação.
3. Evitar o sobreajuste: Monitorizar as métricas de validação para detetar quando o modelo começa a ter um desempenho pior no conjunto de validação, mesmo quando o desempenho do treino melhora, indicando sobreajuste. Técnicas como a paragem antecipada dependem do desempenho da validação.

Dados de validação vs. Dados de treino e teste

Compreender a distinção entre conjuntos de dados de treino, validação e teste é fundamental para o desenvolvimento de modelos robustos:

• Dados de treino: A maior parte do conjunto de dados, utilizado diretamente pelo algoritmo de aprendizagem para aprender padrões e ajustar os pesos do modelo. O modelo "vê" estes dados frequentemente durante os ciclos de treino(épocas).
• Dados de validação: Uma porção mais pequena utilizada indiretamente durante o treino. O modelo não aprende diretamente com estes dados, mas o desempenho neste conjunto orienta as decisões sobre os hiperparâmetros e a estrutura do modelo. Fornece feedback sobre a capacidade de generalização do modelo para novos dados durante a fase de desenvolvimento.
• Dados de teste: Uma porção de dados completamente separada que o modelo nunca viu durante o treinamento ou validação. É utilizada apenas uma vez após a conclusão de todo o treino e afinação para fornecer uma estimativa final e imparcial da capacidade de generalização do modelo em dados do mundo real não vistos.

Uma separação adequada, muitas vezes gerida através de ferramentas como o Ultralytics HUB para a gestão e o controlo de versões de conjuntos de dados, garante que as informações do conjunto de testes não "vazam" para o processo de formação ou de seleção de modelos, o que conduziria a estimativas de desempenho demasiado optimistas.

Afinação de hiperparâmetros e seleção de modelos

Os dados de validação são indispensáveis para a afinação dos hiperparâmetros. Os hiperparâmetros são definições de configuração externas ao próprio modelo, definidas antes do início do processo de aprendizagem. Os exemplos incluem a taxa de aprendizagem, o número de camadas numa rede neural ou o tipo de algoritmo de otimização utilizado. Os programadores treinam várias versões do modelo com diferentes combinações de hiperparâmetros, avaliam cada uma delas no conjunto de validação e selecionam a combinação que produz o melhor desempenho. Esta pesquisa sistemática pode ser automatizada utilizando métodos como a pesquisa em grelha ou a otimização bayesiana, frequentemente facilitada por plataformas integradas em ferramentas MLOps.

Exemplos do mundo real

1. Deteção de objectospor visão computacional: Ao treinar um modelo Ultralytics YOLO para a deteção de objectos em imagens (por exemplo, utilizando o conjunto de dados VisDrone), uma parte das imagens rotuladas é separada como dados de validação. Durante o treino, o mAP (precisão média média) do modelo é calculado neste conjunto de validação após cada época. Este mAP de validação ajuda a decidir quando parar o treino (paragem antecipada) ou que conjunto de técnicas de aumento de dados funciona melhor, antes de uma verificação final do desempenho no conjunto de teste. As estratégias de avaliação de modelos eficazes baseiam-se fortemente nesta divisão.
2. Processamento de linguagem natural Classificação de texto: Ao desenvolver um modelo para classificar os comentários dos clientes como positivos ou negativos(análise de sentimentos), é utilizado um conjunto de validação para escolher a arquitetura ideal (por exemplo, LSTM vs. Transformer) ou ajustar hiperparâmetros como taxas de desistência. O modelo que obtiver a pontuação F1 ou a precisão mais elevada no conjunto de validação será selecionado para o teste final. Recursos como o Hugging Face fornecem frequentemente conjuntos de dados pré-divididos para este efeito.

Validação cruzada

Quando a quantidade de dados disponíveis é limitada, é frequentemente utilizada uma técnica chamada validação cruz ada (especificamente validação cruzada K-Fold). Neste caso, os dados de treino são divididos em "K" subconjuntos (dobras). O modelo é treinado K vezes, cada vez utilizando K-1 dobras para treino e a dobra restante como conjunto de validação. O desempenho é então calculado como média em todas as K execuções. Isto fornece uma estimativa mais robusta do desempenho do modelo e utiliza melhor os dados limitados, conforme explicado no guia Ultralytics K-Fold Cross-Validation.

Em resumo, os dados de validação são a pedra angular da construção de modelos de Inteligência Artificial (IA) fiáveis e de elevado desempenho. Permitem uma afinação eficaz dos hiperparâmetros, a seleção de modelos e a prevenção do sobreajuste, garantindo que os modelos se generalizam muito para além dos dados em que foram treinados.