Данные проверки

Валидационные данные - важнейший компонент в цикле разработки системы машинного обучения (МЛО). Это отдельное подмножество исходного набора данных, отличное от обучающих данных, используемых для подгонки модели, и тестовых данных, используемых для окончательной оценки. Основная цель валидационных данных - обеспечить беспристрастную оценку соответствия модели на обучающем наборе данных при настройке гиперпараметров модели и принятии решений об архитектуре модели. Этот процесс помогает выбрать наилучшую конфигурацию модели перед тем, как оценить ее окончательную производительность на невидимых данных.

Роль валидационных данных

В процессе обучения модели ML-модель изучает закономерности на основе обучающих данных. Однако оценка модели только по этим данным может ввести в заблуждение, так как модель может просто запомнить обучающие примеры, что называется чрезмерной подгонкой. Валидационные данные служат контрольной точкой. Периодически оценивая работу модели на этом отдельном наборе в процессе обучения, разработчики могут:

1. Настройка гиперпараметров: Настройте такие параметры, как скорость обучения, размер партии или сложность модели, основываясь на показателях производительности(точность, mAP и т. д.), рассчитанных на валидационном множестве. Для этого часто используются методы, рассмотренные в руководствах по настройке гиперпараметров.
2. Выбрать модели: Сравните различные архитектуры или версии моделей (например, сравните Ultralytics YOLOv8 и YOLOv10) на основе результатов их проверки.
3. Предотвращение переоценки: Отслеживайте показатели проверки, чтобы обнаружить, когда модель начинает работать хуже на наборе проверки даже при улучшении результатов обучения, что свидетельствует о переподгонке. Такие методы, как ранняя остановка, опираются на показатели валидации.

Данные проверки в сравнении с данными обучения и тестирования

Понимание различий между обучающими, валидационными и тестовыми наборами данных имеет фундаментальное значение для разработки надежных моделей:

• Обучающие данные: Самая большая часть набора данных, используемая непосредственно алгоритмом обучения для изучения паттернов и настройки весов модели. Модель "видит" эти данные часто во время циклов обучения(эпох).
• Валидационные данные: Меньшая часть, косвенно используемая в процессе обучения. Модель не обучается непосредственно на этих данных, но результаты работы на этом наборе служат основой для принятия решений о гиперпараметрах и структуре модели. Это дает представление о том, насколько хорошо модель может обобщать новые данные на этапе разработки.
• Тестовые данные: Совершенно отдельная порция данных, которую модель не видела ни во время обучения, ни во время проверки. Они используются только один раз после завершения обучения и настройки, чтобы дать окончательную, беспристрастную оценку способности модели к обобщению на невидимых реальных данных.

Правильное разделение, часто осуществляемое с помощью таких инструментов, как Ultralytics HUB для версионирования и управления наборами данных, гарантирует, что информация из тестового набора не "просочится" в процесс обучения или выбора модели, что приведет к чрезмерно оптимистичным оценкам производительности.

Настройка гиперпараметров и выбор модели

Валидационные данные незаменимы для настройки гиперпараметров. Гиперпараметры - это параметры конфигурации, внешние по отношению к самой модели, задаваемые до начала процесса обучения. В качестве примера можно привести скорость обучения, количество слоев в нейронной сети или тип используемого алгоритма оптимизации. Разработчики обучают несколько версий модели с различными комбинациями гиперпараметров, оценивают каждую из них на валидационном множестве и выбирают комбинацию, дающую наилучшую производительность. Этот систематический поиск может быть автоматизирован с помощью таких методов, как поиск по сетке или байесовская оптимизация, что часто облегчается платформами, интегрированными с инструментами MLOps.

Примеры из реальной жизни

1. Обнаружение объектов вкомпьютерном зрении: При обучении модели Ultralytics YOLO для обнаружения объектов на изображениях (например, с использованием набора данных VisDrone) часть помеченных изображений выделяется в качестве валидных данных. Во время обучения на этом валидационном наборе после каждой эпохи вычисляется mAP (средняя точность) модели. Этот показатель помогает решить, когда следует прекратить обучение (ранняя остановка) или какой набор методов дополнения данных работает лучше всего, перед окончательной проверкой производительности на тестовом наборе. Эффективные стратегии оценки моделей в значительной степени зависят от этого разделения.
2. Обработка естественного языка Классификация текста: При разработке модели, классифицирующей отзывы покупателей как положительные или отрицательные(анализ настроения), для выбора оптимальной архитектуры (например, LSTM против Transformer) или настройки гиперпараметров, таких как коэффициент отсева, используется валидационный набор. Модель, получившая наивысший балл F1 или точность на валидационном наборе, будет выбрана для финального тестирования. Ресурсы вроде Hugging Face часто предоставляют наборы данных, предварительно разделенные для этой цели.

Кросс-валидация

Когда количество доступных данных ограничено, часто используется техника, называемая кросс-валидацией (в частности, K-Fold Cross-Validation). В этом случае обучающие данные разбиваются на "K" подмножеств (складок). Модель обучается K раз, каждый раз используя K-1 складку для обучения и оставшуюся складку в качестве валидационного набора. Затем производительность усредняется по всем K прогонам. Это позволяет получить более надежную оценку эффективности модели и лучше использовать ограниченные данные, как объясняется в руководстве Ultralytics по перекрестной валидации K-Fold.

В целом, валидационные данные - это краеугольный камень построения надежных и высокоэффективных моделей искусственного интеллекта (ИИ). Они позволяют эффективно настраивать гиперпараметры, выбирать модели и предотвращать перебор, обеспечивая обобщение моделей за пределами данных, на которых они были обучены.