Sous-adaptation

Dans le domaine de l'apprentissage automatique, l'obtention d'une performance optimale des modèles nécessite de trouver un équilibre entre simplicité et complexité. L'inadaptation est un problème courant lorsqu'un modèle est trop simpliste pour capturer les modèles sous-jacents présents dans les données d'apprentissage. Cela signifie que le modèle ne parvient pas à apprendre efficacement, ce qui entraîne des performances médiocres non seulement sur les données sur lesquelles il a été formé, mais aussi sur de nouvelles données inédites(données de test ou entrées du monde réel). Un modèle sous-adapté n'a pas la capacité ou le temps d'apprentissage nécessaires pour représenter les relations au sein des données avec précision, ce qui entraîne un biais important et une incapacité à bien généraliser.

Quelles sont les causes de l'insuffisance d'ajustement ?

Plusieurs facteurs peuvent contribuer à l'inadaptation d'un modèle :

• Complexité insuffisante du modèle: Le modèle choisi peut être trop simple par rapport à la complexité des données. Par exemple, l'utilisation d'un modèle de régression linéaire de base pour des données présentant des schémas non linéaires, ou l'utilisation d'un réseau neuronal (NN) avec trop peu de couches ou de neurones.
• Ingénierie des caractéristiques inadéquate : Les caractéristiques d'entrée fournies au modèle peuvent ne pas contenir suffisamment d'informations pertinentes ou ne pas représenter efficacement les modèles sous-jacents.
• Données d'entraînement insuffisantes : Le modèle peut ne pas avoir vu suffisamment d'exemples pour apprendre les modèles sous-jacents. Cela est particulièrement vrai pour les modèles d'apprentissage profond complexes. Il est crucial de disposer de données diverses et représentatives, qui peuvent être explorées grâce à des plateformes telles que les ensembles de données Ultralytics.
• Formation trop courte : le processus de formation du modèle peut être interrompu prématurément, avant qu'il n'ait eu suffisamment d'époques pour apprendre les schémas des données.
• Régularisation excessive : Les techniques utilisées pour éviter le surajustement, telles que la régularisation L1 ou L2 ou les taux d'abandon élevés, peuvent parfois contraindre excessivement le modèle, l'empêchant d'apprendre les modèles nécessaires si elles sont appliquées de manière trop stricte.

Identifier un sous-ajustement

Le sous-ajustement est généralement diagnostiqué en évaluant les performances du modèle pendant et après la formation :

• Erreur d'apprentissage élevée : Le modèle est peu performant, même sur les données sur lesquelles il a été formé. Les indicateurs clés tels que l'exactitude, la précision, le rappel ou le score F1 sont faibles et la valeur de la fonction de perte reste élevée.
• Erreur de validation/test élevée : Le modèle donne également de mauvais résultats sur des données de validation ou des données de test inédites. L'écart de performance entre l'erreur de formation et l'erreur de validation est généralement faible, mais les deux erreurs sont inacceptables.
• Courbes d'apprentissage: La représentation graphique des pertes/métriques d'apprentissage et de validation en fonction des périodes d' apprentissage peut révéler un sous-ajustement. Si les deux courbes plafonnent à un niveau d'erreur élevé, le modèle est probablement sous-adapté. Vous pouvez surveiller ces courbes à l'aide d'outils tels que TensorBoard ou Weights & Biases. Il est également essentiel de comprendre les mesures de performance spécifiques à YOLO.

Remédier à l'insuffisance d'ajustement

Plusieurs stratégies permettent de remédier à l'insuffisance d'adaptation :

• Augmenter la complexité du modèle: Utilisez une architecture de modèle plus puissante avec davantage de paramètres, de couches ou de neurones. Par exemple, passer d'un CNN plus simple à une architecture plus avancée comme Ultralytics YOLO11 pour les tâches de détection d'objets.
• Améliorer l'ingénierie des caractéristiques: Créer des caractéristiques plus informatives à partir des données existantes ou intégrer de nouvelles sources de données pertinentes.
• Augmenter la durée de la formation : Entraînez le modèle pendant un plus grand nombre d'époques pour lui donner le temps d'apprendre les modèles de données. Consultez les conseils sur l'entraînement des modèles pour obtenir des informations.
• Réduire la régularisation: Diminuer la force des techniques de régularisation (par exemple, diminuer le paramètre de régularisation lambda, réduire la probabilité d'abandon).
• S'assurer que les données sont suffisantes : Recueillir davantage d'exemples de formation. Si la collecte de données supplémentaires est impossible, des techniques telles que l'augmentation des données peuvent accroître artificiellement la diversité des données de formation. La gestion des ensembles de données peut être rationalisée à l'aide de plateformes comme Ultralytics HUB.

Sous-appareillage et sur-appareillage

L'ajustement insuffisant et l'ajustement excessif sont les deux faces d'une même pièce, représentant des échecs dans la généralisation du modèle.

• Sous-adaptation : Le modèle est trop simple ( biais élevé). Il ne parvient pas à capturer les tendances sous-jacentes des données, ce qui se traduit par des performances médiocres sur les ensembles d'apprentissage et de test.
• Surajustement : Le modèle est trop complexe (variance élevée). Il apprend trop bien les données d'apprentissage, y compris le bruit et les fluctuations aléatoires, ce qui se traduit par d'excellentes performances sur l'ensemble d'apprentissage, mais de piètres performances sur les données non vues.

L'objectif de la ML est de trouver un juste milieu entre l'ajustement insuffisant et l'ajustement excessif, souvent discuté dans le contexte du compromis biais-variance, où le modèle apprend les véritables modèles sous-jacents sans mémoriser le bruit.

Exemples concrets de sous-adaptation

1. Classificateur d'images simple : Entraînement d'un réseau neuronal convolutif (CNN) très basique (par exemple, avec seulement une ou deux couches convolutives) à une tâche de classification d'images complexe telle que la classification de milliers de catégories d'objets dans ImageNet. Le modèle serait probablement sous-adapté parce que sa capacité limitée l'empêcherait d'apprendre les caractéristiques complexes nécessaires pour distinguer efficacement de nombreuses classes. La précision de l'apprentissage et de la validation resterait faible.
2. Maintenance prédictive de base : L'utilisation d'un modèle linéaire simple pour prédire la défaillance d'une machine en se basant uniquement sur la température de fonctionnement. Si les défaillances sont en fait influencées par une interaction complexe de facteurs tels que les vibrations, l'âge, la pression et les non-linéarités de température, le modèle linéaire sera sous-adapté. Il ne peut pas saisir la véritable complexité, ce qui entraîne de mauvaises performances en matière de modélisation prédictive et ne permet pas d'anticiper les défaillances avec précision. L'utilisation de modèles plus complexes ou de meilleures caractéristiques serait nécessaire. Des frameworks comme PyTorch ou TensorFlow offrent des outils pour construire des modèles plus sophistiqués.