Quel régulariseur utiliser ? Leçons de 134 400 simulations

LE CHOIX DU BON RÉGULARISEUR

En apprentissage automatique, la régularisation est une technique qui empêche un modèle de se perdre dans les détails parasites des données d'entraînement. C'est un peu comme demander à un étudiant de ne pas apprendre par cœur chaque virgule d'un texte, mais d'en saisir l'idée générale pour mieux réussir un examen surprise. Les trois méthodes les plus courantes sont Ridge (qui réduit l'influence de toutes les variables sans en éliminer aucune), Lasso (capable de mettre certaines variables complètement de côté en les ramenant à zéro) et ElasticNet, un mélange des deux qui combine leurs avantages.

Jusqu'ici, choisir entre ces régulariseurs relevait souvent du tâtonnement ou d'intuitions fragiles. Ce nouveau cadre décisionnel change la donne : il repose sur trois grandeurs que l'on peut mesurer directement sur les données, sans avoir besoin d'entraîner le modèle au préalable. En fonction de leurs valeurs, la méthode la plus adaptée se dégage naturellement, évitant ainsi de longs cycles d'essais. L'approche est directement opérationnelle pour tout praticien confronté à un problème de prédiction, qu'il s'agisse de prévoir des ventes, de diagnostiquer une maladie ou d'analyser des signaux.