Machine Learning avancé

Séquence 1 — Cadrer avant de modéliser

• Traduire un enjeu métier en problème d'apprentissage, et le coût des erreurs de chaque type
• Choisir la métrique avant le modèle : exactitude, précision, rappel, aire sous la courbe, coût métier
• Le seuil de décision est une décision métier, pas un réglage technique
• Quand ne pas faire d'apprentissage : la règle explicite suffit

Séquence 2 — Évaluer honnêtement

• Validation croisée : simple, stratifiée, par groupe, temporelle — et l'erreur de choisir la mauvaise
• Le jeu de test que l'on ne regarde qu'une fois
• Fuite de cible : les formes subtiles, par les variables construites
• Intervalle de confiance : une différence de deux points n'est pas toujours une différence

Séquence 3 — Les situations difficiles

• Déséquilibre de classes : rééchantillonnage, pondération, ajustement du seuil
• Variables corrélées : effet sur l'interprétation, et ce que cela ne change pas pour la prédiction
• Données manquantes : aléatoires ou non, et pourquoi la distinction change le traitement
• Variables catégorielles à forte cardinalité : encodages et leurs pièges

Séquence 4 — Méthodes d'ensemble

• Agrégation par sac et forêts aléatoires : réduire la variance
• Renforcement par gradient : réduire le biais, au prix du réglage
• Les hyperparamètres qui comptent vraiment, et l'ordre dans lequel les régler
• Empilement de modèles : quand il apporte, quand il complique pour rien

Séquence 5 — Interpréter et restituer

• Importance des variables : les mesures disponibles et leurs limites
• Explications locales : pourquoi cette prédiction-là, pour cet individu-là
• Dépendance partielle : lire l'effet d'une variable sans se laisser piéger par les corrélations
• Restituer au métier : ce qui se dit, ce qui ne se dit pas, ce qui s'écrit