MLOps et industrialisation

Séquence 1 — Ce qui distingue un modèle d'un logiciel

• Trois artefacts au lieu d'un : le code, les données, le modèle entraîné
• Pourquoi un même code ne redonne pas le même modèle
• La dette propre aux systèmes d'apprentissage : le comportement change sans que le code change
• Le cycle : cadrer, préparer, entraîner, évaluer, déployer, surveiller, réentraîner

Séquence 2 — Reproductibilité

• Figer les données : instantané daté, empreinte, jeu de test intangible
• Figer l'environnement : dépendances épinglées, image de conteneur
• Tracer l'expérimentation : paramètres, métriques, artefacts, dans un registre
• Le registre de modèles : version, étape, lignage, qui a promu et quand

Séquence 3 — Intégration et déploiement continus

• Ce qu'on teste : le code, la donnée, le modèle, et le contrat de service
• Les tests propres au modèle : non-régression sur cas critiques, équité par groupe
• Déploiement progressif : ombre, canari, bascule — et le critère de promotion
• Le service d'inférence : traitement par lots ou en ligne, et ce que chacun impose

Séquence 4 — Surveiller

• Trois familles de signaux : techniques, dérive des entrées, qualité des sorties
• Dérive des données et dérive du concept : les distinguer pour ne pas se tromper de remède
• Le problème de l'étiquette tardive : mesurer la qualité avant de connaître la vérité
• Les seuils et les alertes qui déclenchent une action, pas un tableau de plus

Séquence 5 — Décider

• Écrire à l'avance les critères de retour arrière et de réentraînement
• Le coût d'un réentraînement contre le coût de ne rien faire
• Rejouer un incident : ce qu'il faut avoir conservé pour y parvenir
• La revue périodique de modèle, et ce qu'on y consigne