Sécurisation des applications utilisant l'IA

Séquence 1 — Ce qui change avec un modèle dans la chaîne

• La frontière entre instruction et donnée disparaît : c'est la cause racine
• Les vulnérabilités classiques restent, et s'ajoutent
• Cartographier la surface : entrées utilisateur, documents lus, outils appelés, sorties rendues
• Trois incidents réels commentés, et ce qui les a rendus possibles

Séquence 2 — Injection de consigne

• Injection directe : l'utilisateur écrit l'instruction malveillante
• Injection indirecte : elle est cachée dans un document, une page, un courriel lu par le système
• Ce qui ne marche pas : demander poliment au modèle d'ignorer les instructions
• Les trois lignes de défense : séparation des canaux, validation de la sortie, limitation des actions
• Mesurer son exposition avant de se défendre

Séquence 3 — Données et cloisonnement

• Secrets : pourquoi une clé ne transite jamais par un prompt
• Données personnelles : minimisation avant envoi, et le cas des journaux
• Cloisonnement : un utilisateur ne doit jamais voir le contexte d'un autre
• Fuite par la sortie : le modèle qui restitue ce qu'il n'aurait pas dû lire
• Sous-traitance : ce que devient une donnée envoyée à un service tiers

Séquence 4 — Encadrer les actions

• Liste blanche des outils et validation stricte des arguments
• Graduer l'autorisation selon la réversibilité et la portée de l'action
• Le principe de moindre privilège appliqué au compte technique du service
• Plafonds : débit, volume, coût — la défense qui limite les dégâts

Séquence 5 — Détecter et répondre

• Ce qu'on journalise, et ce qu'on ne journalise surtout pas
• Les signaux d'abus : motifs répétés, sorties anormalement longues, outils sollicités hors usage
• L'interrupteur de désactivation : prévu, testé, documenté
• Écrire la conduite à tenir avant l'incident, pas pendant