L’intelligence artificielle générative est entrée dans les organisations avec une vitesse que personne n’avait anticipée. En quelques mois, des outils comme ChatGPT, Copilot ou Gemini ont bouleversé les usages, les process et les attentes. Mais derrière l’efficacité apparente et la promesse d’automatisation, un risque majeur s’installe : celui d’introduire dans les systèmes d’information des briques logicielles non maîtrisées, alimentées par des données sensibles et souvent hébergées hors du contrôle des entreprises. C’est à cette problématique que l’ANSSI consacre son dernier guide, « Recommandations de sécurité pour un système d’IA générative », publié en avril 2024.
« L’Agence nationale de la sécurité des systèmes d’information y fixe un cadre clair : l’IA générative doit être sécurisée comme n’importe quel composant critique d’un système d’information. »
Le document rappelle d’abord un principe fondamental : la sécurité d’un modèle d’intelligence artificielle ne dépend pas uniquement de son algorithme, mais du cycle de vie complet du système qui l’héberge. L’ANSSI distingue trois phases : l’entraînement, le déploiement et la production. Chacune doit être considérée comme un environnement distinct, soumis à des mesures de sécurité spécifiques : cloisonnement, contrôle d’accès, gestion des privilèges, et vérification de l’intégrité des données.
Les menaces ne sont pas théoriques. L’agence identifie trois catégories d’attaques : la manipulation (détournement de comportement par requêtes malveillantes), l’infection (empoisonnement des données d’entraînement ou ajout de portes dérobées) et l’exfiltration (vol de données ou de paramètres internes du modèle). À ces risques s’ajoutent des menaces indirectes : hallucinations, erreurs de logique ou automatisations dangereuses, qui peuvent avoir des effets tangibles dans le monde réel, notamment lorsque le modèle interagit avec d’autres systèmes métiers.
« Le cœur du problème n’est pas tant l’intelligence artificielle que l’écosystème dans lequel elle s’insère. »
L’ANSSI insiste sur la nécessité d’une approche globale : évaluer la confiance dans les bibliothèques logicielles, auditer les données d’entraînement, maîtriser les flux réseau et proscrire tout automatisme non validé par un humain. Le guide fait explicitement référence au concept DevSecOps, invitant à intégrer la sécurité dans toutes les phases du projet. L’IA générative, rappelle-t-il, doit être pensée selon les principes de security by design.
La vigilance s’étend également au choix des formats : l’agence recommande l’usage de formats de modèles sécurisés (comme safetensors) et proscrit ceux susceptibles d’exécuter du code arbitraire, tels que pickle. Les données d’entraînement doivent être protégées en intégrité et en confidentialité, et leur sensibilité évaluée au même titre que les informations qu’elles contiennent. Un modèle d’IA hérite du niveau de sensibilité de ses données : il peut régurgiter, de manière imprévisible, des fragments issus de son corpus d’apprentissage.
« Former une IA, c’est lui confier ce qu’on ne pourra plus jamais entièrement reprendre. »
Le guide souligne aussi la question du besoin d’en connaître : un modèle ne peut pas discriminer les droits d’accès sur ses données internes. En conséquence, les entités doivent gérer ces contraintes en amont, en choisissant les données utilisées pour l’entraînement et les conditions de leur réutilisation en production. La règle est simple : on n’entraîne pas un modèle avec des informations que ses futurs utilisateurs ne sont pas autorisés à consulter.
L’ANSSI recommande par ailleurs de proscrire tout usage automatisé de systèmes d’IA pour des actions critiques : gestion réseau, création d’utilisateurs, transactions financières, ou production de contenu public. L’humain doit rester dans la boucle décisionnelle. Les environnements d’entraînement, de déploiement et de production doivent être cloisonnés et hébergés dans des infrastructures de confiance. Pour les organisations publiques, la doctrine Cloud au centre impose le respect du référentiel SecNumCloud, et le guide rappelle cette exigence comme un principe de cohérence minimale.
Un autre axe fort concerne la gouvernance. L’agence insiste sur la maîtrise des accès à privilèges, la mise en œuvre de passerelles sécurisées, la traçabilité des actions et la journalisation fine des traitements. Les flux réseau doivent être strictement filtrés, chiffrés et authentifiés, conformément au guide TLS de l’ANSSI. Toute interconnexion entre un modèle d’IA et des applications internes doit faire l’objet d’une validation explicite, d’un audit régulier et d’une supervision continue.
Dans le cas des IA grand public, le message est sans ambiguïté. L’ANSSI déconseille formellement l’usage de services comme ChatGPT, Gemini, Copilot ou DeepL pour tout traitement de données sensibles, qu’elles soient personnelles, contractuelles, techniques ou classifiées. Envoyer un texte à un service en ligne revient, rappelle l’agence, à le déposer sur un espace de stockage qui ne vous appartient pas. Les données peuvent être exploitées par le prestataire pour entraîner ses propres modèles ; un risque inacceptable pour toute entité publique ou privée soumise à des exigences de confidentialité.
« La commodité ne peut pas servir d’alibi à la négligence numérique. »
Le guide propose aussi des mesures pour les usages émergents, comme la génération de code source par IA. Là encore, prudence : tout code produit automatiquement doit être audité, testé et validé avant intégration. Il est déconseillé de laisser une IA écrire des modules critiques tels que l’authentification ou la cryptographie. La boucle de vérification humaine reste la garantie ultime contre les vulnérabilités injectées par inadvertance.
Dans sa conclusion, l’ANSSI rappelle que la sécurité des systèmes d’IA générative ne peut être garantie par la seule technique. Elle relève d’un équilibre entre gouvernance, méthode et anticipation. L’analyse de risque, notamment via la méthode EBIOS-RM, doit être conduite avant toute phase d’entraînement, et réévaluée à chaque évolution du modèle. L’agence va même plus loin : elle considère les modèles d’IA comme des actifs sensibles, au même titre que les données qui les composent. Leur protection devient donc un enjeu stratégique pour la souveraineté technologique et scientifique nationale.
Cette position, à la fois pragmatique et exigeante, marque une étape importante : l’intelligence artificielle n’est plus considérée comme une innovation autonome, mais comme un maillon du système d’information global. En cela, l’ANSSI invite les organisations à rompre avec la fascination technologique pour revenir à une approche maîtrisée : évaluer, isoler, surveiller, contrôler.
Un rappel clair de l’ANSSI : la sécurité de l’intelligence artificielle commence bien avant son déploiement.
Source : ANSSI – RECOMMANDATIONS DE SÉCURITÉ POUR UN SYSTÈME D’IA GÉNÉRATIVE
