Sécurité et risques destructifs

1.7 Les risques destructifs (CBRNE)

CBRNE = risques Chimiques, Biologiques, Radiologiques, Nucléaires et Explosifs. Selon la grille du cours, seuls les LLM génératifs peuvent divulguer des informations potentiellement dangereuses (fabriquer une arme chimique) si l'on sait comment les « prompter » ; le danger de l'IA agentique dépend des IA qui la composent.

• GPT-5 a donné des instructions pour fabriquer une bombe le lendemain de sa sortie.
• Les LLM multiplieraient par 5 le risque de génocide par arme biologique (étude de 46 experts).
• Dans une simulation de guerre (21 simulations), les LLM choisissent des armes nucléaires dans 95 % des cas.
• Maven Smart System (Palantir) : la capacité de ciblage a été multipliée par environ 500 en une décennie, de moins de 100 cibles par jour au départ à 1 000 en 2023 puis 5 000 par jour en 2026 avec des LLM. Le risque d'erreur augmente aussi (une école primaire frappée, environ 175 morts).

L'IA sert aussi à répondre à ces risques (détection par drones et capteurs, évaluation des risques, aide à la décision en temps réel) : « ce n'est pas l'outil, mais ce qu'on en fait ».

Mitigations

Pour tous : une charte IA responsable. Côté gouvernements : des systèmes communs d'évaluation et de red teaming partagés par tous les créateurs de modèles, de l'expertise CBRNE interne, des accords internationaux (Chine et États-Unis, sous Biden, se sont engagés à ne pas utiliser l'IA dans les armes nucléaires), et la législation (l'AI Act vise à interdire les usages les plus dangereux).

1.8 La sécurité

L'IA prédictive est fiable sauf quand ses données d'entraînement historiques ne sont plus d'actualité. L'IA générative peut être « hackée » de nombreuses façons, notamment par prompt, même par des poèmes. L'IA agentique agrandit la surface d'attaque : plus il y a de systèmes impliqués, plus il y a de points d'entrée.

Les principaux hacks de LLM

1. Injection de prompts : ordonner à un modèle de faire ce qu'il n'est pas censé faire, de façon directe ou indirecte. Autrement dit, contourner ses garde-fous avec des entrées malveillantes.
2. Attaques RAG backdoor : instructions malveillantes cachées dans les documents que consulte le système (RAG).
3. Exploitation de confiance inter-agents.
4. Empoisonnement des données d'entraînement (exemple : une voiture autonome qui ignore un « stop »).
5. Deepfakes + ingénierie sociale : l'arnaque « du patron » (une seule a coûté 25 millions de dollars), les arnaques sentimentales (×3 en France 2023-24).

Les 18 modèles de LLM les plus utilisés succombent aux attaques de type 1 à 3 dans 83 à 100 % des cas (étude de novembre 2025). L'injection de prompts reste, selon le CISO d'OpenAI, « un problème fondamental et non résolu » : à retenir, c'est un problème considéré comme impossible à résoudre complètement aujourd'hui.

IA agentique : surface d'attaque démultipliée

• Le Model Context Protocol (MCP) facilite la connexion entre agents, malgré des craintes de sécurité évidentes.
• OpenClaw (framework open source) : la moindre erreur peut être amplifiée en actions irréversibles ; un agent a effacé tous les e-mails d'un responsable IA de Meta. Moltbook, un réseau social pour agents, a exposé 1,5 million de clés API.
• Gartner déconseille les navigateurs agentiques en entreprise, alors que 27,7 % des organisations auraient au moins un utilisateur.
• Fin 2025, Anthropic a révélé la première campagne de cyber-espionnage orchestrée par IA : 80 à 90 % automatisée, seulement 4 à 6 interventions humaines, facilitée par le MCP.
• Un agent de code (Cursor, basé sur Opus 4.6) a effacé en 9 secondes la base de production et les sauvegardes de PocketOS.
• Mythos (Anthropic, environ 20 000 milliards de paramètres) a trouvé 271 vulnérabilités pour Mozilla contre une vingtaine auparavant : il accélère détection et exploitation des failles de façon inédite.

Mitigations de sécurité

Pour l'agentique, le Model AI Governance Framework for Agentic AI de Singapour sert de modèle (voir plus loin). Il invite à anticiper trois types de facteurs d'erreur : systèmes (données d'entraînement CBRNE par exemple), contextuels (injections de prompts) et cognitifs (requête mal comprise).