Partie 6 · IA responsable
Confidentialité et responsabilisation
1.9 La confidentialité
C'est le risque n°1 des entreprises (voir partie 1). Selon le type d'IA :
- Prédictive : peut utiliser des données initialement non déclarées pour l'usage de départ (des applis de santé féminine peuvent deviner qu'une utilisatrice est enceinte) ; des données de suivi peuvent servir à entraîner des modèles prédictifs sans autorisation.
- Générative : des salariés non avertis peuvent faire fuiter des secrets en les important dans un LLM (le cas Samsung).
- Agentique : avec une seule autorisation (protocoles comme MCP), un agent peut accéder à tes e-mails, contacts, coordonnées bancaires ; les navigateurs agentiques (OpenAI Atlas, Claude Cowork) peuvent facilement faire fuiter des données personnelles.
Chiffres : chacune des entreprises leaders de l'IA utilise par défaut les inputs de ses utilisateurs pour entraîner d'autres modèles (Stanford), soit 100 % d'entre elles. Payer son abonnement n'aide pas forcément (ChatGPT Plus et Pro utilisent aussi tes données par défaut, mais on peut s'y opposer). 40 % ont déjà partagé des données d'entreprise avec des outils IA auxquels ils ne font pas confiance. Samsung a interdit ChatGPT après l'envoi de code confidentiel par un salarié.
Shadow AI : utiliser son compte de LLM personnel au travail ; répandu chez 61 % des utilisateurs d'IA dans les entreprises françaises (étude YouGov pour Microsoft France).
Personnalisation : la mémoire des chatbots (Gemini et l'historique Google, Amazon et les « intérêts », ChatGPT et sa mémoire, qui facilitera le ciblage publicitaire) sert de prétexte à collecter plus de données. L'opacité des LLM empêche de garantir qu'ils n'accèdent pas à des données sensibles, même si on le leur demande.
Vérifie que tu as compris
Vérifie que tu as compris
Mitigations de la confidentialité
| Utilisateurs | Développeurs | Décideurs |
|---|---|---|
| Ne jamais téléverser de données clients ou confidentielles dans un LLM, sauf si la charte l'autorise et qu'il s'agit du LLM autorisé de l'entreprise (pas de Shadow AI) ; déconnecter ses comptes (Google, Gmail) de l'IA ; ne jamais divulguer banque, santé, RH, mots de passe ; vider régulièrement la mémoire de ChatGPT | Anonymiser les données personnelles ; n'envoyer que les données nécessaires à l'analyse, pas le fichier entier | S'assurer que le fournisseur ne collecte pas les données des prompts de ses collègues ; régulation et conformité (RGPD) ; charte IA responsable ; formation |
1.10 La responsabilisation (accountability)
Qui est responsable quand l'IA se trompe ? Pour l'IA prédictive, celui qui a déployé le système reste en général responsable de ses erreurs. En IA générative, la responsabilité est souvent déplacée (OpenAI soutient qu'un adolescent suicidé sur les conseils de ChatGPT est seul responsable de son acte). En IA agentique, avec un grand nombre de systèmes impliqués, il devient difficile de déterminer qui est responsable.
Le RACI
Pour toute gouvernance IA, il faut établir en amont qui est responsable de quoi, surtout en cas d'incident. L'outil : la matrice RACI.
- R = Responsible (fait le travail) ; A = Accountable (rend des comptes) ; C = Consulté ; I = Informé.
Extrait d'un modèle du cours (à titre d'exemple seulement : chaque organisation définit le sien) :
| Activité | CEO | IT | RH | CFO | Juridique | BUs |
|---|---|---|---|---|---|---|
| Définir la stratégie | A | C | C | C | C | R |
| Gouvernance des données | I | R | I | I | C | A |
| Revue éthique et audit des biais | I | C | R | I | A | C |
2.1 Les types de responsabilités
Par entreprise (AI Act)
| Rôle | Définition |
|---|---|
| Fournisseur (provider) | Crée le système IA. Porte le plus de risques de conformité, du développement à la fin du cycle de vie (gestion des risques, qualité des données...). |
| Déployeur (deployer) | Utilise le système IA dans son activité. Opérationnalisation responsable (remonter les usages à risque, former ses salariés). |
| Importateur | Fait venir en UE des systèmes IA non-UE ; gardien des déclarations de conformité pour le haut risque. |
| Distributeur | Rend des systèmes IA disponibles en UE ; peut aussi vérifier la conformité et coopérer avec les autorités. |
Les utilisateurs (grand public, salariés) sont hors du champ de l'AI Act : ils ne portent aucune responsabilité à ce titre. C'est pourquoi une charte interne est nécessaire. Un déployeur peut devenir fournisseur s'il modifie « significativement » le modèle de départ (notion non définie).
Par rôle dans le cycle de vie
Sept étapes : Spécification, Conception, Développement, Production (dont déploiement), Utilisation, Support, Fin de vie, chacune avec son rôle (commanditaire, développeur, utilisateur, équipe support, expert/reconditionneur). Il n'y a pas d'étape « phase de test » dans cette grille. Croiser les deux matrices (entreprise × rôle) donne une vue combinée utile.
Vérifie que tu as compris
2.2 Trois cas d'étude
| Cas | Ce qui s'est passé | Questions à se poser |
|---|---|---|
| Prédictive : algorithme CNAF | Les allocataires vulnérables seraient plus ciblés par les contrôles (nombre de connexions, RSA, famille monoparentale...). Plainte au Conseil d'État par 25 associations ; seuls 6 des 24 algorithmes soumis au CRPA remplissent leurs obligations (ODAP). | Qui est responsable : l'État ? le fournisseur ? Quels recours ? Comment éviter cela ? |
| Générative : cas Samsung (2023) | Un ingénieur colle du code source interne dans ChatGPT via un compte personnel (Shadow AI). Réaction : interdiction sur tous les appareils pro, puis remise en service avec des règles strictes. Sanction possible : licenciement. | Le salarié est-il responsable ? D'après l'AI Act, l'utilisateur ne porte pas de responsabilité... |
| Agentique : navigateur web agentique (cas hypothétique) | Un salarié installe OpenAI Atlas : risque d'extraction de données, de virement non voulu, d'instructions malveillantes cachées. | Qui est le déployeur : le salarié ? Prévention : interdire ces navigateurs en entreprise (Gartner), mots de passe uniques et 2FA. |