Partie 1 · IA frugale
Réduire les impacts : besoin, datacentres, hardware, modèles
D'abord : as-tu besoin d'IA, et de laquelle ?
Premier levier : ne pas utiliser un LLM quand une IA plus simple suffit. Exemple du cours (Miralia, ex-Golem.ai) pour classer des e-mails : un LLM « frugal » (moyenne de 4 modèles de 8 à 40 milliards de paramètres) émet 120 mg de CO₂ par e-mail, une IA symbolique 1,3 mg, soit environ x100 de moins. Dans ce cas, 90 % des messages sont traités par l'IA symbolique, 10 % aidés par des LLM, avec 5 fois moins de facture cloud.
| Pilier | Levier |
|---|---|
| Besoin | IA symbolique ou alternative sans IA quand elle suffit |
| Datacentres | mix électrique moins carboné, reporting, refroidissement sobre |
| Hardware | CPU/NPU pour l'inférence, IA locale (on-device) |
| Software / modèles | open source, petits modèles, pruning, quantization, distillation, fine-tuning |
| Data | datasets petits, nettoyés, spécialisés |
Vérifie que tu as compris
Datacentres
- Lieu : environ 10 fois moins d'émissions en France qu'en Virginie (États-Unis), grâce à un mix énergétique moins carboné. Attention aux autres impacts : produire l'électricité en France consomme par exemple beaucoup d'eau.
- Reporting : un fournisseur cloud doit publier le PUE (efficacité énergétique du datacentre), toutes les émissions (scopes 1, 2 et 3, location-based et pas seulement market-based), le WUE (efficacité de l'eau, obligatoire dans l'UE depuis octobre 2025 d'après la directive européenne sur l'efficacité énergétique), le hardware et les déchets, indiquer les impacts de l'IA et faciliter les modèles open source mesurables.
- Refroidissement : la climatisation représente 30 à 40 % de l'énergie d'un datacentre ; les tours de refroidissement consomment 25 litres d'eau par seconde. Alternatives : refroidissement adiabatique (l'eau refroidit l'air extérieur) ou direct (l'eau est appliquée directement aux puces).
Hardware
Les GPU sont inévitables pour entraîner les LLM, mais pas pour l'inférence : les CPU Ampere de la gamme Altra consomment 3 à 5 fois moins d'énergie que des GPU comparables pour l'inférence. Les NPU (Neural Processing Units, dédiés aux LLM : TPU chez Google, ANE chez Apple) seraient nettement plus efficients, a priori.
Le cloud n'est pas inévitable : avec des applis comme AI Edge Gallery ou Locally AI (mobile), ou LM Studio (ordinateur), on télécharge de petits modèles (gamme Gemma 4 de Google, SmolLM de Hugging Face) qui tournent en local. Gains : énergie et eau du cloud, confidentialité et souveraineté. Limites : impacts hardware (appareil récent requis, risque d'obsolescence accélérée) et besoins de VRAM : moins de 10 Go est préférable, la quantization 4 bits aidant en cas de limite.
Vérifie que tu as compris
Software et modèles : deux règles d'or
- Open source = performances, et donc impacts, mesurables.
- Moins de paramètres = moins de ressources consommées.
Open weights ou open source ?
| Open weights | Open source |
|---|---|
| Modèle gratuit, téléchargeable ; informations d'entraînement limitées ; exemples : Mistral Small 3.2, Llama 4 Scout, Gemma 3 12B | Les poids du réseau sont connus ; réutilisation et rediffusion libres ; exemples : Apertus 70B Instruct, Olmo 3 32B Think |
Plus d'ouverture = plus customisable (fine-tuning...) et mesurable. Le degré d'ouverture d'un modèle se vérifie sur osai-index.eu. En août 2025, OpenAI a sorti gpt-oss-20B et gpt-oss-120B, ses premiers modèles open weight depuis 6 ans : leur impact est mesurable (8 fois moins d'énergie que Qwen3 30B pour gpt-oss-20B, pour la même requête) et gpt-oss-20B peut tourner sur l'appareil.
Pourquoi l'open source ?
- Accessible (inutile d'entraîner son propre modèle) et gratuit (par exemple 10 % d'économies pour Pinterest).
- Hébergeable où on veut : en Europe (moins d'émissions + RGPD) ou sur son PC ou téléphone.
- Adaptable à ses besoins :
| Technique | Principe | Gain cité |
|---|---|---|
| Pruning | réduit le nombre de connexions entre neurones | -50 à -90 % de calculs (ResNet) |
| Quantization | réduit le nombre de bits pour représenter chaque poids | x4 de vitesse d'inférence (INT8) |
| Distillation | un plus petit modèle apprend d'un plus grand | -60 % de taille du modèle, 97 % de précision (BERT) |
| Fine-tuning | un modèle déjà entraîné s'entraîne sur un dataset plus réduit (transfer learning) | -78 % d'énergie (technique Zeus) |
Vérifie que tu as compris
Des petits modèles aussi performants
Des modèles 60 à 100 fois plus petits que les principaux LLM peuvent être aussi performants (Luccioni et al.). Le message : choisir le modèle le mieux adapté à son besoin.
| Modèle | Paramètres | Aussi performant que... |
|---|---|---|
| Microsoft Phi-2 | 2,7B | un modèle de 30B (et 15 fois plus rapide) |
| Microsoft Phi-3 small | 7B | 70B |
| NVIDIA Nemotron-H | 2-9B | 30B |
| Hugging Face SmolLM2 | 125M-1,7B | 14B-70B |
| DeepSeek-R1-Distill-Qwen-7B | 7B | Claude 3.5 Sonnet / GPT-4o (environ 175-200B) |
Lire un nom de modèle. « Qwen3-235B-A22B » est un Mixture of Experts avec 235B de paramètres au total et 22B actifs. « Thinking » signale un modèle qui affiche ses étapes de réflexion. « DeepSeek-R1 » est un modèle à raisonnement ; « R1-Distill-Qwen-32B » est un Qwen qui a appris (distillation) d'un plus grand modèle. « Instruct » désigne un modèle conçu pour exécuter des tâches (vs « Chat », conçu pour discuter). « gpt-oss-20b » est un modèle open source d'OpenAI à 20B de paramètres.
Côté données
Que l'on entraîne from scratch ou, plutôt, que l'on fine-tune, la data doit être spécialisée (less is more), nettoyée (pas de doublons), optimisée (par exemple apprentissage actif : en imagerie médicale, seuls 20 % des données sont sélectionnées pour annotation avec une performance comparable), sélective et représentative et conforme au RGPD. Résultat : entraînement moins consommateur et coûts d'annotation réduits.
Vérifie que tu as compris