Partie 2 · Modèles avancés
Gradient boosting et importance des variables
Comme la forêt aléatoire, le gradient boosting construit plusieurs arbres pour mieux modéliser. La différence centrale :
| Random forest | Gradient boosting |
|---|---|
| Arbres construits en parallèle | Arbres construits de manière séquentielle |
| Prédictions moyennées | Chaque arbre est chargé de corriger les erreurs du précédent |
Image mentale : dans une forêt, plusieurs experts donnent leur avis indépendamment et on fait la moyenne ; en boosting, chaque nouvel expert ne regarde que ce que les précédents ont raté.
Vérifie que tu as compris
En gradient boosting, quelle est la tâche d'un nouvel arbre ?
Importance des variables
Malgré leur complexité, la structure à base d'arbres de ces deux modèles permet d'extraire l'importance de chaque variable explicative : on sait quelles variables ont le plus pesé dans les décisions. C'est une façon de regagner de l'explicabilité avec des modèles avancés.
Exemple de lecture (valeurs ajoutées)
| Variable | Importance |
|---|---|
| vitesse | 0,55 |
| pluie | 0,30 |
| type de véhicule | 0,15 |
Ici, la vitesse est la variable la plus influente pour prédire l'accident.
Vérifie que tu as compris
Que permet d'extraire la structure à base d'arbres des modèles avancés ?