Partie 2
Entraîner puis exploiter
Métriques et séparation des données
Avant l'entraînement, on définit des métriques adaptées : type de tâche, équilibre des données, coût relatif des erreurs (faux positifs vs faux négatifs). Une métrique technique peut être insuffisante : on la complète par des indicateurs métier.
| Jeu | Usage |
|---|---|
| Entraînement | apprendre les paramètres du modèle |
| Validation | ajuster les hyperparamètres et guider les choix de modèles |
| Test | estimer les performances finales, uniquement, de façon objective |
La séparation évite toute fuite d'information (data leakage) et respecte la structure des données (temps, groupes, utilisateurs).
Vérifie que tu as compris
Entraîner et surveiller
L'entraînement ajuste les paramètres internes. Les hyperparamètres (capacité, régularisation, dynamique d'apprentissage) se sélectionnent en parallèle. Le but n'est pas le meilleur score d'entraînement mais un modèle qui généralise.
- Overfitting : trop précis sur l'entraînement, généralise mal.
- Underfitting : trop simple ou mal entraîné, ne capture pas les relations.
- Instabilités ou convergence insuffisante.
Actions : ajuster la complexité, modifier les hyperparamètres, améliorer ou augmenter les données, réviser les hypothèses.
Vérifie que tu as compris
Exploiter les résultats
- Analyser les sorties : classes, probabilités, scores, rangs ; cohérence avec les attentes, cas d'incertitude, erreurs récurrentes.
- Mettre en forme pour le métier : scores de risque, classes interprétables, recommandations hiérarchisées, alertes, pensés avec les utilisateurs finaux.
- Seuils de décision : à partir d'un score ou d'une probabilité, selon le coût des erreurs et les contraintes ; compromis performance technique / impact métier, ajustables avec les retours terrain.
- Intégration : API (temps réel), batch, embarqué, ou chaîne décisionnelle plus large ; latence, scalabilité, sécurité, maintenance, supervision.
- Limites d'usage : cas peu fiables, cas absents des données, hypothèses implicites ; prévoir repli ou contrôle humain.
Vérifie que tu as compris