Partie 2 · Pratique (hors cours)
Évaluer un classifieur : précision, rappel, F1
Pour comparer des modèles (étape « évaluation des performances » du cours), il faut des mesures. Pour une classification binaire avec une classe « positive », on compte :
| prédit positif | prédit négatif | |
|---|---|---|
| réellement positif | VP (vrais positifs) | FN (faux négatifs) |
| réellement négatif | FP (faux positifs) | VN (vrais négatifs) |
- Exactitude (accuracy) = (VP + VN) / total
- Précision = VP / (VP + FP) : parmi les alertes, combien sont justes ?
- Rappel = VP / (VP + FN) : parmi les vrais positifs, combien trouvés ?
- F1 = 2 × précision × rappel / (précision + rappel)
Exemple : VP = 3, FN = 2, FP = 1, VN = 4. Exactitude 0,7 ; précision 0,75 ; rappel 0,6 ; F1 = 0,667. Sur des classes très déséquilibrées, l'exactitude peut tromper : un modèle qui répond toujours « négatif » a une bonne exactitude et un rappel de 0.
Vérifie que tu as compris
Un modèle détecte 3 pannes sur 5 pannes réelles. Quel est son rappel ?
Vérifie que tu as compris
Un modèle déclenche 4 alertes dont 3 justes. Quelle est sa précision ?