Partie 2 · Valeurs aberrantes

Détecter et traiter les valeurs extrêmes

Une donnée aberrante est une observation qui s'écarte nettement des autres et qui n'est pas plausible (un âge de 250 ans). Une valeur extrême mais plausible (un très gros salaire) peut être conservée : avant de traiter, on se demande si elle est pertinente et quel impact elle a.

Deux détections numériques

Méthode	Règle
Z-score	z = (x − μ) / σ : nombre d'écarts-types à la moyenne ; seuil courant : \|z\| > 3
IQR	IQR = Q3 − Q1 ; extrême si x < Q1 − 1,5 × IQR ou x > Q3 + 1,5 × IQR

Visuellement, la boîte à moustaches (boxplot) est la méthode la plus courante. Attention : sur un petit échantillon, une valeur extrême gonfle elle-même l'écart-type, et le z-score peut ne jamais dépasser 3 ; le TP invite justement à se demander « que remarquez-vous ? » (hors cours : avec n valeurs, |z| ne peut pas dépasser (n−1)/√n).

Vérifie que tu as compris

Quelles bornes définissent les valeurs extrêmes selon la méthode IQR ?

À toi de coder

Bornes IQR et valeurs extrêmes

Voici des durées de trajet en minutes (exemple ajouté). Calcule les quartiles avec statistics.quantiles(..., n=4, method="inclusive") (même interpolation que .quantile() de pandas), puis l'IQR, les deux bornes et la liste des valeurs extrêmes.

import statistics as st
valeurs = [12, 14, 15, 15, 16, 17, 18, 19, 95]
q1, q2, q3 = st.quantiles(valeurs, n=4, method="inclusive")
iqr = q3 - ___
borne_basse = q1 - 1.5 * iqr
borne_haute = q3 + ___ * iqr
extremes = [v for v in valeurs if v < borne_basse or v ___ borne_haute]

Ctrl/⌘+Entrée

À toi de coder

Z-score et seuil

Calcule le z-score de chaque valeur avec la moyenne et l'écart-type d'échantillon (statistics.stdev, comme pandas .std()). Garde les indices dont |z| dépasse le seuil 2 (comme dans l'exercice de remplacement du TP, où le seuil est abaissé à 2). Observe : avec un seul gros écart parmi 9 valeurs, le seuil classique de 3 ne détecte rien.

import statistics as st
valeurs = [12, 14, 15, 15, 16, 17, 18, 19, 95]
mu = st.mean(valeurs)
sigma = st.___(valeurs)
z = [(v - mu) / ___ for v in valeurs]
indices_seuil2 = [i for i, zi in enumerate(z) if ___(zi) > 2]
indices_seuil3 = [i for i, zi in enumerate(z) if abs(zi) > 3]

Ctrl/⌘+Entrée

Traiter

Supprimer l'observation (.drop() ou filtrage) : simple mais risqué, on perd de l'information.
Capping / winsorisation : remplacer les extrêmes par des bornes (exemple du cours : quantiles à 5 % et 95 %).
Transformer (logarithme, racine carrée) pour réduire l'impact des extrêmes.
Remplacer par une valeur plausible ou déduite d'autres données (ex. dernière valeur disponible).
Ou conserver si la valeur est plausible et sans conséquence.

Vérifie que tu as compris

Un salaire de 400 000 € apparaît dans un jeu de données de dirigeants. Que faire d'abord ?

À toi de coder

Capping des valeurs extrêmes

Le capping (winsorisation) ramène les valeurs hors bornes aux bornes elles-mêmes, sans supprimer de ligne. Reprends les bornes IQR de l'exercice précédent (10,5 et 22,5) et remplace chaque valeur trop basse par la borne basse, chaque valeur trop haute par la borne haute.

valeurs = [12, 14, 15, 15, 16, 17, 18, 19, 95]
bas, haut = 10.5, 22.5
plafonnees = [___(bas, ___(v, haut)) for v in valeurs]

Ctrl/⌘+Entrée