La dispersion et la forme d'une distribution

Deux séries peuvent avoir la même moyenne et des comportements très différents. Exemple du cours : A = [10, 10, 10, 10] et B = [7, 10, 13, 10] ont toutes deux pour moyenne 10, mais B s'écarte de 10 alors que A ne bouge pas. Il faut mesurer la dispersion.

Étendue, variance, écart-type

Pour B : écarts à 10 = $-3, 0, +3, 0$ ; carrés = $9, 0, 9, 0$ ; variance $= 18/4 = 4{,}5$ ; écart-type $\approx 2{,}12$. Pour A : tout vaut 0, donc $\sigma = 0$.

Interprétation : écart-type faible = données regroupées ; élevé = données dispersées.

Population ou échantillon : ddof

Le cours distingue deux conventions :

Exemple : ages = [12, 15, 14, 13, 16, 15] : moyenne $85/6 \approx 14{,}17$, médiane 14,5 ; variance population $\approx 1{,}81$, variance échantillon $\approx 2{,}17$. Avec ddof=1, la dispersion est un peu plus grande : on corrige le biais d'échantillonnage.

Autre exemple : tailles = [160, 170, 175, 150, 165] : moyenne 164, variance (population) 74, écart-type $\approx 8{,}60$ cm.

La forme de la distribution

Deux séries peuvent avoir la même moyenne, le même écart-type et les mêmes quartiles, mais des formes différentes. On regarde un histogramme (symétrique ? étalé ? valeurs extrêmes ?) et un boxplot.

• Symétrique (ex. loi normale) : moyenne $\approx$ médiane.
• Asymétrie à droite (skew positif) : queue longue vers les grandes valeurs, moyenne > médiane (revenus, temps d'attente).
• Asymétrie à gauche (skew négatif) : queue longue vers les petites valeurs, moyenne < médiane (notes plafonnées).

Le coefficient d'asymétrie (scipy.stats.skew) vaut $\approx 0$ si symétrique, $\gt 0$ si asymétrie à droite, $\lt 0$ à gauche. La kurtosis mesure la concentration : proche de 0 forme « normale », positive = beaucoup de valeurs extrêmes, négative = distribution aplatie.

Valeurs atypiques (outliers)

Une valeur atypique n'est pas forcément fausse (erreur de mesure, situation exceptionnelle, individu particulier), mais elle doit être expliquée. Deux règles :

• Écart-type (approximative) : $|x-\mu| \gt 2\sigma$ : suspecte ; $|x-\mu| \gt 3\sigma$ : très atypique.
• Quartiles (boxplot, robuste) : avec $\text{IQR} = Q_3 - Q_1$, atypique si $x \lt Q_1 - 1{,}5\,\text{IQR}$ ou $x \gt Q_3 + 1{,}5\,\text{IQR}$.

Exemple (ajouté) : [10, 11, 12, 12, 13, 14, 50]. Moyenne $\approx 17{,}43$, $\sigma \approx 13{,}35$. Écart de 50 : $32{,}57 \gt 2\sigma \approx 26{,}7$ (suspect) mais $\lt 3\sigma \approx 40{,}1$ (pas « très atypique »). Avec les quartiles du cours : $Q_1 = 11$, $Q_3 = 14$, $\text{IQR} = 3$, bornes $6{,}5$ et $18{,}5$ : 50 est atypique. La valeur extrême a gonflé $\sigma$, ce qui adoucit la règle de l'écart-type : la règle des quartiles est plus robuste.