Covariance, corrélation de Pearson et droite de régression

Taille et poids, temps d'entraînement et performance, âge et salaire : on observe deux variables sur les mêmes individus et on se demande : quand l'une augmente, que fait l'autre ? Toujours commencer par un nuage de points.

La covariance

On compare les écarts à la moyenne : si $x_i-\bar{x}$ et $y_i-\bar{y}$ ont le même signe, le produit est positif ; sinon il est négatif. Majorité de produits positifs : covariance positive ; majorité de négatifs : covariance négative ; pas de lien clair : covariance $\approx 0$.

Exemple : x = [1, 2, 3], y = [2, 4, 5]. Moyennes : $2$ et $11/3 \approx 3{,}667$. Produits : $(-1)(-1{,}667) + 0 + (1)(1{,}333) = 3$, d'où $\text{Cov} = 3/3 = 1$ (population, bias=True). Avec np.cov(x, y) par défaut (diviseur $n-1$), on obtient $1{,}5$.

Problème majeur : la covariance dépend des unités (cm × kg, heures × points). On ne peut pas dire si elle est « forte » ou « faible ».

La corrélation de Pearson

La corrélation est une covariance rendue sans unité : on divise par les écarts-types.

Pour l'exemple précédent : $\sigma_X \approx 0{,}816$, $\sigma_Y \approx 1{,}247$, donc $r = \frac{1}{0{,}816\times 1{,}247} \approx 0{,}98$ : lien linéaire positif très fort. Autres exemples : $r=0{,}92$ lien très fort positif ; $r=-0{,}45$ lien négatif modéré ; $r=0$ pas de lien linéaire détectable. En Python : np.corrcoef(x, y)[0, 1].

Lien avec la leçon précédente : si $X$ et $Y$ sont centrées-réduites, alors $\text{Cov}(X,Y) = r$. D'où le rôle central de la corrélation en ACP.

Corrélation n'est pas causalité

Une forte corrélation décrit un lien, pas une cause (températures et ventes de glaces, nombre de pompiers et dégâts). On vérifie le nuage de points, le contexte métier et la plausibilité causale. Ex. : $r = 0{,}95$ n'implique aucune causalité.

Régression linéaire (aperçu)

On cherche la meilleure droite $y = ax + b$ qui approxime la relation. La pente $a$ est la variation moyenne de $y$ quand $x$ augmente de 1 (NumPy : np.polyfit(x, y, 1)). Le résidu d'un point est l'erreur du modèle : $y_i - \hat{y}_i$. Résidus centrés autour de 0 : bon modèle ; structure visible : modèle inadapté ; résidus très grands : valeurs atypiques.

(Ajout hors cours) Pour la droite des moindres carrés, la pente se calcule par $a = \frac{\text{Cov}(X,Y)}{\sigma_X^2}$ et $b = \bar{y} - a\bar{x}$. Pour x = [1..7] et y = [10, 12, 15, 18, 19, 22, 24] (nuage du cours), on trouve $a \approx 2{,}36$ et $r \approx 0{,}997$.

La corrélation mesure l'intensité du lien, la régression fournit un modèle prédictif.