L'ACP : résumer un nuage de variables

L'Analyse en Composantes Principales (ACP) résume un jeu de données en gardant l'essentiel de l'information. Elle travaille sur une matrice $n\times p$ (pas forcément carrée) : $n$ individus (lignes), $p$ variables (colonnes).

Idée : taille, poids, âge sont liés (les gens plus grands pèsent souvent plus). L'ACP cherche les directions où les données varient le plus : les composantes principales PC1, PC2, … Elle « tourne le nuage » pour le regarder selon les axes qui expliquent le plus de variation.

Les étapes

1. Centrer : $X_c = X - \text{moyenne}$ (obligatoire).
2. Réduire (souvent) : diviser par l'écart-type si unités ou échelles différentes.
3. Matrice de covariance : np.cov(Xs, rowvar=False).
4. Valeurs propres et vecteurs propres : np.linalg.eig(Cov).
5. Tri par valeur propre décroissante.
6. Projection : X_proj = Xc @ vecs : mêmes individus, nouvelles variables PC1, PC2…

Matrice de covariance

Elle généralise variance et covariance : sa diagonale contient les variances, le hors-diagonale les covariances, et elle est symétrique. Version normalisée : la matrice de corrélation (np.corrcoef(X, rowvar=False)) : diagonale égale à 1, valeurs entre $-1$ et $1$.

Vecteurs propres, valeurs propres

• vecteur propre : direction de l'axe principal (axe de projection) ;
• valeur propre $\lambda$ : variance expliquée par cet axe, son importance.

PC1 est la direction la plus « longue » du nuage. Part de variance expliquée par l'axe $k$ : $\frac{\lambda_k}{\sum \lambda}$ (vals / vals.sum()).

Cas 2×2 à la main

Pour $C = \begin{pmatrix} a & b \\ b & d \end{pmatrix}$ (symétrique), les valeurs propres sont

(rappel de la partie 2 : racines de $\lambda^2 - (a+d)\lambda + (ad-b^2) = 0$). Un vecteur propre associé à $\lambda$ est $(b,\ \lambda - a)$, à normaliser. Contrôle utile : $\lambda_1+\lambda_2 = a+d$ (la trace).

Exemple du cours : taille et poids

Six individus : [160, 55], [170, 65], [172, 68], [180, 80], [175, 75], [158, 50]. Moyennes : $\approx [169{,}167,\ 65{,}5]$. Matrice de covariance (diviseur $n-1$) :

La covariance positive dit que taille et poids augmentent ensemble. Valeurs propres : $\lambda_1 \approx 204{,}51$ et $\lambda_2 \approx 0{,}76$. Variance expliquée : $99{,}63\ \%$ pour PC1 et $0{,}37\ \%$ pour PC2. Vecteurs propres (à un signe près) : PC1 $\approx (0{,}599;\ 0{,}801)$, PC2 $\approx (-0{,}801;\ 0{,}599)$.

Interprétation : PC1 est un axe de « gabarit global » qui résume presque tout ; PC2 capte un contraste résiduel taille/poids. La projection de chaque individu centré $(x_c, y_c)$ sur PC1 est $c = 0{,}599\,x_c + 0{,}801\,y_c$.

Combien de composantes garder ?

On regarde la variance expliquée cumulée : PC1 + PC2 $\approx 80$-$90\ \%$ est souvent suffisant. Une composante qui explique très peu (par exemple PC3) est du bruit résiduel.