Partie 1 · Exploration

L'analyse exploratoire (EDA) : regarder avant de toucher

Avant de nettoyer, il faut comprendre ce qu'on a. C'est l'analyse exploratoire (EDA). Les outils du cours :

Besoin	pandas	Python pur
Aperçu	`.head(n)`, `.tail(n)`, `.sample(n)`, `.info()`	`df[:n]`, `df[-n:]`, `random.sample(df, n)`
Résumé statistique	`.describe()` : count, mean, std, min, quartiles, max	`statistics.mean`, `median`, `stdev`, `quantiles`
Fréquences	`.value_counts()` (`normalize=True` pour des proportions)	`collections.Counter`
Unicité	`.unique()`, `.nunique()`	`set(...)`, `len(set(...))`
Corrélation	`.corr()` (matrice, colonnes numériques)	`statistics.correlation(x, y)`

.describe() ne concerne que les colonnes numériques ; .value_counts() les colonnes catégorielles. .nunique() aide à reconnaître une colonne catégorielle (peu de valeurs distinctes) ou un identifiant (autant de valeurs que de lignes). .corr() repère des relations linéaires potentielles.

Vérifie que tu as compris

Quelle méthode compte combien de fois chaque valeur d'une colonne catégorielle apparaît ?

Vérifie que tu as compris

Une colonne a autant de valeurs distinctes (nunique) que le DataFrame a de lignes. Elle est probablement :

Statistiques en Python pur

import statistics as st
from collections import Counter
salaires = [42000, 38000, 52000, 61000, 33000]
st.mean(salaires), st.median(salaires)   # 45200, 42000
st.stdev(salaires)                       # écart-type (échantillon, ddof=1 comme pandas)
Counter(["Paris", "Lyon", "Paris"]).most_common()   # [('Paris', 2), ('Lyon', 1)]

Attention : le .std() de pandas est l'écart-type d'échantillon (divise par n−1), comme statistics.stdev ; statistics.pstdev divise par n (précision ajoutée).

Vérifie que tu as compris

Que contient .describe() pour une colonne numérique ?

À toi de coder

Premier regard sur un jeu de données

Reproduis en Python pur trois gestes d'EDA sur les mêmes employés : la moyenne et la médiane du salaire (pour comparer : si elles diffèrent beaucoup, la distribution est asymétrique), la fréquence des villes en proportion (équivalent de value_counts(normalize=True)), et le nombre de villes distinctes.

employes = [
    {"id": 1, "nom": "Alice", "age": 25, "ville": "Paris", "salaire": 42000},
    {"id": 2, "nom": "Bob", "age": 31, "ville": "Lyon", "salaire": 38000},
    {"id": 3, "nom": "Chloé", "age": 45, "ville": "Toulouse", "salaire": 52000},
    {"id": 4, "nom": "David", "age": 35, "ville": "Paris", "salaire": 61000},
    {"id": 5, "nom": "Eve", "age": 22, "ville": "Lille", "salaire": 33000},
]
import statistics as st
from collections import Counter
salaires = [e["salaire"] for e in employes]
moyenne = st.___(salaires)
mediane = st.median(salaires)
effectifs = Counter(e["ville"] for e in employes)
proportions = {v: n / ___(employes) for v, n in effectifs.items()}
nb_villes = len(___(effectifs))

Ctrl/⌘+Entrée

À toi de coder

Une corrélation à la main

.corr() calcule le coefficient de Pearson entre colonnes numériques. En Python 3.10+, statistics.correlation(x, y) fait de même pour deux listes. Calcule la corrélation entre l'âge et le salaire, arrondie à 2 décimales, puis dis (lien_positif) si elle est positive. Rappel : une corrélation mesure un lien linéaire, pas une causalité.

employes = [
    {"id": 1, "nom": "Alice", "age": 25, "ville": "Paris", "salaire": 42000},
    {"id": 2, "nom": "Bob", "age": 31, "ville": "Lyon", "salaire": 38000},
    {"id": 3, "nom": "Chloé", "age": 45, "ville": "Toulouse", "salaire": 52000},
    {"id": 4, "nom": "David", "age": 35, "ville": "Paris", "salaire": 61000},
    {"id": 5, "nom": "Eve", "age": 22, "ville": "Lille", "salaire": 33000},
]
import statistics as st
ages = [e["age"] for e in employes]
salaires = [e["salaire"] for e in employes]
r = round(st.___(ages, salaires), 2)
lien_positif = r ___ 0

Ctrl/⌘+Entrée