Partie 2 · Valeurs manquantes

Repérer, mesurer et supprimer les valeurs manquantes

Une valeur manquante, c'est une case sans information. Dans pandas elle s'écrit NaN (Not a Number) pour les numériques, NaT (Not a Time) pour les dates. En Python pur, on utilise None (ou float("nan")).

Besoin	pandas	Python pur
Masque des manquants	`.isnull()` / `.isna()`	`v is None`
Masque des présents	`.notnull()`	`v is not None`
Résumé par colonne	`.info()` (non-nuls par colonne)	compter les valeurs non `None`
Quantifier	`df.isnull().sum()`, `/ len(df)` pour le pourcentage	`sum(1 for l in df if l[c] is None)`

Piège : float("nan") == float("nan") vaut False ; on teste avec math.isnan(x), jamais avec == (précision ajoutée).

Vérifie que tu as compris

Que renvoie df.isnull().sum() ?

À toi de coder

Quantifier les manquants

Avant de décider quoi faire, on mesure : combien de valeurs manquent, colonne par colonne, et en proportion. Calcule manquants (dict colonne → nombre de None), total (toutes colonnes confondues) et part_C, la proportion de manquants de la colonne C.

df = [
    {"A": 1.0, "B": "x", "C": 10.0},
    {"A": None, "B": "y", "C": None},
    {"A": 3.0, "B": None, "C": 30.0},
    {"A": None, "B": None, "C": None},
    {"A": 5.0, "B": "x", "C": 50.0},
]
colonnes = ["A", "B", "C"]
manquants = {c: sum(1 for l in df if l[c] is ___) for c in colonnes}
total = ___(manquants.values())
part_C = manquants["C"] / ___(df)

Ctrl/⌘+Entrée

Supprimer : `.dropna()`

Option	Effet
`how='any'` (défaut)	supprime la ligne si au moins une valeur manque
`how='all'`	supprime la ligne seulement si toutes les valeurs manquent
`thresh=N`	garde la ligne si elle a au moins N valeurs non manquantes (supprimée si moins de N)
`axis=1`	agit sur les colonnes au lieu des lignes

Stratégie rapide mais qui peut entraîner une perte d'information significative. Le TP rappelle : si une colonne est quasi-exclusivement nulle, on peut la supprimer ; si les manquants sont peu nombreux, il vaut mieux les remplacer.

Vérifie que tu as compris

Avec dropna(how='all'), quelle ligne est supprimée ?

À toi de coder

dropna en Python pur : any, all, thresh

Reproduis trois variantes de dropna sur df. sans_any : lignes sans aucun manquant. sans_all : on retire seulement les lignes entièrement vides. avec_thresh2 : on garde les lignes ayant au moins 2 valeurs non manquantes (thresh=2).

df = [
    {"A": 1.0, "B": "x", "C": 10.0},
    {"A": None, "B": "y", "C": None},
    {"A": 3.0, "B": None, "C": 30.0},
    {"A": None, "B": None, "C": None},
    {"A": 5.0, "B": "x", "C": 50.0},
]
def presentes(l):
    return sum(1 for v in l.values() if v is not None)

sans_any = [l for l in df if presentes(l) == ___(l)]
sans_all = [l for l in df if presentes(l) ___ 0]
avec_thresh2 = [l for l in df if presentes(l) >= ___]