Partie 2 · Imputation

Remplacer les valeurs manquantes (imputation)

L'imputation remplace les manquants avec .fillna(). Quatre familles :

Méthode	Quand ?
Constante (0, `'Inconnu'`)	valeur de repli explicite
Moyenne `.mean()`	distribution numérique équilibrée (sensible aux extrêmes)
Médiane `.median()`	distribution avec valeurs extrêmes
Mode `.mode()[0]`	variables catégorielles ou discrètes
Séquentielle (`ffill`, `bfill`)	séries temporelles : valeur précédente / suivante

Attention au type : remplir une colonne numérique avec la chaîne 'Valeur manquante' la transforme en colonne de type object (mélange de nombres et de texte) (question du TP).

Vérifie que tu as compris

Une colonne numérique contient quelques valeurs très extrêmes. Quelle imputation est plus robuste ?

Vérifie que tu as compris

Quelle imputation convient à une colonne catégorielle comme la ville ?

À toi de coder

Médiane et mode

Remplace les manquants de la colonne C par la médiane des valeurs présentes, et ceux de la colonne B par le mode (valeur la plus fréquente). Calcule d'abord sur les valeurs présentes : un None ne doit pas entrer dans la statistique.

df = [
    {"A": 1.0, "B": "x", "C": 10.0},
    {"A": None, "B": "y", "C": None},
    {"A": 3.0, "B": None, "C": 30.0},
    {"A": None, "B": None, "C": None},
    {"A": 5.0, "B": "x", "C": 50.0},
]
import statistics as st
from collections import Counter
c_presents = [l["C"] for l in df if l["C"] is not None]
mediane = st.___(c_presents)
b_presents = [l["B"] for l in df if l["B"] is not None]
mode = Counter(b_presents).most_common(1)[0][___]
for l in df:
    if l["C"] is None: l["C"] = mediane
    if l["B"] is None: l["B"] = mode

Ctrl/⌘+Entrée

Propager : ffill et bfill

Pour des mesures dans le temps, on peut reporter la dernière valeur connue (ffill, forward fill) ou la suivante (bfill). Le ffill ne peut rien faire pour un manquant en tout début de série (aucune valeur précédente).

def ffill(valeurs):
    sortie, derniere = [], None
    for v in valeurs:
        derniere = v if v is not None else derniere
        sortie.append(derniere)
    return sortie
ffill([None, 4, None, None, 7])   # [None, 4, 4, 4, 7]

Choisir

Colonne presque entièrement vide : la supprimer.
Peu de manquants : les remplacer.
Toujours se demander ce que la valeur choisie fait à la distribution.

Vérifie que tu as compris

Que donne ffill sur [None, 4, None, 7] ?

À toi de coder

Propager la dernière valeur connue

Un capteur envoie des relevés avec des trous (None). Écris ffill (reporter la dernière valeur connue) puis applique-la. Le premier trou, avant toute mesure, doit rester None : on n'invente pas de valeur.

def ffill(valeurs):
    sortie, derniere = [], None
    for v in valeurs:
        if v is not None:
            derniere = ___
        sortie.append(___)
    return sortie

releves = [None, 20.5, None, None, 21.0, None]
propres = ffill(releves)

Ctrl/⌘+Entrée