Partie 1 · Mesurer

La complétude : repérer ce qui manque

La complétude répond à « les valeurs sont-elles présentes ? ». Les manquants prennent plusieurs visages : champ vide, NaN, mais aussi des valeurs « déguisées » comme "N/A". Une mesure honnête doit toutes les compter, sinon le taux est sous-estimé.

Le taux de manquants d'une colonne est simple : nombre de manquants / nombre de lignes. Sur l'IRVE, le TP mesure deux gros trous : 40,9 % de codes postaux manquants et 40,6 % de dates de mise en service absentes.

Vérifie que tu as compris

Sur 200 lignes, 50 codes postaux sont vides, 30 valent « N/A » et 20 sont des None. Quel est le taux de manquants ?

À toi de coder

Taux de valeurs manquantes d'une colonne

La complétude se mesure par un taux : combien de valeurs manquent, rapporté au nombre de lignes. Une valeur est manquante si elle vaut None, "" (vide) ou "N/A". Écris taux_manquants(lignes, col) qui renvoie le pourcentage (0 à 100) de lignes où la colonne col est manquante. Les données sont un petit jeu fictif (exemple ajouté).

BORNES = [
    {"id": "A", "cp": "75001"}, {"id": "B", "cp": None}, {"id": "C", "cp": ""},
    {"id": "D", "cp": "N/A"}, {"id": "E", "cp": "69002"},
]

def taux_manquants(lignes, col):
    manquantes = [l for l in lignes if l[col] in (None, ___, "N/A")]
    return 100 * len(manquantes) / ___(lignes)

Ctrl/⌘+Entrée

Que faire d'un manquant ? Le cours (étape 3 de l'exercice fil rouge) parle de suppression ou imputation justifiée. Le mot important est « justifiée » : ce choix est une décision métier qui doit se défendre (c'est exactement la question de la défense orale : « Pourquoi avoir imputé plutôt que supprimé ? »).

Le TP insiste sur un piège : le code postal manquant ne s'impute pas par la médiane. Un code postal est un identifiant géographique, pas une quantité : la « médiane » de 75001 et 13001 n'a aucun sens. On l'impute par géocodage inverse depuis les coordonnées GPS (GPS vers code postal).

Stratégie	Quand ?	Risque
Supprimer la ligne	peu de manquants, colonne essentielle	perdre du volume utile
Imputer (médiane, etc.)	valeur numérique, manque aléatoire	fausser la distribution
Enrichir (géocodage inverse)	une autre colonne permet de retrouver la valeur	dépend de la qualité du GPS

Le tableau est une synthèse pédagogique (hors cours) des options citées dans le Journal de décisions : « Supprimer / médiane / géocoder ».

Vérifie que tu as compris

Quelle méthode le TP recommande-t-il pour un code postal manquant ?

À toi de coder

Audit des manquants colonne par colonne

Une grille d'audit liste, pour chaque colonne, le pourcentage de problèmes. Écris audit_completude(lignes) qui renvoie un dict {colonne: nb_manquants}, avec la même définition qu'avant (None, vide, "N/A").

LIGNES = [
    {"id": "A", "cp": "75001", "date_mes": "2020-01-05"},
    {"id": "B", "cp": None, "date_mes": ""},
    {"id": "C", "cp": "N/A", "date_mes": "2021-03-10"},
]

def audit_completude(lignes):
    res = {}
    for col in lignes[0]:
        res[col] = sum(1 for l in lignes if l[col] in (None, "", "N/A"))
    return ___

Ctrl/⌘+Entrée

Pour prioriser, on met les taux côte à côte et on fixe un seuil : les colonnes qui le dépassent sont les premières à traiter (étape 2 : « identifier les colonnes nécessitant un nettoyage »). Le seuil est un choix, à justifier lui aussi.

Vérifie que tu as compris

Dans un audit de complétude, à quoi sert un seuil de taux de manquants ?