Partie 2 · Bronze, Silver, Gold

Audit du Bronze et construction du Silver

L'audit (étape 2) précède tout nettoyage. Il consiste à identifier :

toutes les valeurs manquantes ;
les doublons éventuels ;
les valeurs aberrantes : âge négatif, revenus nuls, dates incohérentes, etc. ;
les colonnes nécessitant un nettoyage.

On mesure d'abord, on corrige ensuite : c'est le même esprit que « comprendre la donnée avant de la nettoyer » du TP.

Vérifie que tu as compris

Parmi ces cas, lequel est une valeur aberrante au sens de l'énoncé ?

La couche Silver (étape 3) enchaîne quatre opérations :

Supprimer les doublons.
Traiter les valeurs manquantes : suppression ou imputation justifiée.
Standardiser les formats de dates et de texte.
Corriger les incohérences détectées à l'audit.

Résultat : un nouveau fichier customer_silver.csv. L'ordre compte souvent : dédoublonner avant de calculer des taux évite de compter deux fois la même ligne (remarque ajoutée).

À toi de coder

Standardiser les formats de date

Étape 3 : « standardiser les formats de dates et de texte ». Les dates arrivent en JJ/MM/AAAA ou déjà en ISO AAAA-MM-JJ. Écris standardiser(dates) qui renvoie toutes les dates en ISO (celles déjà en ISO restent inchangées).

DATES = ["2021-03-10", "10/03/2021", "2022-07-01", "01/07/2022"]

def standardiser(dates):
    res = []
    for d in dates:
        if "/" in d:
            j, m, a = d.split("___")
            d = f"{a}-{m}-{j}"
        res.append(d)
    return res

Ctrl/⌘+Entrée

À toi de coder

Séparer lignes valides et rejetées

Plutôt que de supprimer en silence, on peut séparer les lignes qui respectent la règle « revenu présent et strictement positif » de celles qui la violent, pour pouvoir les compter dans le rapport (idée ajoutée). Écris separer(lignes) qui renvoie (valides, rejetees).

LIGNES = [
    {"id": 1, "revenu": 52000},
    {"id": 2, "revenu": None},
    {"id": 3, "revenu": -10},
    {"id": 4, "revenu": 31000},
]

def separer(lignes):
    valides, rejetees = [], []
    for l in lignes:
        if l["revenu"] is not None and l["revenu"] ___ 0:
            valides.append(l)
        else:
            rejetees.append(l)
    return valides, rejetees

Ctrl/⌘+Entrée

Vérifie que tu as compris

Quelle opération fait partie de la construction du Silver ?