Partie 2 · Bronze, Silver, Gold

Automatiser avec un pipeline de validation

La partie 4 du TP s'intitule « Automatiser le contrôle avec Great Expectations ». La mission :

écrire au moins 8 attentes : non-null, valeurs bornées, regex CP, unicité ID ;
choisir et défendre vos seuils (par exemple la puissance max acceptable) ;
exécuter la suite sur le dataset ;
générer le rapport HTML (Data Docs).

Livrable : suite de validations + rapport HTML exécutable. Le barème donne 20 points à « Pipeline + rapport HTML » (Great Expectations ou Soda). Great Expectations et Soda Core sont les outils cités ; ici nous imitons le principe en Python pur.

Vérifie que tu as compris

Combien d'attentes minimum le TP demande-t-il ?

À toi de coder

Écrire des attentes de qualité

Great Expectations formule des « attentes » : non-null, valeurs bornées, regex, unicité. Voici trois attentes écrites en Python pur (imitation simplifiée, hors cours). Complète attente_non_null : elle doit renvoyer True si aucune valeur de la colonne n'est None.

LIGNES = [
    {"id": "FR1", "cp": "75001", "kw": 22},
    {"id": "FR2", "cp": "6900", "kw": 50},
    {"id": "FR3", "cp": None, "kw": 11000},
    {"id": "FR1", "cp": "13001", "kw": 7},
]

def attente_non_null(lignes, col):
    return all(l[col] is ___ None for l in lignes)

def attente_entre(lignes, col, mini, maxi):
    return all(mini <= l[col] <= maxi for l in lignes)

def attente_unique(lignes, col):
    vals = [l[col] for l in lignes]
    return len(vals) == len(set(vals))

Ctrl/⌘+Entrée

Chaque attente est un test booléen sur une colonne. Les familles vues dans le TP :

Famille	Exemple
non-null	aucune puissance manquante
valeurs bornées	puissance entre 0 et un seuil
regex	code postal à 5 chiffres
unicité	identifiant de borne unique

À toi de coder

Attente sur le format du code postal

Le TP demande une attente « regex CP ». Complète attente_regex(lignes, col, motif) : True seulement si toutes les valeurs de la colonne sont non nulles et respectent entièrement le motif (re.fullmatch, re déjà importé).

LIGNES = [
    {"id": "FR1", "cp": "75001", "kw": 22},
    {"id": "FR2", "cp": "6900", "kw": 50},
    {"id": "FR3", "cp": None, "kw": 11000},
    {"id": "FR1", "cp": "13001", "kw": 7},
]

def attente_regex(lignes, col, motif):
    return all(l[col] is not None and re.fullmatch(motif, l[col]) is ___ None for l in lignes)

Ctrl/⌘+Entrée

Vérifie que tu as compris

Une attente d'unicité sur id_pdc_itinerance échoue sur le fichier IRVE brut. Pourquoi ?

À toi de coder

Exécuter une suite de validations

Une suite exécute toutes les attentes et résume le résultat (comme le rapport Data Docs). Complète suite(lignes, attentes) : attentes est un dict {nom: fonction} ; la fonction renvoie le dict {nom: bool} et un booléen global (tout doit réussir).

LIGNES = [
    {"id": "FR1", "cp": "75001", "kw": 22},
    {"id": "FR2", "cp": "6900", "kw": 50},
    {"id": "FR3", "cp": None, "kw": 11000},
    {"id": "FR1", "cp": "13001", "kw": 7},
]

def attente_entre(lignes, col, mini, maxi):
    return all(l[col] is not None and mini <= l[col] <= maxi for l in lignes)

def suite(lignes, attentes):
    resultats = {nom: f(lignes) for nom, f in attentes.items()}
    return resultats, all(resultats.___())

Ctrl/⌘+Entrée

Les seuils sont un choix à défendre (« puissance max acceptable ») : trop bas, ils rejettent des bornes réelles très puissantes ; trop hauts, ils laissent passer des erreurs d'unité.