Partie 1 · Mesurer

Cohérence, exactitude et fraîcheur

Les trois dernières dimensions se ressemblent mais ne mesurent pas la même chose.

Dimension	Exemple IRVE	Chiffre du TP
Cohérence	libellés corrompus « Accčs libre » (encodage), casse des communes	~2 050 libellés, 4 variantes
Exactitude	coordonnées fausses, flag `lon_lat_correct = False`	81 724 géolocalisations douteuses
Fraîcheur	`date_maj` ancienne	fichier mis à jour chaque jour

Vérifie que tu as compris

Quelle dimension le libellé « Accčs libre » (au lieu de « Accès libre ») met-il en défaut ?

Encodage : le TP précise que « Accčs libre » a 4 variantes. Un simple replace n'en traite qu'une : il faut traiter la cause (confusion Latin-1 / UTF-8) et non le symptôme. C'est le thème de la partie 3 : « réparer la cause, pas le symptôme ». Quant à la casse, elle se normalise (majuscules, espaces) pour que « Paris » et « PARIS » désignent la même commune.

À toi de coder

Normaliser la casse des communes

La cohérence demande que les valeurs concordent. Les communes sont écrites de plusieurs façons : "PARIS", "paris ", "Paris". Écris normaliser(communes) : renvoie la liste des communes sans espaces autour et en majuscules.

COMMUNES = ["PARIS", "paris ", "Paris", " lyon", "LYON"]

def normaliser(communes):
    return [c.___().upper() for c in communes]

Ctrl/⌘+Entrée

À toi de coder

Réparer l'encodage à la source

Le TP signale environ 2 050 libellés corrompus, comme « Accčs libre », avec 4 variantes : un simple replace n'en couvre qu'une, il faut traiter la cause (confusion d'encodage Latin-1 / UTF-8). Ici, l'octet de « è » a été lu avec la mauvaise table, ce qui donne « č ». Écris reparer(s) qui renvoie la chaîne corrigée en ré-encodant avec la table qui a été utilisée à tort (cp1250) puis en décodant en latin-1. (Cette technique précise est un exemple ajouté.)

def reparer(s):
    return s.encode("cp1250").decode("___")

Ctrl/⌘+Entrée

Exactitude et GPS : la colonne lon_lat_correct est un indicateur fourni par la source ; il vaut False sur 81 724 lignes. Que faire ? Jeter, corriger, garder ? Le TP répond : c'est une décision métier, pas de réponse unique. Le journal donne l'exemple « garder + warning » : « couverture vs fiabilité de l'appli ».

Le bonus du TP projette les points sur une carte (folium) : 226 410 bornes sont en France métropolitaine, 822 points sont hors limites et sont des anomalies à investiguer (bornes en mer, à (0,0) dans le golfe de Guinée, hors frontières). Visualiser, c'est diagnostiquer.

Vérifie que tu as compris

Que dit le TP sur les 81 724 lignes où lon_lat_correct vaut False ?

Fraîcheur : on mesure l'âge des données par rapport à une date de référence. Une borne dont date_maj date de plusieurs années est suspecte. Comme le fichier est mis à jour quotidiennement, comparer deux livraisons (ce que fait la partie 5 du TP) permet de suivre la fraîcheur dans le temps.

À toi de coder

Mesurer la fraîcheur

La fraîcheur répond à « les données sont-elles à jour ? ». Écris nb_perimees(dates, ref, max_jours) : nombre de dates (texte ISO AAAA-MM-JJ) plus anciennes que max_jours jours par rapport à la date de référence ref (texte ISO aussi). Une date à exactement max_jours n'est pas périmée.

from datetime import date

DATES = ["2024-03-01", "2023-11-15", "2024-02-20", "2022-01-01"]

def nb_perimees(dates, ref, max_jours):
    r = date.fromisoformat(ref)
    return sum(1 for d in dates if (r - date.fromisoformat(d)).days ___ max_jours)

Ctrl/⌘+Entrée