Pourquoi mesurer la qualité des données

Imagine une entreprise qui veut alimenter ses tableaux de bord avec ses données clients. Si ces données sont incomplètes, dupliquées ou mal formatées, les chiffres affichés sont faux, et les décisions qui en découlent aussi. C'est le point de départ de l'exercice fil rouge du cours : améliorer la qualité des données clients avant leur utilisation dans les tableaux de bord et les analyses métiers.

Le cours utilise deux terrains de jeu :

• le jeu de données Customer Personality Analysis (Kaggle), pour l'exercice fil rouge Bronze / Silver / Gold ;
• le fichier consolidé des bornes de recharge pour véhicules électriques (IRVE) de data.gouv.fr, pour le TP : 227 232 lignes, 52 colonnes (schéma Etalab), mise à jour quotidienne, fichier CSV de 153 Mo.

Pourquoi l'IRVE ? Ce sont des données open data authentiques, agrégées depuis des dizaines d'opérateurs, donc réellement imparfaites. Un schéma officiel existe : on peut confronter la donnée aux règles attendues. Et comme le fichier change chaque jour, il est idéal pour le monitoring.

Le TP vise quatre capacités : diagnostiquer (profiler un dataset et le scorer sur les 6 dimensions de référence), décider (arbitrer chaque nettoyage et justifier un point de vue métier), automatiser (écrire un pipeline de validation et un rapport) et surveiller (comparer deux livraisons et définir des seuils d'alerte).

Voici le cadre de référence, les 6 dimensions de la qualité :