Partie 3 · Export et synthèse

Exporter un jeu exploitable et enchaîner les étapes

Exporter

Format	pandas	Python pur
CSV	`.to_csv(chemin, sep=';', index=False)`	`csv.DictWriter(f, fieldnames, delimiter=';')`
Excel	`.to_excel()` ; plusieurs onglets via `ExcelWriter`	hors bibliothèque standard
JSON	`.to_json(orient=...)` (par lignes, colonnes, index)	`json.dumps(liste_de_dicts)`

index=False évite d'exporter l'index comme colonne sans nom ; sep compte si le destinataire n'utilise pas la virgule (par défaut). Bonnes pratiques : noms de colonnes standardisés (minuscules, sans espaces ni caractères spéciaux) et compréhensibles, types corrects (dates bien formatées, numériques sans erreurs), colonnes pertinentes, et documentation (origine, nettoyage, définition des colonnes). Renommer : .rename(columns={'Valeur': 'montant_transaction'}), après une copie (.copy()) pour ne pas toucher l'original.

Vérifie que tu as compris

Pourquoi exporter avec index=False ?

À toi de coder

Exporter en CSV au point-virgule

Standardise les noms de colonnes (minuscules, sans espaces), puis écris le CSV avec ; comme séparateur dans un tampon mémoire (io.StringIO, à la place d'un fichier). Relis-le pour vérifier l'en-tête.

import csv, io
brut = [{"Nom Client": "Alice", "Valeur": 10}, {"Nom Client": "Bob", "Valeur": 20}]
propre = [{k.lower().replace(" ", "___"): v for k, v in l.items()} for l in brut]
tampon = io.StringIO()
w = csv.DictWriter(tampon, fieldnames=list(propre[0]), delimiter="___", lineterminator="\n")
w.writeheader()
w.writerows(propre)
texte = tampon.getvalue()

Ctrl/⌘+Entrée

Les TP de synthèse : tout enchaîner

Le TP population demande de préparer, puis d'analyser : charger deux fichiers (population.csv avec les populations des communes pour plusieurs années de recensement, noms_communes.csv avec le rapprochement code → nom), forcer codgeo en string, ignorer des lignes avec skiprows, décrire (lignes, colonnes, manquants), joindre, supprimer les colonnes constantes ou inutiles, traiter aberrantes et manquantes, sélectionner l'année 2020, supprimer les doublons, créer le département avec df['colonne'].str[:2], renommer. En annexe : joindre les superficies et calculer la densité (habitants / superficie), puis chercher les départements les plus denses.

Le TP de synthèse « animaux » pose des questions d'analyse : nombre d'espèces, familles les plus représentées, modes d'alimentation fréquents, part de strictement végétariens, couleurs les plus fréquentes, poids maximum par famille, espèces sans prédateur renseigné… Chaque question se ramène à une brique de ce cours : nunique, value_counts, masque + proportion, groupby().max(), isnull.

Les données des exercices ci-dessous sont des exemples ajoutés (petits extraits inventés) : la méthode est celle du TP, pas ses fichiers. Sur un code commune, str[:2] donne le département métropolitain mais pas pour la Corse (2A/2B s'écrivent aussi sur 2 caractères) ni les départements d'outre-mer à trois chiffres (hors cours).

À toi de coder

Mini TP population : joindre, filtrer, agréger

Reproduis l'enchaînement du TP sur un petit extrait (exemple ajouté) : (1) jointure du nom de commune via codgeo (gardes les lignes de population dont le code existe dans noms) ; (2) conserver l'année 2020 ; (3) créer dep avec les deux premiers caractères du code ; (4) population totale par département ; (5) densité d'un département = population / superficie. Les codes restent des chaînes.

pop = [
    {"codgeo": "01001", "annee": 2019, "pop": 780},
    {"codgeo": "01001", "annee": 2020, "pop": 800},
    {"codgeo": "01002", "annee": 2020, "pop": 200},
    {"codgeo": "75056", "annee": 2020, "pop": 2100},
    {"codgeo": "99999", "annee": 2020, "pop": 50},
]
noms = {"01001": "L'Abergement", "01002": "Abergement-de-Varambon", "75056": "Paris"}
superficie = {"01": 5762, "75": 105}

joint = [{**l, "commune": noms[l["codgeo"]]} for l in pop if l["codgeo"] ___ noms]
a2020 = [l for l in joint if l["annee"] == ___]
for l in a2020:
    l["dep"] = l["codgeo"][:___]
total = {}
for l in a2020:
    total[l["dep"]] = total.get(l["dep"], 0) + l["pop"]
densite_75 = total["75"] / superficie["75"]

Ctrl/⌘+Entrée

À toi de coder

Questions d'analyse type synthèse

Sur un extrait inventé d'animaux (exemple ajouté), réponds à quatre questions du TP de synthèse : nombre d'espèces distinctes, famille la plus représentée, part d'espèces strictement végétariennes (régime 'herbivore') et poids maximum par famille.

from collections import Counter
animaux = [
    {"espece": "Lion", "famille": "Félidés", "regime": "carnivore", "poids": 190},
    {"espece": "Tigre", "famille": "Félidés", "regime": "carnivore", "poids": 220},
    {"espece": "Zèbre", "famille": "Équidés", "regime": "herbivore", "poids": 350},
    {"espece": "Cheval", "famille": "Équidés", "regime": "herbivore", "poids": 500},
    {"espece": "Ours", "famille": "Ursidés", "regime": "omnivore", "poids": 300},
]
nb_especes = len(___(a["espece"] for a in animaux))
famille_top = Counter(a["famille"] for a in animaux).most_common(1)[0][___]
part_vegetariens = sum(1 for a in animaux if a["regime"] == "herbivore") / ___(animaux)
poids_max = {}
for a in animaux:
    poids_max[a["famille"]] = max(poids_max.get(a["famille"], 0), a["poids"])

Ctrl/⌘+Entrée