Partie 2 · Doublons

Repérer et supprimer les doublons

Une ligne dupliquée est une observation identique (ou presque) à une autre. Ignorés, les doublons faussent comptages, moyennes et jointures.

Outil	Effet
`.duplicated()`	masque booléen : première occurrence = False, suivantes = True (par défaut)
`subset=['col1','col2']`	ne compare que ces colonnes
`.drop_duplicates()`	supprime les doublons
`keep='first'` (défaut)	garde la première occurrence
`keep='last'`	garde la dernière
`keep=False`	supprime toutes les occurrences d'un doublon (aucune n'est gardée)

Dans duplicated(keep=False), toutes les occurrences, première comprise, sont marquées True : c'est ainsi qu'on affiche les lignes concernées (exercice 3 du TP).

Python pur : on mémorise les clés déjà vues dans un set (précision : un dict n'est pas hachable, on construit un tuple de valeurs).

vus, doublon = set(), []
for l in df:
    cle = tuple(l.values())      # ou tuple(l[c] for c in subset)
    doublon.append(cle in vus)   # duplicated()
    vus.add(cle)

Vérifie que tu as compris

Que marque .duplicated() par défaut comme False ?

Vérifie que tu as compris

Quelle option supprime toutes les lignes qui ont un doublon, sans en garder aucune ?

À toi de coder

duplicated et drop_duplicates à la main

Voici un jeu avec des répétitions. Calcule : masque (équivalent de duplicated() sur toutes les colonnes), sans_doublon (drop_duplicates(), on garde la première occurrence), et id_uniques (drop_duplicates(subset=['ID'])) : une ligne par ID, la première rencontrée.

df = [
    {"ID": 1, "Nom": "Alice", "Score": 10},
    {"ID": 2, "Nom": "Bob", "Score": 20},
    {"ID": 1, "Nom": "Alice", "Score": 10},
    {"ID": 3, "Nom": "Chloé", "Score": 30},
    {"ID": 2, "Nom": "Bob", "Score": 25},
]
vus = set()
masque = []
for l in df:
    cle = tuple(l.___())
    masque.append(cle in vus)
    vus.add(cle)
sans_doublon = [l for l, d in zip(df, masque) if not ___]

vus_id = set()
id_uniques = []
for l in df:
    if l["ID"] not in vus_id:
        vus_id.___(l["ID"])
        id_uniques.append(l)

Ctrl/⌘+Entrée

À toi de coder

Garder la dernière occurrence

Pour une mise à jour de score, on veut garder la dernière ligne de chaque ID (keep='last'). Astuce : un dictionnaire dont la clé est l'ID écrase les anciennes valeurs, donc garde la dernière. Puis affiche (repetes) tous les ID qui apparaissent plus d'une fois (l'équivalent de keep=False pour afficher les lignes concernées).

df = [
    {"ID": 1, "Nom": "Alice", "Score": 10},
    {"ID": 2, "Nom": "Bob", "Score": 20},
    {"ID": 1, "Nom": "Alice", "Score": 10},
    {"ID": 3, "Nom": "Chloé", "Score": 30},
    {"ID": 2, "Nom": "Bob", "Score": 25},
]
dernieres = list({l["ID"]: l for l in ___}.values())
from collections import Counter
effectifs = Counter(l["ID"] for l in df)
repetes = [l for l in df if effectifs[l["ID"]] ___ 1]

Ctrl/⌘+Entrée