Partie 3 · Nettoyer
Nettoyer : colonnes, valeurs manquantes, doublons, formats
Le nettoyage tient en trois nœuds enchaînés derrière le CSV Reader.
1. Column Filter : garder les colonnes utiles
Connecté au CSV Reader, il ne conserve que les colonnes pertinentes. L'énoncé en garde sept : genre, espece, hauteur_m, circonference_cm, stade_developpement, adresse, arrondissement.
2. Missing Value : traiter les valeurs manquantes
- Numériques (
hauteur_m,circonference_cm) : choisir une imputation appropriée, par exemple la moyenne ou la médiane. - Catégorielles (
stade_developpement) : remplacer par une valeur par défaut ou laisser vide, selon l'analyse souhaitée.
Vérifie que tu as compris
(hors cours) Choisir entre moyenne et médiane : la médiane résiste aux valeurs extrêmes (un arbre exceptionnellement haut tire la moyenne vers le haut), la moyenne est plus sensible. L'énoncé laisse le choix.
3. Duplicate Row Filter : supprimer les doublons
Connecté au Missing Value. On sélectionne les colonnes qui définissent l'unicité d'un arbre : adresse, genre, espece. On choisit de conserver la première occurrence : les lignes suivantes qui ont les mêmes valeurs sur ces colonnes sont écartées.
| adresse | genre | espece | Sort |
|---|---|---|---|
| 12 rue X | Platanus | x acerifolia | gardée (1re) |
| 12 rue X | Platanus | x acerifolia | doublon, retirée |
| 12 rue X | Aesculus | hippocastanum | gardée (autre arbre) |
Données inventées pour illustrer (exemple ajouté).
Vérifie que tu as compris
Et les formats ?
L'objectif pédagogique cite la normalisation des formats, mais l'énoncé ne détaille pas de nœud dédié. (hors cours) Concrètement : harmoniser la casse du texte, convertir les types (texte vers nombre) ou les unités, unifier l'écriture des catégories ; KNIME propose pour cela des nœuds tels que String Manipulation ou String to Number (noms usuels, à vérifier dans ton Node Repository). Ici, le travail de format se limite au choix de l'encodage UTF-8 et du séparateur à l'import.
L'ordre compte : colonnes, puis valeurs manquantes, puis doublons. On retire d'abord le bruit (colonnes inutiles) pour ne traiter que ce qui servira.
Vérifie que tu as compris
Vérifie que tu as compris