Partie 1 · Pourquoi préparer
Préparer les données : le vrai travail du data scientist
Avant d'analyser ou d'entraîner un modèle, il faut des données propres et cohérentes. Le cours donne la règle des 80/20 : on estime que 80 % du temps d'un data scientist est consacré à la préparation et au nettoyage.
Collecte→Stockage→Préparation (80 % du temps)→Analyse / modèle→Restitution
Schéma simplifié de la chaîne de valeur de la donnée (illustration ajoutée).
Pourquoi tant d'efforts ? Parce que la qualité des résultats dépend directement de la qualité des données d'entrée : « Garbage In, Garbage Out ». Des données de mauvaise qualité mènent inéluctablement à des conclusions ou des modèles erronés.
Vérifie que tu as compris
Que dit la règle des 80/20 du cours ?
Code ou no-code ?
| Type d'outil | Avantages | Inconvénients |
|---|---|---|
| Code (Python, R, Scala) | Flexibilité totale, reproductibilité et traçabilité, intégration aisée dans des pipelines de production | Courbe d'apprentissage plus raide, développement initial plus long |
| No-code (ex. Dataiku DSS) | Glisser-déposer, rapide pour les tâches standard, accessible aux non-développeurs | Personnalisation limitée, dépendance à l'éditeur et aux licences |
| Low-code | Interface visuelle et possibilité d'insérer du code | Dépendance à l'éditeur, cadre semi-rigide |
Vérifie que tu as compris
Quel est un avantage des outils de code (Python, R, Scala) cité par le cours ?
Pourquoi Python et pandas ?
- Python est le langage de référence de la data science et du machine learning (Scikit-learn, Matplotlib…).
- pandas manipule des données tabulaires en mémoire, idéal pour des jeux de taille moyenne (< 10 Go), avec l'objet
DataFrame. - SQL excelle sur les opérations normées (jointures, filtres) ; pandas gère mieux les types complexes (objets, datetime), les fonctions personnalisées (UDF) et s'intègre aux librairies Python.
- Spark est un calcul distribué sur cluster, indispensable pour de très gros volumes ; pandas reste plus simple et très rapide pour l'exploration (EDA) et le prototypage. Dask et Polars ont une syntaxe proche de pandas avec une meilleure gestion mémoire / parallélisme, mais sont moins souples.
Dans ce site : pas de pandas ici, mais du Python pur (listes de dictionnaires,
csv, collections, statistics). Les idées sont les mêmes : valeurs manquantes, doublons, formats, jointures, agrégations. On indique à chaque fois l'équivalent pandas.Vérifie que tu as compris
Pour des données massives qui ne tiennent pas sur une machine, quel outil le cours désigne-t-il ?