Module 4 - Plan d’apprentissage

STT-1100 Introduction à la science des données

Objectifs du module

À la fin de ce module, vous devriez être capable de:

• importer des fichiers délimités, Excel et JSON avec les bons outils;
• vérifier les dimensions, les noms de colonnes et les types après importation;
• nettoyer des noms de colonnes, des valeurs manquantes codées et des montants textuels;
• recoder des catégories avec stringr et forcats;
• transformer des tableaux entre formats long et large;
• transformer une liste ou un JSON simple en tableau;
• documenter une décision de nettoyage dans une liste structurée.

Lectures à faire

Ces lectures préparent les gestes du module: importer, nettoyer, transformer et documenter.

• R for Data Science - Data import Pour importer des fichiers rectangulaires, contrôler les types et repérer les problèmes d’importation.

• Documentation readr::read_delim() Pour comprendre le rôle du séparateur, très important lorsque le fichier n’est pas séparé par des virgules.

• R for Data Science - Data tidying Pour revoir la logique des données tidy et les transformations long-large.

• R for Data Science - Missing values Pour distinguer les valeurs manquantes explicites, les valeurs codées comme manquantes et les valeurs implicites.

• R for Data Science - Factors Pour recoder, regrouper et ordonner des variables catégoriques.

• R for Data Science - Spreadsheets Pour importer des fichiers Excel et sélectionner une feuille précise.

• R for Data Science - Hierarchical data Pour comprendre les listes, les données imbriquées et les premiers gestes de rectangling.

Aide-mémoires Posit

• Data import with the tidyverse :: Cheatsheet Référence rapide pour importer des fichiers délimités et Excel.

• Data tidying with tidyr :: Cheatsheet Transformations long-large et manipulation de tableaux imbriqués.

• String manipulation with stringr :: Cheatsheet Nettoyage de chaînes et détection de motifs.

• Factors with forcats :: Cheatsheet Nettoyage et regroupement de modalités.

• Data transformation with dplyr :: Cheatsheet Inspection, filtrage, transformation et résumés de tableaux.

Après les lectures, faites le mini-test formatif. Il n’est pas noté; il sert seulement à vérifier les notions de base avant l’aventure.

Aventure

Aventure 4

Vous jouez le rôle d’un ou d’une ingénieur·e de données junior. L’aventure vous guide dans l’importation d’une archive d’assurance, la détection d’anomalies et la documentation des décisions de nettoyage.

Défi

Défi 4

Le défi est la suite directe de l’aventure. Vous travaillez dans le même univers d’assurance, avec davantage d’autonomie, pour produire:

• defi_04.qmd;
• donnees_propres.csv;
• journal_nettoyage.Rdata.

Le but n’est pas de corriger tout ce qui est discutable. Le but est de montrer que vos corrections sont prudentes, reproductibles et documentées.

Exercices de consolidation

Exercices du module 4

Les exercices sont indépendants de l’aventure et du défi. Ils utilisent d’autres jeux de données, fictifs ou publics, pour consolider les compétences techniques:

1. importer des fichiers CSV, Excel et JSON;
2. nettoyer des types, des noms et des valeurs manquantes;
3. recoder des catégories;
4. manipuler des listes et des fichiers JSON;
5. documenter des décisions de nettoyage dans une liste.

La série se termine par deux études de cas autonomes: l’aide financière de dernier recours au Québec et les installations sportives et récréatives de Sherbrooke, à partir de données publiques agrégées ou municipales.