Exercices - Atelier 04
Préparation
Le guide de récapitulation utilise un cas mensuel de succursales. Les exercices utilisent plutôt des profils de fidélisation afin de vérifier le transfert vers une nouvelle unité d’observation et une nouvelle décision.
Jeu de données de transfert : fidelisation_clients_quebec.csv.
Exercice 1 - Aligner question et mesure
Associez chaque question à une cible, à une séparation de validation et à deux mesures :
- estimer la valeur mensuelle moyenne des contrats;
- prévoir un départ dans les 90 jours;
- classer seulement les 15 % de clients les plus prioritaires;
- vérifier si la performance diffère selon le type de contrat.
Expliquez pourquoi la MAE ne convient pas directement à la deuxième question et pourquoi l’exactitude seule ne répond pas à la troisième.
Exercice 2 - Critiquer une conclusion
Le coefficient du contrat mensuel est positif dans le modèle de départ. Il faut donc convertir tous les clients aux contrats annuels pour empêcher les départs.
Relevez au moins quatre problèmes concernant causalité, faisabilité, sélection des clients, coûts et validité future. Réécrivez la conclusion comme une action de validation limitée.
Exercice 3 - Critiquer une classification
Deux modèles ont la même exactitude. Le premier détecte 75 % des départs et cible 30 % des clients. Le second détecte 55 % des départs et cible 12 % des clients.
Choisissez un modèle dans chacun des contextes suivants :
- l’équipe peut contacter 15 % des clients;
- un départ non détecté coûte beaucoup plus cher qu’un contact inutile.
Nommez l’information manquante avant une décision définitive.
Exercice 4 - Plan de mise à jour
Proposez :
- une fréquence de mesure de la sensibilité et de la précision;
- une vérification de calibration des probabilités;
- une comparaison par type de contrat;
- un indicateur de dérive des variables;
- un déclencheur de réentraînement;
- une règle suspendant le ciblage si les données deviennent incomplètes.
Exercice de synthèse
Rédigez une fiche de gouvernance de modèle en six rubriques : objectif, données, validation, décision, surveillance et limites. Le livrable doit être indépendant du cas de succursales traité pendant l’atelier.