Projet intégrateur: une fiche de modèle défendable
Relier question, données, validation, décision et limites
Le mandat
En équipe de trois ou quatre, préparez une fiche d’une page qui permet à une personne extérieure au projet de comprendre ce que votre modèle peut soutenir, ce qu’il ne peut pas soutenir et comment vous avez vérifié sa performance.
Ce projet est une activité de synthèse de l’atelier. Il ne constitue pas une évaluation officielle de l’EIOM.
Choisir une mission
Mission 1: comprendre une association
Utilisez les données immobilières d’Ames. Formulez une question portant sur l’association entre le prix de vente et au moins deux caractéristiques des propriétés. Précisez si votre objectif principal est l’interprétation des associations ou la prédiction de nouvelles ventes.
Exemples de résultats possibles:
fréquentation totale en tenant compte de la population desservie;
prêts totaux en tenant compte de la population desservie;
participation aux activités;
ressources numériques.
Mission 2: estimer une probabilité
Utilisez l’échantillon des requêtes 311 de Montréal. Estimez, avec les renseignements disponibles à la création, la probabilité qu’une demande ne soit pas terminée dans les sept jours. Proposez ensuite un seuil adapté à un scénario de suivi préventif explicite.
Mission 3: comparer des modèles
Comparez la régression logistique, un arbre et une forêt aléatoire avec les mêmes fenêtres temporelles et les mêmes mesures. Recommandez une approche en tenant compte de la performance, de l’interprétabilité, de la dérive et du coût de surveillance.
Canevas de la fiche
1. Question
Complétez la phrase:
Nous voulons utiliser les informations disponibles au moment de ______ pour ______ auprès de ______.
Précisez si l’objectif est descriptif, explicatif ou prédictif.
2. Données
Indiquez:
la source et l’année;
l’unité d’observation;
le nombre d’observations utilisées;
le résultat d’intérêt;
les variables prédictives;
les valeurs manquantes ou regroupements effectués;
une limite de représentativité.
3. Protocole
Montrez le chemin suivi.
flowchart LR A[Question] --> B[Données] B --> C[Prétraitement] C --> D[Entraînement] D --> E[Validation] E --> F[Décision] F --> G[Surveillance]
flowchart LR
A[Question] --> B[Données]
B --> C[Prétraitement]
C --> D[Entraînement]
D --> E[Validation]
E --> F[Décision]
F --> G[Surveillance]
Pour une analyse prédictive, indiquez clairement ce qui a été appris dans les données d’entraînement et ce qui a été mesuré hors échantillon.
4. Résultats
Présentez:
une figure principale;
deux mesures pertinentes;
une phrase d’interprétation sur l’échelle utile;
l’incertitude ou la variabilité observée.
Une mesure ne suffit pas à elle seule. Expliquez pourquoi les mesures retenues correspondent au mandat.
5. Décision
Formulez une recommandation conditionnelle:
Dans ce contexte, nous recommandons ______ parce que ______, à condition de ______.
6. Limites et surveillance
Nommez au moins:
une limite des données;
une limite du modèle;
un risque de mauvaise interprétation;
un indicateur à surveiller après déploiement ou réutilisation.
Critères de réussite
La fiche est prête si une autre équipe peut répondre oui aux questions suivantes.
Question
Oui
À revoir
L’objectif du modèle est-il explicite?
☐
☐
L’unité d’observation est-elle claire?
☐
☐
Le protocole évite-t-il la fuite d’information?
☐
☐
Les mesures correspondent-elles au mandat?
☐
☐
La figure peut-elle être comprise sans explication orale?
☐
☐
La recommandation distingue-t-elle association, prédiction et causalité?
☐
☐
Les limites sont-elles concrètes?
☐
☐
Une condition de révision du modèle est-elle proposée?
☐
☐
Déroulement de la restitution
Chaque équipe dispose de trois minutes:
30 secondes pour la question et les données;
60 secondes pour le protocole;
60 secondes pour les résultats et la décision;
30 secondes pour la limite la plus importante.
L’équipe qui écoute pose ensuite une seule question de vérification. Elle doit porter sur les données, la validation, le seuil ou la portée de l’interprétation.
Après l’atelier
Conservez la fiche comme modèle de documentation. Pour un vrai projet, ajoutez l’historique des versions, la personne responsable, la date de révision prévue et les conséquences connues d’une erreur de prédiction.