[1] 7237.256Capsule 4 - Comparer plusieurs modèles
MQT-2101 - Analyse et modélisation des données
Pourquoi ça compte
Le modèle le plus souple prédit-il mieux les mois suivants?
Une courbe peut réduire les résidus d’apprentissage sans mieux prédire. Les mêmes mois de validation doivent servir à comparer tous les candidats.
Objectifs de la capsule
- Séparer apprentissage et validation.
- Calculer et interpréter la RMSE.
- Croiser erreurs, résidus et simplicité.
Apprendre, comparer, confirmer
Apprendre
ajuster les coefficients sur janvier à septembre
Comparer
prédire octobre à décembre sans réajuster
Confirmer
prévoir de nouvelles données pour évaluer le choix final
Les mois utilisés pour choisir le modèle deviennent un ensemble de validation; ils ne constituent plus un test final indépendant.
Lire la RMSE
\[\mathrm{RMSE}=\bigl[n^{-1}\sum_{i=1}^{n}(y_i-\widehat{y}_i)^2\bigr]^{1/2}\]
- Racine de la moyenne des erreurs au carré.
- Même unité que la réponse : dollars ici.
- Les grandes erreurs pèsent davantage.
Un calcul à la main
Erreurs : −2, 1 et 2. Moyenne des carrés : (4 + 1 + 4) / 3 = 3. RMSE = √3 ≈ 1,73.
La moyenne signée vaut 0,33 : ce n’est pas la RMSE.
Calculer sur les mêmes mois
Aucun coefficient n’est réajusté sur les mois de validation.
Comparer les résultats
Les RMSE sont exprimées en dollars.
| Modèle | R² apprentissage | RMSE apprentissage | RMSE validation |
|---|---|---|---|
| Linéaire | 0,783 | 8 707 | 10 155 |
| Quadratique | 0,825 | 7 817 | 7 237 |
| Logarithmique | 0,819 | 7 940 | 8 409 |
Le plus grand R² ne suffit pas
- R² résume l’ajustement sur l’apprentissage.
- Ajouter x² ne peut pas réduire le R² sur les mêmes lignes.
- Le R² ajusté pénalise les paramètres supplémentaires.
- Aucun des deux ne remplace l’erreur de validation.
Examiner les résidus
Un choix provisoire
La quadratique a la plus faible RMSE de validation : 7 237 $, contre 10 155 $ pour la droite.
18 observations seulement, regroupées dans six succursales. Deux achalandages de validation dépassent le maximum d’apprentissage. Le classement peut varier sur une autre période.
À retenir
Même base
comparaison équitable
Validation
observations non utilisées pour ajuster
Prudence
un classement provisoire
Production autonome 4.4
Construisez un tableau avec le R² d’apprentissage et les RMSE d’apprentissage et de validation des trois modèles. Proposez un choix provisoire et deux limites.
Auto-vérification
- Le R² porte sur l’apprentissage.
- La RMSE de validation utilise octobre à décembre.
- Je ne présente pas ce choix comme une performance finale indépendante.
