Capsule 3 - Mesurer les erreurs

MQT-2101 - Analyse et modélisation des données

Pourquoi ça compte

La meilleure erreur dépend des conséquences opérationnelles.

Que mesure MAE, RMSE et MAPE?

Les mesures résument des erreurs différentes. Il faut conserver leur unité, leur sensibilité et leur limite avant de les utiliser pour choisir une méthode.

Objectifs de la capsule

  • Calculer et interpréter MAE et RMSE.
  • Identifier la limite du MAPE près de zéro.
  • Relier chaque mesure d’erreur à une conséquence opérationnelle.

Deux erreurs moyennes peuvent cacher des risques différents

  • La MAE reste dans l’unité de la cible.
  • La RMSE pénalise les grandes erreurs.
  • Le MAPE est instable près de zéro.

Calculer MAE et RMSE dans leurs unités

prevision <- as.numeric(forecast::ses(serie, h = horizon)$mean)
erreur <- test$demande - prevision
tibble(
  mesure = c("MAE", "RMSE"),
  valeur = c(mean(abs(erreur)), sqrt(mean(erreur^2)))
)
# A tibble: 2 × 2
  mesure valeur
  <chr>   <dbl>
1 MAE      114.
2 RMSE     144.

Même MAE, mais pas le même risque

Deux méthodes peuvent avoir la même MAE. Celle qui fait une erreur extrême aura généralement une RMSE plus élevée.

La plus petite erreur n’est pas toujours la moins coûteuse

Choisir la plus petite mesure sans relier l’erreur au coût des ruptures ou des surplus donne une décision incomplète.

À retenir

1

L’erreur doit être lue avec son unité.

2

Une grande erreur peut compter plus qu’une petite amélioration moyenne.

3

La décision reste liée aux données disponibles.

Production autonome 7.3

Indiquez quelle mesure distinguera davantage deux méthodes ayant la même MAE mais des erreurs extrêmes différentes.

Auto-vérification

  • Toutes les méthodes utilisent la même période de validation.
  • J’ai interprété l’erreur dans son unité.
  • J’ai relié le résultat à une décision et à une limite.