Capsule 4 - Comparer équitablement

MQT-2101 - Analyse et modélisation des données

Pourquoi ça compte

Une comparaison de méthodes doit être équitable avant d’être impressionnante.

Qu’est-ce qui doit rester identique entre les méthodes?

La même origine, le même horizon, la même période de validation et les mêmes mesures sont nécessaires pour attribuer une différence à la méthode plutôt qu’au protocole.

Objectifs de la capsule

  • Construire une période de validation commune.
  • Choisir une méthode selon l’erreur et l’usage.
  • Défendre un choix de méthode avec un protocole commun.

Un gain de 1 % peut coûter trop cher

Une réduction de MAE de 1 % peut ne pas justifier un outil coûteux ou fragile.

Comparer quatre méthodes sur les mêmes semaines

previsions <- test |>
  transmute(
    observe = demande,
    naive = tail(train$demande, 1),
    moyenne_4 = mean(tail(train$demande, 4)),
    SES = as.numeric(forecast::ses(serie, h = horizon)$mean),
    Holt = as.numeric(forecast::holt(serie, h = horizon, damped = TRUE)$mean)
  )
previsions |>
  pivot_longer(-observe, names_to = "methode", values_to = "prevision") |>
  group_by(methode) |>
  summarise(
    MAE = mean(abs(observe - prevision)),
    RMSE = sqrt(mean((observe - prevision)^2)),
    .groups = "drop"
  ) |>
  arrange(MAE)
# A tibble: 4 × 3
  methode     MAE  RMSE
  <chr>     <dbl> <dbl>
1 moyenne_4  100.  128.
2 SES        114.  144.
3 Holt       152.  189.
4 naive      185.  209.

Le protocole commun précède le classement

  • Toutes les méthodes prédisent les mêmes semaines.
  • Le classement numérique ne suffit pas.
  • La stabilité et le coût de maintenance comptent.

Changer d’horizon invalide la comparaison

Comparer les erreurs sur des horizons ou des semaines différents invalide le classement.

À retenir

1

Comparer d’abord à protocole constant.

2

Choisir ensuite la solution qui sert réellement la décision.

3

La décision reste liée aux données disponibles.

Production autonome 7.4

Formulez une décision prudente lorsqu’une méthode améliore peu la MAE mais augmente fortement les coûts de maintenance.

Auto-vérification

  • Toutes les méthodes utilisent la même période de validation.
  • J’ai interprété l’erreur dans son unité.
  • J’ai relié le résultat à une décision et à une limite.