Capsule 3 - Matrice de confusion

MQT-2101 - Analyse et modélisation des données

Pourquoi ça compte

Une décision de ciblage crée des erreurs différentes, pas seulement un pourcentage global.

Que se passe-t-il après le choix d’un seuil?

Le seuil crée des vrais positifs, faux positifs, vrais négatifs et faux négatifs. Les mesures doivent correspondre au coût de ces erreurs.

Objectifs de la capsule

  • Construire une matrice de confusion.
  • Interpréter sensibilité, spécificité et précision.
  • Calculer les mesures adaptées aux deux types d’erreur.

L’exactitude seule masque les départs manqués

  • La sensibilité mesure les départs détectés.
  • La spécificité mesure les non-départs écartés.
  • La précision décrit la part des clients ciblés qui partent réellement.

Construire la matrice de confusion

seuil <- 0.30
prediction <- as.integer(probabilite >= seuil)
table(observe = test$depart_90j, predit = prediction)
       predit
observe  0  1
      0 64 27
      1 13 27
tibble(
  sensibilite = sum(prediction == 1 & test$depart_90j == 1) / sum(test$depart_90j == 1),
  precision = sum(prediction == 1 & test$depart_90j == 1) / sum(prediction == 1)
)
# A tibble: 1 × 2
  sensibilite precision
        <dbl>     <dbl>
1       0.675       0.5

Le coût d’un départ non détecté

Avec une classe positive minoritaire, prédire toujours la classe majoritaire peut donner une exactitude élevée tout en ratant les clients à retenir.

L’exactitude favorise la classe majoritaire

Rapporter seulement l’exactitude peut masquer une méthode incapable de détecter la classe positive.

À retenir

1

La matrice montre le type d’erreur.

2

La mesure choisie doit servir la décision.

3

La décision reste liée aux données disponibles.

Production autonome 10.3

Nommez l’erreur associée à un client qui part sans être ciblé et son coût possible.

Auto-vérification

  • J’ai défini la classe positive et la période test.
  • J’ai rapporté les deux types d’erreur, pas seulement l’exactitude.
  • Ma règle respecte la capacité et évite une interprétation individuelle certaine.