Comprendre une relation

Le fil de la matinée

Ce que vous produirez

À 12 h 15, chaque équipe aura produit une fiche modèle de cinq phrases:

1. la question étudiée;
2. le modèle retenu;
3. le principal résultat conditionnel;
4. le diagnostic qui nuance ce résultat;
5. la limite qui encadre son utilisation.

Une relation visible, mais pas encore comprise

Trois usages, trois critères de réussite

L’unité statistique fixe la portée

• 2930 ventes résidentielles
• 28 quartiers codés
• une période de 2006 à 2010 dans le jeu original

Une ligne n’est ni une personne, ni un quartier, ni la valeur actuelle d’une propriété.

Le prix brut est asymétrique

Médiane: $160,000

Le type d’une variable détermine son rôle dans le modèle

Raisons défendables: connaissance du problème, preuve graphique, contrôle d’un facteur et interprétabilité.

Simple et multiple ne répondent pas à la même question

Régression simple:

\[ \text{prix} = \beta_0 + \beta_1\text{surface} + \varepsilon \]

Régression multiple:

\[ \text{prix} = \beta_0 + \beta_1\text{surface} + \beta_2\text{qualité} + \beta_3\text{année} + \beta_4\text{garage} + \varepsilon \]

Les moindres carrés choisissent la droite qui réduit les erreurs

Pour chaque vente:

\[ \text{résidu}_i = y_i - \widehat{y}_i \]

lm() choisit les coefficients qui minimisent:

\[ \sum_{i=1}^{n}(y_i-\widehat{y}_i)^2. \]

Les grandes erreurs comptent davantage parce qu’elles sont élevées au carré.

Débrief de la mission 1

Modèle commun retenu:

modele_prix <- lm(
  sale_price ~ gr_liv_area + overall_qual +
    year_built + garage_cars,
  data = ames
)

Verdict attendu:

1. une ligne est une vente;
2. l’objectif initial est l’association conditionnelle;
3. les quatre variables sont lisibles, plausibles et imparfaites.

Le modèle est une moyenne conditionnelle

\[ E(Y_i \mid X_i) = \beta_0 + \beta_1 X_{i1} + \cdots + \beta_4 X_{i4} \]

Chaque coefficient représente une différence moyenne attendue lorsque les autres variables du modèle sont maintenues constantes.

Cette phrase ne signifie pas:

1. que les propriétés sont identiques sur tout;
2. que toutes les variables importantes sont incluses;
3. que la relation est causale.

Ajuster avec lm()

modele_prix <- lm(
  sale_price ~ gr_liv_area + overall_qual +
    year_built + garage_cars,
  data = ames
)

tidy(modele_prix, conf.int = TRUE)

# A tibble: 5 × 7
  term          estimate std.error statistic   p.value  conf.low conf.high
  <chr>            <dbl>     <dbl>     <dbl>     <dbl>     <dbl>     <dbl>
1 (Intercept)  -820149.   60058.       -13.7 3.32e- 41 -937908.  -702389. 
2 gr_liv_area       57.3      1.82      31.5 4.59e-188      53.7      60.8
3 overall_qual   23960.     777.        30.8 3.85e-181   22437.    25483. 
4 year_built       377.      31.6       11.9 4.17e- 32     315.      439. 
5 garage_cars    14723.    1275.        11.5 3.43e- 30   12223.    17223. 

glance(modele_prix)

# A tibble: 1 × 12
  r.squared adj.r.squared  sigma statistic p.value    df  logLik    AIC    BIC
      <dbl>         <dbl>  <dbl>     <dbl>   <dbl> <dbl>   <dbl>  <dbl>  <dbl>
1     0.765         0.765 38761.     2379.       0     4 -35111. 70234. 70270.
# ℹ 3 more variables: deviance <dbl>, df.residual <int>, nobs <int>

tidy() lit les coefficients. glance() résume le modèle entier.

Quatre associations positives

R carré ajusté: 0.765

Lire le coefficient de surface

Coefficient: $57.3 par pied carré.

Interprétation utile:

À qualité, année de construction et capacité du garage identiques, 100 pieds carrés supplémentaires sont associés en moyenne à environ $5,727 de plus sur le prix.

Le coefficient ne dit pas que l’ajout de 100 pieds carrés causerait ce gain.

Lire le coefficient de qualité

Coefficient: $23,960 par point.

À surface, année de construction et capacité du garage identiques, un point supplémentaire de qualité globale est associé en moyenne à environ $23,960 de plus.

Réserve: le codage 1 à 10 suppose le même incrément moyen entre tous les niveaux successifs.

Significatif, important et utile sont trois jugements distincts

Colinéarité: les prédicteurs se répètent-ils?

Ici, les VIF restent modérés. Cela ne valide pas les autres hypothèses du modèle.

Deux intervalles pour deux questions

Le second est plus large car il combine:

1. l’incertitude sur la moyenne;
2. la variabilité individuelle autour de cette moyenne.

Une propriété type

1 500 pieds carrés, qualité 6, construite en 2000, garage de deux places.

       fit      lwr      upr
1 192778.7 190525.4 195031.9

       fit    lwr      upr
1 192778.7 116744 268813.3

Débrief de la mission 2

L’écart ajusté est d’environ $21,200, mais les caractéristiques poussent dans des directions opposées et l’incertitude individuelle reste large.

Les hypothèses ne protègent pas toutes la même conclusion

La normalité concerne les erreurs, pas la distribution brute du prix.

Les résidus révèlent une structure

Le QQ-plot examine les queues

L’écart dans les queues concerne surtout l’inférence et les intervalles, pas l’existence même d’une association.

Influence: un signal à enquêter

La vente 1499 est inhabituelle. Elle n’est pas automatiquement erronée.

Sensibilité: avec et sans la vente la plus influente

Le logarithme change le diagnostic et la question

Restitution éclair

Chaque équipe dispose de 45 secondes:

1. notre résultat principal;
2. le diagnostic qui a changé notre lecture;
3. ce que nous ne dirions pas.

Les autres équipes peuvent seulement ajouter une nuance ou poser une question.

Sept questions à emporter

1. Quelle est l’unité statistique?
2. Quel est l’objectif: expliquer ou prédire?
3. Pourquoi chaque variable est-elle dans le modèle?
4. Les coefficients gardent-ils leurs unités et leurs conditions?
5. Que montrent les résidus et l’influence?
6. Pour prédire, l’erreur a-t-elle été évaluée sur des données non utilisées pour ajuster?
7. La conclusion dépasse-t-elle les données?

À 12 h 15, votre modèle doit être défendable

Un modèle utile relie:

1. une question précise;
2. une comparaison conditionnelle;
3. une incertitude visible;
4. un diagnostic;
5. une limite explicite.