Méthodes d'évaluation d'impact

Chaque bloc « rapportez-le en entier » de Régression appliquée aux données de programme se termine par la même phrase : observationnel, les groupes n’ont pas été randomisés. Voici le cours qui dit ce qu’il faudrait pour la supprimer.

Tout tient dans une question posée trois fois au même fichier.

Les scores de littératie ont monté de 7,0 points sur l’année scolaire. En appariement, sur 585 enfants, intervalle +6,1 à +7,9. Un document de programme appellerait cela l’effet de la cantine scolaire.

Les écoles avec cantine terminent l’année 2,1 points devant les écoles sans. Intervalle −1,2 à +5,4. Un autre document appellerait cela l’effet.

Les deux groupes ont progressé, et les écoles sans cantine ont progressé davantage. Avec cantine +6,7, sans +7,6, si bien que l’estimation en différences de différences vaut −0,96 point, avec un intervalle groupé par école de −3,5 à +1,6. Il n’y a ici aucun effet à rapporter, et les deux premiers nombres sont l’année scolaire et un écart préexistant déguisés en effet.

Trois autres résultats structurent le cours.

Quinze écoles ont le programme et neuf non, et elles n’étaient pas comparables au départ. La différence standardisée de littératie initiale vaut 0,85, contre le 0,1 que tolérerait un essai randomisé. Les six caractéristiques sont toutes déséquilibrées, et le Centre comme le Nord-Ouest comptent cinq écoles avec cantine pour une sans.

L’appariement améliore l’équilibre en jetant 40 % du groupe traité. Neuf écoles témoins peuvent absorber neuf écoles traitées ; les six écartées sont les six aux scores initiaux les plus élevés, et l’estimation qui survit ne vaut que pour les écoles restantes.

Ce protocole n’aurait jamais pu détecter moins de 4,9 points. Avec une corrélation intra-classe de 0,065 et cinquante enfants par école, 24 grappes achètent un effet minimal détectable de 4,9 points là où les mêmes 1 200 enfants randomisés individuellement en auraient acheté 2,3. Ce nombre était fixé avant qu’un seul enfant soit mesuré.

Python et R tout du long. Il vous faut Régression appliquée aux données de programme d’abord — ce cours ne consacre aucun temps à la façon d’ajuster un modèle et tout son temps à la comparaison que le modèle a le droit d’être.