L'évaluation qu'on ne vous a pas demandée

La commande tient en une phrase : quel effet la cantine scolaire a-t-elle eu sur la numératie ? Les leçons ont répondu à cette question pour la littératie. Ne les relisez pas en faisant ceci — la réponse en numératie diffère de celle en littératie sur un point qui compte, et le trouver est l’objet du laboratoire.

Les fichiers

learning-assessment-2024.v1.csv, school-roster-2024.v1.csv et school-enrolment-2024.v1.csv. Les mêmes 24 écoles, les mêmes enfants, l’autre domaine.

Préparez d’abord

Un projet RStudio, les fichiers en lecture seule, un répertoire outputs/, un script qui s’exécute de bout en bout. Chaque nombre de votre rapport est imprimé par lui.

Partie un : écrivez le plan avant tout calcul

Cette partie est évaluée sur le fait d’avoir été faite en premier. Produisez plan.md — une page, datée, avec les huit sections de la leçon 7 : question, protocole, résultat, seuil d’intérêt, analyse, puissance, ce qui changerait la conclusion, ce que vous n’affirmerez pas.

Deux de ces sections ne peuvent pas être remplies depuis le seul fichier et exigent une décision :

La définition du résultat. Les deux passages emploient un nombre d’items différent. Décidez, par écrit, ce que vous comparerez et pourquoi.

Le seuil d’intérêt. Personne ne vous l’a dit. Choisissez-en un, énoncez-le, et dites à quelle décision de programme il correspond — puis tenez-vous-y en partie cinq.

Enregistrez plan.md avant d’écrire le moindre code d’analyse. Sa date est le livrable.

Partie deux : les trois réponses naïves

Calculez-les toutes les trois, chacune avec un intervalle :

• l’évolution avant-après sur tous les enfants ;
• l’écart de fin d’année entre écoles avec et sans programme ;
• les différences de différences.

Mettez-les dans un seul tableau avec une colonne disant quel contrefactuel chacune suppose. Deux des trois répondent à des questions que personne n’a posées, et votre tableau doit le rendre visible sans qu’un paragraphe soit nécessaire.

Partie trois : le groupe de comparaison en est-il un ?

Construisez le tableau d’équilibre au niveau école — numératie initiale, taille de l’école, âge moyen, handicap, déplacement, retard d’âge — avec les différences standardisées, et le croisement par district.

Répondez ensuite, en commentaire dans votre script : le déséquilibre que vous avez trouvé rend-il les tendances parallèles plus ou moins plausibles ? Ce sont deux questions différentes et la réponse n’est pas automatique.

Partie quatre : l’erreur-type, et une surprise

Ajustez les différences de différences de trois façons : naïve, groupée par école, et agrégée aux 24 moyennes d’école.

L’une d’elles ne se comportera pas comme les leçons vous l’ont laissé attendre. Trouvez pourquoi avant de lire la partie cinq. La question pertinente est de savoir ce que des différences de différences sur des gains ont déjà retiré de la variance inter-écoles.

Partie cinq : qu’auriez-vous pu trouver ?

Calculez l’effet minimal détectable de ce protocole, en employant la corrélation intra-classe du gain plutôt que du niveau. Comparez-le au seuil que vous avez noté en partie un.

Écrivez ensuite le paragraphe de résumé de la leçon 8 — celui qui mène avec ce que le protocole pouvait et ne pouvait pas détecter.

Vérifiez vos nombres

	Attendu
Enfants ayant les deux passages	585
Numératie, initiale et finale	57,6 % et 63,7 %
Évolution avant-après	+6,14 pts, IC à 95 % +5,27 à +7,01
Écart initial, programme moins comparaison	+1,58 pt
Écart final	+1,97 pt, IC à 95 % −1,33 à +5,27
Différences de différences	+0,39 pt
DdD, erreur-type naïve	0,95
DdD, erreur-type groupée	0,79
DdD, niveau école (24 unités)	+0,07 pt, ET 0,81
Écart-type du gain	0,107
CCI du gain	environ −0,01

Si votre avant-après ressort autour de +9 points, vous êtes encore sur des scores bruts et le dénominateur change entre les passages. Si vos différences de différences s’éloignent de +0,4, vérifiez que la jointure au registre n’a pas dupliqué les deux élèves en double.

La surprise, et qu’en faire

L’erreur-type groupée est plus petite que la naïve. Ce n’est ni un bogue ni un artefact d’arrondi : la corrélation intra-classe du gain est très légèrement négative, parce que différencier chaque enfant contre son propre point de départ a déjà retiré la composante de niveau école qui rendait le niveau groupé.

Le regroupement n’élargit pas toujours un intervalle. Il en corrige un, et le sens dépend de savoir si les observations d’une même grappe se ressemblent plus que celles de grappes différentes sur la quantité analysée. Pour les niveaux de présence, oui ; pour les gains d’une année sur l’autre ici, non.

Rapportez quand même la version groupée. C’est celle qui épouse le protocole, et choisir la naïve parce qu’elle se trouve être plus large est le même défaut que la choisir parce qu’elle se trouve être plus étroite.

Les questions à traiter en prose

Trois phrases chacune.

1. Vos trois réponses naïves diffèrent. Nommez le contrefactuel que chacune suppose et dites, pour les deux que vous rejetez, ce qu’un lecteur en aurait conclu.

2. L’erreur-type groupée est ici plus petite que la naïve et elle était plus grande dans l’analyse de présence du cours de régression. Expliquez la différence à un collègue à qui l’on a dit que « le regroupement élargit toujours l’intervalle ».

3. Énoncez votre seuil d’intérêt de la partie un, l’effet minimal détectable calculé en partie cinq, et ce que ces deux nombres signifient ensemble pour la question posée. Dites si vous auriez accepté cette évaluation si on vous avait consulté en janvier.

Ce qu’il faut rendre

• plan.md, daté, enregistré avant l’analyse
• un script R produisant le tableau des trois réponses, le tableau d’équilibre, les trois erreurs-types et le calcul de puissance
• report.md dans la forme du résumé de la leçon 8 — constat, puis recommandation, avec l’effet détectable du protocole dans le premier paragraphe
• un tableau des écarts, même vide, dans la forme de la leçon 7
• les trois réponses en prose

Comment savoir que c’est fini

Supprimez outputs/, relancez, tout se régénère à l’identique. Changez ensuite votre seuil d’intérêt en tête de script, de 3 points à 1 point : le paragraphe de recommandation devrait changer et aucune estimation ne devrait bouger. Si une estimation bouge, le seuil a fui dans l’analyse, ce qui est précisément l’échec que le plan sert à prévenir.

Ce que ce laboratoire n’est pas

Ce n’est pas une évaluation de la cantine scolaire. Personne n’a randomisé ces écoles, le groupe de comparaison est déséquilibré sur chaque caractéristique mesurée, et le protocole ne pouvait pas détecter l’ampleur d’effet sur laquelle un programme agirait — trois faits qui sont des conclusions de ce laboratoire plutôt que des réserves.

Ce n’est pas non plus une démonstration que le programme échoue. Tout l’objet des deux dernières leçons est que « nous n’avons pas pu trancher » est un constat, et le produire clairement, avec le nombre qu’il aurait fallu pour trancher, est le livrable.