Exercice · Avancé
La diapositive avec un seul nombre dessus
Un dossier de conseil affirme que la cantine a fait monter la littératie de 7 points et recommande de doubler le programme. Le nombre est juste, le contrefactuel manque, et vous avez une heure avant la réunion pour trouver quoi dire à la place.
Le dossier de conseil part demain. La diapositive 4 dit :
La cantine scolaire fonctionne. Les scores de littératie dans les écoles du programme sont passés de 57,8 % à 64,4 % sur l’année scolaire — un gain de 6,6 points de pourcentage. Nous recommandons de doubler la couverture du programme en 2025.
Chaque nombre de cette diapositive est correct. Vous avez une heure.
Les fichiers
learning-assessment-2024.v1.csv et school-roster-2024.v1.csv.
Ce qu’il faut faire
Un : trouvez la moitié manquante. Calculez la même évolution pour les écoles sans programme. Rapportez les deux, avec l’écart entre elles.
Deux : posez un intervalle sur ce que la diapositive affirme réellement. L’affirmation porte sur le programme, non sur l’année, donc l’estimation est les différences de différences. Groupez l’erreur-type par école et dites pourquoi.
Trois : déterminez si l’étude pouvait trouver ce que le conseil veut savoir. Doubler la couverture vaut la peine si l’effet tourne autour de 3 points. Calculez l’effet minimal détectable pour 15 écoles contre 9 avec environ 50 enfants chacune, en employant une corrélation intra-classe de 0,065, et comparez.
Quatre : réécrivez la diapositive. Un titre, quatre lignes au plus, aucun nombre qui ne soit pas ce qu’il paraît être.
Vérifiez-vous
| Attendu | |
|---|---|
| Écoles du programme, initial à final | 57,75 % à 64,41 %, +6,66 pts |
| Écoles de comparaison | 54,67 % à 62,29 %, +7,62 pts |
| Différences de différences | −0,96 pt |
| Intervalle groupé à 95 % | −3,48 à +1,56 |
| Effet minimal détectable | environ 4,9 points |
| Écoles nécessaires pour un effet de 3 points | environ 60 |
Si le gain de vos écoles de comparaison ressort inférieur à celui du programme, vérifiez la jointure au registre — deux élèves y figurent deux fois et se dupliquent si les doublons ne sont pas écartés.
Trois questions
Deux phrases chacune.
1. Les 6,6 points de la diapositive sont corrects et les écoles de comparaison ont gagné 7,6. Écrivez l’unique phrase que vous diriez à voix haute en réunion, avant toute statistique, qui rend le problème clair pour un membre du conseil.
2. Votre intervalle de différences de différences va de −3,5 à +1,6 et le conseil se préoccupe de 3 points. Expliquez ce que cet intervalle écarte et n’écarte pas, sans employer le mot « significatif ».
3. La recommandation est de doubler le programme. Dites ce que vous recommanderiez à la place, et nommez le seul changement au déploiement de l’an prochain qui permettrait à l’évaluation de 2026 de répondre à cette question.
L’essentiel
Le nombre n’a jamais été faux. Aucune vérification de l’arithmétique, de la taille d’échantillon, de la valeur p ou de la qualité des données n’aurait attrapé ceci, parce qu’aucune n’était en cause — la diapositive compare les écoles du programme à elles-mêmes un an plus tôt et appelle l’année scolaire un effet.
Un contrefactuel manquant est invisible à toute vérification statistique. Il est attrapé par une question, posée avant toute analyse : comparé à quoi ?
La diapositive honnête est plus courte que l’originale et moins agréable à présenter. C’est aussi celle qui survit au premier membre du conseil qui demande ce qui s’est passé dans les écoles sans programme.