Retour à la leçon·Leçon 7 sur 8·La salle
Présenter le constat que personne n'a commandé
Le même diaporama que les téléchargements, rendu sous forme de page. Lancez le diaporama pour le présenter en plein écran — les flèches ou un clic avancent d'une diapositive, Échap quitte.
Ce que couvre cette leçon
- Les trois constats importuns
- Menez avec la décision, non avec le constat
- Apportez ce qui aurait été vrai
- Ce qu'il ne faut pas faire
- Les questions qui viendront, et les réponses
- Le nombre des trois dernières demandes
- Rapportez-le en entier
- La suite
Notes du présentateur
Le comité demandait si le programme fonctionne. La réponse est que l'évaluation n'aurait pas pu le leur dire, que le gain de sept points était l'année scolaire, et que le nombre des trois dernières demandes n'est pas un effet. Voici comment dire cela dans une salle.Les trois constats importuns
- « Le programme n'a pas fait ce que vous croyiez. » — Difficile, et c'est celui auquel on se prépare
- « Nous ne pouvons pas trancher. » — Plus difficile, parce que cela sonne comme un échec de l'analyste plutôt que du…
- « Le nombre que vous employez est faux. » — Le plus difficile, parce que quelqu'un l'a mis dans une demande de…
- Les trois arrivent régulièrement dans ce secteur — et la différence entre une réunion qui abîme une carrière et une…
Notes du présentateur
Ils ne sont pas également difficiles et la différence compte. « Le programme n'a pas fait ce que vous croyiez. » Difficile, et c'est celui auquel on se prépare. « Nous ne pouvons pas trancher. » Plus difficile, parce que cela sonne comme un échec de l'analyste plutôt que du protocole. Toute la dernière unité du cours d'évaluation d'impact porte sur ce cas. « Le nombre que vous employez est faux. » Le plus difficile, parce que quelqu'un l'a mis dans une demande de financement, et que la salle contient cette personne. Les trois arrivent régulièrement dans ce secteur, et la différence entre une réunion qui abîme une carrière et une réunion utile tient presque entièrement à la préparation.Menez avec la décision, non avec le constat
- Pas ceci — la méthodologie, puis les données, puis les résultats, puis la partie gênante à la dix-huitième minute,…
- Ceci — la recommandation, puis l'unique phrase qui l'étaye, puis le détail pour qui le veut
Notes du présentateur
L'instinct est de construire vers le résultat. C'est le mauvais ordre dans une salle. Pas ceci : la méthodologie, puis les données, puis les résultats, puis la partie gênante à la dix-huitième minute, quand la moitié de la salle a cessé d'écouter et que l'autre a compris où cela allait. Ceci : la recommandation, puis l'unique phrase qui l'étaye, puis le détail pour qui le veut.Menez avec la décision, non avec le constat — Exemple
"My recommendation is that you do not expand the programme on the basis of this evaluation, and do not discontinue it either. Literacy rose seven points in programme schools. It also rose in the schools without the programme, by slightly more. The seven points are the school year. Separately, this evaluation was not large enough to detect the three-point difference you would act on, which was knowable before it ran. I can show you what a study that could detect it would need."Menez avec la décision, non avec le constat
- Soixante secondes, et la salle sait désormais ce que vous demandez — Tout ce qui suit consiste à répondre à des…
Notes du présentateur
Soixante secondes, et la salle sait désormais ce que vous demandez. Tout ce qui suit consiste à répondre à des questions plutôt qu'à retarder le point.Apportez ce qui aurait été vrai
- « Voici ce que nous aurions vu si le programme fonctionnait à l'ampleur qui vous intéresse. » — Puis montrez que ce…
- Et apportez le coût de savoir — « Soixante écoles au lieu de vingt-quatre » est une chose concrète et chiffrable, et un…
- Une recommandation rend un constat importun tenable — Sans elle, la réunion porte sur la question de savoir si vous…
Notes du présentateur
Un constat importun atterrit très différemment quand il arrive avec ce à quoi un constat positif aurait ressemblé. « Voici ce que nous aurions vu si le programme fonctionnait à l'ampleur qui vous intéresse. » Puis montrez que ce n'est pas cela, sur le même graphique, avec le même axe. Et apportez le coût de savoir. « Soixante écoles au lieu de vingt-quatre » est une chose concrète et chiffrable, et un comité qui ne peut pas agir sur votre constat peut agir là-dessus. Une recommandation rend un constat importun tenable. Sans elle, la réunion porte sur la question de savoir si vous avez raison ; avec elle, elle porte sur ce qu'il faut faire.Ce qu'il ne faut pas faire
- N'adoucissez pas le nombre — « À peu près stable » pour un −0,96 dont l'intervalle va de −3,5 à +1,6 est une…
- Ne proposez pas la ventilation flatteuse — Il existe toujours un sous-groupe où le programme paraît avoir marché
- N'accusez pas les données — « La qualité des données était mauvaise » est généralement faux et sonne toujours comme une…
- Ne vous excusez pas du constat — Vous ne l'avez pas causé
Notes du présentateur
Quatre gestes qui paraissent utiles sur le moment et ne le sont pas. N'adoucissez pas le nombre. « À peu près stable » pour un −0,96 dont l'intervalle va de −3,5 à +1,6 est une gentillesse qui sera citée comme « stable » puis comme « légèrement positif ». Ne proposez pas la ventilation flatteuse. Il existe toujours un sous-groupe où le programme paraît avoir marché. Le proposer est la façon dont les deux écoles significatives sur vingt-quatre finissent dans une demande, et le cours de statistiques a montré que le générateur avait mis cet effet à exactement zéro. N'accusez pas les données. « La qualité des données était mauvaise » est généralement faux et sonne toujours comme une excuse. Si le protocole était sous-dimensionné, dites que le protocole était sous-dimensionné — c'est une décision que quelqu'un a prise, et la nommer est la façon dont la suivante sera meilleure. Ne vous excusez pas du constat. Vous ne l'avez pas causé. Vous en excuser invite la salle à le traiter comme votre position plutôt que comme le résultat.Les questions qui viendront, et les réponses
Question La réponse « Peut-on regarder par district ? » Oui, et voici d'abord le nombre de comparaisons « L'autre agence rapporte 76 % » Autre indicateur ; voici le panneau de définitions « Peux-tu relancer en excluant ces écoles ? » Oui, comme analyse exploratoire, étiquetée « Donc ça ne marche pas ? » Non — l'étude ne pouvait pas détecter un effet de l'ampleur qui vous intéresse « Que dit-on au bailleur ? » Ceci, en trois phrases, et je les rédige Les questions qui viendront, et les réponses
- La dernière ligne est celle qu'il faut proposer spontanément — Le vrai problème du comité n'est souvent pas votre…
Notes du présentateur
La dernière ligne est celle qu'il faut proposer spontanément. Le vrai problème du comité n'est souvent pas votre constat mais ce qu'il doit désormais en dire, et proposer les trois phrases vous fait passer de porteur du problème à part de la réponse.Le nombre des trois dernières demandes
- Établissez-le en privé d'abord — Portez-le à la personne qui possède le nombre avant la réunion
- Séparez l'erreur de la personne — « Le chiffre de source améliorée omettait l'eau livrée, que la définition du JMP…
- Dites dans quel sens et de combien — 79,7 % à 82,3 % est une correction qui fait paraître la couverture meilleure, et…
- Apportez la version corrigée, l'entrée du journal des modifications et la vérification qui l'aurait attrapée plus tôt —…
Notes du présentateur
Le cas le plus difficile, et il exige son propre traitement. Établissez-le en privé d'abord. Portez-le à la personne qui possède le nombre avant la réunion. Non pour la protéger — pour vous assurer que vous avez raison, parce que ce n'est peut-être pas le cas, et une salle est le pire endroit pour le découvrir. Séparez l'erreur de la personne. « Le chiffre de source améliorée omettait l'eau livrée, que la définition du JMP inclut » porte sur un ensemble de chaînes de caractères. « L'analyse précédente était fausse » porte sur celui qui l'a faite. Dites dans quel sens et de combien. 79,7 % à 82,3 % est une correction qui fait paraître la couverture meilleure, et le dire immédiatement empêche la salle de se préparer au pire. Apportez la version corrigée, l'entrée du journal des modifications et la vérification qui l'aurait attrapée plus tôt. Une correction assortie d'un mécanisme est une amélioration de processus ; une correction sans mécanisme est une accusation.Le nombre des trois dernières demandes — Exemple
Change log: 2026-07-29, improved source corrected from 79.7% to 82.3%. Delivered water was omitted from the JMP improved list. The definitions document had it right; the analysis code did not. The pipeline now asserts its computed values against the definitions document, so the two cannot disagree silently again.Rapportez-le en entier — Exemple
Steering committee, 14 March Presented: no detectable effect on literacy (-0.96 points, 95% CI -3.5 to +1.6), and the finding that the design's minimum detectable effect was 4.9 points against a threshold of interest of 3. Recommendation: neither expand nor discontinue on this evidence. A design able to answer the question needs about 60 schools; randomising the order of the next roll-out costs nothing and would give a comparison group that does not have to be argued for. Agreed: the 7-point gain will not be used in the next proposal. The programme team will consider randomising the 2026 expansion order. Deferred: whether to fund a larger evaluation.Rapportez-le en entier
- La ligne « convenu » est la sortie de la réunion — et l'écrire dans la salle est ce qui empêche le gain de sept points…
Notes du présentateur
La ligne « convenu » est la sortie de la réunion, et l'écrire dans la salle est ce qui empêche le gain de sept points de reparaître en juin.La suite
- La dernière leçon retourne le cours sur les sept tableaux de bord que livre cette plateforme — à quoi sert chacun, ce que chacun refuse de montrer, et celui qui existe parce qu'un nombre de ce cours même était faux.
Notes du présentateur
La dernière leçon retourne le cours sur les sept tableaux de bord que livre cette plateforme — à quoi sert chacun, ce que chacun refuse de montrer, et celui qui existe parce qu'un nombre de ce cours même était faux.