Retour à la leçon·Leçon 1 sur 8·De l'intention à l'indicateur
Ce qui se casse entre le changement et le chiffre
Le même diaporama que les téléchargements, rendu sous forme de page. Lancez le diaporama pour le présenter en plein écran — les flèches ou un clic avancent d'une diapositive, Échap quitte.
Ce que couvre cette leçon
- Trois documents, deux traductions
- La première traduction — du changement à la ligne
- Corrigez au cadre logique, pas à l'analyse
- La seconde traduction — de la ligne à l'arithmétique
- Les hypothèses sont ce que tout le monde supprime
- Ce que veulent dire les niveaux, et où l'on triche
- Remontez la chaîne comme test
- La suite
Notes du présentateur
Une théorie du changement dit comment le monde est censé bouger ; un cadre logique en fait des lignes ; un indicateur transforme une ligne en arithmétique. Quelque chose se perd à chaque traduction, et le savoir permet de défendre le chiffre.Trois documents, deux traductions
- Une théorie du changement — un récit et généralement un schéma, disant comment le programme croit que le monde…
- Un cadre logique — un tableau d'objectif global, d'effets, de produits et d'activités, chaque ligne portant des…
- Une définition d'indicateur — de l'arithmétique sur un jeu de données.
Notes du présentateur
Presque tout programme de ce secteur porte trois artefacts, produits par des personnes différentes à des moments différents, et le chiffre que vous rapportez sort du troisième. Chaque flèche entre eux est une traduction, et les traductions perdent des choses. Cette leçon porte sur lesquelles précisément, car « l'indicateur ne mesure pas ce qui nous importe » est une plainte qui arrive trop tard pour être corrigée.La première traduction — du changement à la ligne
Si les agents de santé sont formés et si les vaccins sont disponibles de façon fiable, alors les accompagnants qui amènent un enfant pour la première dose mèneront le calendrier à son terme, et moins d'enfants seront réceptifs à la rougeole à l'entrée à l'école.
La première traduction — du changement à la ligne
Niveau Indicateur Produit Nombre d'enfants ayant reçu le penta3 Notes du présentateur
Une théorie du changement pour un programme de vaccination de routine pourrait dire ceci. Cette phrase contient un mécanisme, une hypothèse et une population. La ligne de cadre logique qu'elle devient dit d'ordinaire ceci.La première traduction — du changement à la ligne
- Le mécanisme — La théorie portait sur l'achèvement — des enfants qui commencent le calendrier et le terminent
- L'hypothèse — « Vaccins disponibles de façon fiable » est une condition dont la théorie dépend et qu'aucune ligne de…
- La population — « Les enfants amenés pour une première dose » est un groupe précis
Notes du présentateur
Trois choses ont disparu en une seule étape. Le mécanisme. La théorie portait sur l'achèvement — des enfants qui commencent le calendrier et le terminent. Un décompte de doses de penta3 monte si davantage d'enfants commencent, si davantage achèvent, ou si une campagne attire des enfants d'un district voisin. L'indicateur ne peut pas distinguer ce que le programme prétend réellement faire. L'hypothèse. « Vaccins disponibles de façon fiable » est une condition dont la théorie dépend et qu'aucune ligne de cadre logique ne mesure. Quand l'indicateur sous-performe, la discussion sur les causes est insoluble, parce que personne ne comptait ce que la théorie disait déterminant. La population. « Les enfants amenés pour une première dose » est un groupe précis. Un décompte de doses n'a aucun dénominateur.Corrigez au cadre logique, pas à l'analyse — En Python
totals = ( vax[vax["reported"]] .groupby("antigen")["doses_administered"].sum() ) dropout = (totals["penta1"] - totals["penta3"]) / totals["penta1"] print(f"penta1 {totals['penta1']:,} penta3 {totals['penta3']:,} dropout {dropout:.1%}")Notes du présentateur
Le mécanisme d'achèvement est mesurable, et c'est un indicateur normalisé.Corrigez au cadre logique, pas à l'analyse — En R
totals <- vax |> filter(report_submitted) |> summarise(doses = sum(doses_administered), .by = antigen) p1 <- totals$doses[totals$antigen == "penta1"] p3 <- totals$doses[totals$antigen == "penta3"] c(penta1 = p1, penta3 = p3, dropout = (p1 - p3) / p1)Corrigez au cadre logique, pas à l'analyse
- Quand le mécanisme est mesurable, mesurez le mécanisme — Un taux d'abandon et un taux de couverture répondent à des…
Notes du présentateur
8 302 premières doses, 7 160 troisièmes doses, un abandon de 13,8 %. Et la série rougeole est pire — 7 321 premières doses contre 5 647 secondes, soit un abandon de 22,9 %. Ce seul nombre parle directement à la théorie, ce que le décompte de doses ne fait pas. Il est aussi robuste au débat sur le dénominateur — numérateur et dénominateur viennent des mêmes formations ayant rapporté les mêmes mois, si bien qu'une projection de recensement vieille de neuf ans ne peut pas le déplacer. Quand le mécanisme est mesurable, mesurez le mécanisme. Un taux d'abandon et un taux de couverture répondent à des questions différentes, et un cadre logique ne portant que le second décrit le produit du programme plutôt que sa revendication.La seconde traduction — de la ligne à l'arithmétique
- Des enfants ou des doses ? Un décompte de doses et un décompte d'enfants diffèrent dès qu'un enfant est enregistré…
- Quelle période — par date de vaccination ou par date de rapport ?
- Quelles formations — celles ayant rapporté, ou toutes, les non-déclarantes comptées à zéro ?
- Bassin de desserte ou résidence ? Un enfant du district voisin vacciné ici.
Notes du présentateur
Le cadre logique dit « nombre d'enfants ayant reçu le penta3 ». L'analyste doit en faire du code, et la ligne ne dit pas ceci. Quatre questions, chacune avec une réponse défendable, et deux analystes y répondant différemment produisent deux chiffres différents du même fichier. Aucun n'a commis d'erreur. C'est le défaut que tout ce cours existe pour prévenir, et le remède est la fiche de référence de l'unité 2.Les hypothèses sont ce que tout le monde supprime
- Donnez aux hypothèses importantes leur propre indicateur — Jours de rupture de stock par trimestre, jours d'accès…
Notes du présentateur
La colonne de droite d'un cadre logique est la première à être vidée, et c'est celle qui explique vos résultats. Une hypothèse est une condition hors du contrôle du programme dont dépend la chaîne causale — les vaccins arrivent, la route est praticable, la monnaie tient, la situation sécuritaire permet les déplacements. Lorsqu'une cible est manquée, l'analyse honnête est en général « l'hypothèse n'a pas tenu », et cette phrase n'est disponible que si quelqu'un a écrit l'hypothèse au préalable. Donnez aux hypothèses importantes leur propre indicateur. Jours de rupture de stock par trimestre, jours d'accès routier, taux de postes vacants. Ils sont bon marché à collecter et transforment une discussion en fait.Ce que veulent dire les niveaux, et où l'on triche
Niveau Question Attribution Activité Qu'avons-nous fait ? Entièrement nôtre Produit Qu'est-ce que cela a produit, directement ? Entièrement nôtre Effet Qu'est-ce qui a changé pour les gens ? Partagée avec tout le reste Objectif global Qu'est-ce qui a changé dans la population ? Presque rien de nôtre Notes du présentateur
La tentation universelle est de rapporter un produit en l'appelant un effet, car les produits sont attribuables et les effets non. « 12 000 enfants vaccinés » est un produit. « La réceptivité à la rougeole à l'entrée à l'école a baissé » est un effet, il dépend de quatre autres acteurs, et l'attribution est précisément ce à quoi le cours Méthodes d'évaluation d'impact consacrera plus tard vingt-quatre heures. Dites à quel niveau vous êtes. Un rapport qui range des produits sous un intitulé d'effet sera repéré par n'importe quel évaluateur, et le constat portera sur la crédibilité plutôt que sur les chiffres.Remontez la chaîne comme test
Taux d'abandon du penta3 — mesure si les enfants qui commencent le calendrier le terminent — ce que le programme influence par les rappels, les sorties de proximité et le stock — ce dont la théorie dit que cela réduit la réceptivité — qui est le changement voulu.
Remontez la chaîne comme test
- L'indicateur ne mesure pas le mécanisme. Changez l'indicateur.
- Le mécanisme n'est pas influencé par le programme. Changez la revendication du programme, ou acceptez de faire de…
- Personne ne sait nommer le changement. Arrêtez et ayez cette conversation avant de collecter quoi que ce soit.
Notes du présentateur
Les cinq minutes les plus utiles de la conception d'indicateurs — partez de votre indicateur et remontez. Si la chaîne casse, vous avez trouvé quelque chose. Elle casse d'ordinaire à l'un de trois endroits, et chacun appelle un remède différent.Remontez la chaîne comme test
Un indicateur est une affirmation causale compressée en arithmétique. La compression est destructive, et la fiche de référence est l'endroit où l'on consigne ce qui a été perdu.
La suite
- Vous savez d'où vient un indicateur et ce dont il hérite.
Notes du présentateur
Vous savez d'où vient un indicateur et ce dont il hérite. La leçon suivante le démonte — de quoi il est fait, pourquoi presque tous sont des rapports, et les trois questions à poser avant d'écrire la moindre ligne de code.