Ce qui se casse entre le changement et le chiffre

Trois documents, deux traductions

Presque tout programme de ce secteur porte trois artefacts, produits par des personnes différentes à des moments différents, et le chiffre que vous rapportez sort du troisième.

• Une théorie du changement — un récit et généralement un schéma, disant comment le programme croit que le monde bougera et sous quelles hypothèses.
• Un cadre logique — un tableau d’objectif global, d’effets, de produits et d’activités, chaque ligne portant des indicateurs, des moyens de vérification et des hypothèses.
• Une définition d’indicateur — de l’arithmétique sur un jeu de données.

Chaque flèche entre eux est une traduction, et les traductions perdent des choses. Cette leçon porte sur lesquelles précisément, car « l’indicateur ne mesure pas ce qui nous importe » est une plainte qui arrive trop tard pour être corrigée.

La première traduction — du changement à la ligne

Une théorie du changement pour un programme de vaccination de routine pourrait dire ceci.

Si les agents de santé sont formés et si les vaccins sont disponibles de façon fiable, alors les accompagnants qui amènent un enfant pour la première dose mèneront le calendrier à son terme, et moins d’enfants seront réceptifs à la rougeole à l’entrée à l’école.

Cette phrase contient un mécanisme, une hypothèse et une population. La ligne de cadre logique qu’elle devient dit d’ordinaire ceci.

Niveau	Indicateur
Produit	Nombre d’enfants ayant reçu le penta3

Trois choses ont disparu en une seule étape.

Le mécanisme. La théorie portait sur l’achèvement — des enfants qui commencent le calendrier et le terminent. Un décompte de doses de penta3 monte si davantage d’enfants commencent, si davantage achèvent, ou si une campagne attire des enfants d’un district voisin. L’indicateur ne peut pas distinguer ce que le programme prétend réellement faire.

L’hypothèse. « Vaccins disponibles de façon fiable » est une condition dont la théorie dépend et qu’aucune ligne de cadre logique ne mesure. Quand l’indicateur sous-performe, la discussion sur les causes est insoluble, parce que personne ne comptait ce que la théorie disait déterminant.

La population. « Les enfants amenés pour une première dose » est un groupe précis. Un décompte de doses n’a aucun dénominateur.

Corrigez au cadre logique, pas à l’analyse

Le mécanisme d’achèvement est mesurable, et c’est un indicateur normalisé.

totals = (
    vax[vax["reported"]]
    .groupby("antigen")["doses_administered"].sum()
)
dropout = (totals["penta1"] - totals["penta3"]) / totals["penta1"]
print(f"penta1 {totals['penta1']:,}  penta3 {totals['penta3']:,}  dropout {dropout:.1%}")

totals <- vax |>
  filter(report_submitted) |>
  summarise(doses = sum(doses_administered), .by = antigen)

p1 <- totals$doses[totals$antigen == "penta1"]
p3 <- totals$doses[totals$antigen == "penta3"]
c(penta1 = p1, penta3 = p3, dropout = (p1 - p3) / p1)

8 302 premières doses, 7 160 troisièmes doses, un abandon de 13,8 %. Et la série rougeole est pire — 7 321 premières doses contre 5 647 secondes, soit un abandon de 22,9 %.

Ce seul nombre parle directement à la théorie, ce que le décompte de doses ne fait pas. Il est aussi robuste au débat sur le dénominateur — numérateur et dénominateur viennent des mêmes formations ayant rapporté les mêmes mois, si bien qu’une projection de recensement vieille de neuf ans ne peut pas le déplacer.

Quand le mécanisme est mesurable, mesurez le mécanisme. Un taux d’abandon et un taux de couverture répondent à des questions différentes, et un cadre logique ne portant que le second décrit le produit du programme plutôt que sa revendication.

La seconde traduction — de la ligne à l’arithmétique

Le cadre logique dit « nombre d’enfants ayant reçu le penta3 ». L’analyste doit en faire du code, et la ligne ne dit pas ceci.

• Des enfants ou des doses ? Un décompte de doses et un décompte d’enfants diffèrent dès qu’un enfant est enregistré deux fois, et le registre ne les distingue pas.
• Quelle période — par date de vaccination ou par date de rapport ?
• Quelles formations — celles ayant rapporté, ou toutes, les non-déclarantes comptées à zéro ?
• Bassin de desserte ou résidence ? Un enfant du district voisin vacciné ici.

Quatre questions, chacune avec une réponse défendable, et deux analystes y répondant différemment produisent deux chiffres différents du même fichier. Aucun n’a commis d’erreur. C’est le défaut que tout ce cours existe pour prévenir, et le remède est la fiche de référence de l’unité 2.

Les hypothèses sont ce que tout le monde supprime

La colonne de droite d’un cadre logique est la première à être vidée, et c’est celle qui explique vos résultats.

Une hypothèse est une condition hors du contrôle du programme dont dépend la chaîne causale — les vaccins arrivent, la route est praticable, la monnaie tient, la situation sécuritaire permet les déplacements. Lorsqu’une cible est manquée, l’analyse honnête est en général « l’hypothèse n’a pas tenu », et cette phrase n’est disponible que si quelqu’un a écrit l’hypothèse au préalable.

Donnez aux hypothèses importantes leur propre indicateur. Jours de rupture de stock par trimestre, jours d’accès routier, taux de postes vacants. Ils sont bon marché à collecter et transforment une discussion en fait.

Ce que veulent dire les niveaux, et où l’on triche

Niveau	Question	Attribution
Activité	Qu’avons-nous fait ?	Entièrement nôtre
Produit	Qu’est-ce que cela a produit, directement ?	Entièrement nôtre
Effet	Qu’est-ce qui a changé pour les gens ?	Partagée avec tout le reste
Objectif global	Qu’est-ce qui a changé dans la population ?	Presque rien de nôtre

La tentation universelle est de rapporter un produit en l’appelant un effet, car les produits sont attribuables et les effets non. « 12 000 enfants vaccinés » est un produit. « La réceptivité à la rougeole à l’entrée à l’école a baissé » est un effet, il dépend de quatre autres acteurs, et l’attribution est précisément ce à quoi le cours Méthodes d’évaluation d’impact consacrera plus tard vingt-quatre heures.

Dites à quel niveau vous êtes. Un rapport qui range des produits sous un intitulé d’effet sera repéré par n’importe quel évaluateur, et le constat portera sur la crédibilité plutôt que sur les chiffres.

Remontez la chaîne comme test

Les cinq minutes les plus utiles de la conception d’indicateurs — partez de votre indicateur et remontez.

Taux d’abandon du penta3 — mesure si les enfants qui commencent le calendrier le terminent — ce que le programme influence par les rappels, les sorties de proximité et le stock — ce dont la théorie dit que cela réduit la réceptivité — qui est le changement voulu.

Si la chaîne casse, vous avez trouvé quelque chose. Elle casse d’ordinaire à l’un de trois endroits, et chacun appelle un remède différent.

• L’indicateur ne mesure pas le mécanisme. Changez l’indicateur.
• Le mécanisme n’est pas influencé par le programme. Changez la revendication du programme, ou acceptez de faire de la veille contextuelle.
• Personne ne sait nommer le changement. Arrêtez et ayez cette conversation avant de collecter quoi que ce soit.

Un indicateur est une affirmation causale compressée en arithmétique. La compression est destructive, et la fiche de référence est l’endroit où l’on consigne ce qui a été perdu.

La suite

Vous savez d’où vient un indicateur et ce dont il hérite. La leçon suivante le démonte — de quoi il est fait, pourquoi presque tous sont des rapports, et les trois questions à poser avant d’écrire la moindre ligne de code.