Parcours
Responsable du suivi-évaluation
Pour le responsable comptable d'une fonction de mesure et non d'une analyse — ce qu'il faut standardiser, ce qu'il faut laisser aux équipes, et comment savoir si les données produites valent leur coût.
Compétences
Stratégie de mesure
AvancéDécider ce qu'un programme doit mesurer, et défendre le fait de ne pas mesurer quelque chose lorsque le coût de la mesure dépasse sa valeur.
Standardisation
AvancéChoisir quelles définitions, seuils et formats sont fixés pour toutes les équipes et lesquels restent à la main du site, et consigner la différence par écrit.
Commande d'évaluation
AvancéSpécifier une évaluation assez précisément pour que ses conclusions soient utilisables, et reconnaître un protocole incapable de répondre à la question posée.
Lecture critique d'une analyse
IntermédiaireInterroger une analyse que vous n'avez pas produite, sans avoir à la reproduire, en posant les questions auxquelles sa méthode doit répondre.
Avant de commencer
- Le parcours Chargé(e) principal(e) de suivi-évaluation, ou son équivalent : vous avez piloté un cycle de rapportage, de l'export brut à la narration soumise.
- Une équipe, ou la perspective d'en avoir une. Une grande part de ce parcours consiste à relire un travail que vous n'avez pas écrit et à poser la question qui trouve l'erreur.
Fait suite àChargé(e) principal(e) de suivi-évaluationCe parcours suppose celui-ci acquis plutôt que d'en reprendre les formations.
L'itinéraire
Étape 1
Asseoir les chiffres
Maîtriser les définitions d'indicateurs sur lesquelles votre équipe rapporte, pour qu'un chiffre contesté en comité de pilotage se tranche par la définition et non par l'ancienneté.
Étape 2
Rendre les données fiables
Transformer un export brut en un tableau défendable ligne à ligne, et transmettre un journal de nettoyage qui répond à la question de l'auditeur avant qu'elle soit posée.
Étape 3
Assembler les fichiers
Réunir plusieurs exports en une table d'analyse défendable colonne par colonne, avec chaque jointure prouvée, chaque granularité énoncée et chaque dénominateur sourcé.
Étape 4
Contrôler comme un auditeur
Évaluer vos propres données avant qu'un bailleur ne le fasse — cinq dimensions mesurées, un recomptage face à la source, et un rapport où chaque constat a un responsable et une date.
Étape 5
Définir ce que vous rapportez
Rédiger des définitions d'indicateurs que deux analystes calculent de la même façon, défendre le dénominateur, et fixer une référence et une cible qui survivent à une revue à mi-parcours.
Étape 6
Mettre un intervalle dessus
Analyser une enquête en grappes comme son plan l'exige — pondérations issues de la base, effet de plan mesuré, et un intervalle qui dit ce que l'échantillon peut trancher et ce qu'il ne peut pas.
Étape 7
Savoir d'où cela vient
Lire un système de rapportage de routine comme la base de données qu'il est, tirer une extraction que l'on peut désigner des mois plus tard, et répondre à ce qui a été compté pour tout chiffre qu'il produit.
Étape 8
L'appliquer à la nutrition
Porter les méthodes dans un secteur — normes de croissance de l'OMS, plausibilité SMART, phases IPC et seuils de performance Sphere, sur une enquête et un registre de traitement.
Étape 9
Appliquer à la santé publique
Des taux à dénominateur en personnes-temps, des cascades de traitement, la couverture de trois façons, et une liste linéaire d'épidémie transformée en courbe, en taux d'attaque et en létalité défendable.
Étape 10
Appliquer à l'EAH
Les échelles de service du JMP et les minimums Sphère sur une enquête ménage, puis un registre de suivi à visites répétées qui transforme un taux de fonctionnalité en trois et encadre chacun face aux tournées que personne n'a conduites.
Étape 11
Appliquer à la sécurité alimentaire
SCA, ÉFM, ICSR et module d'adaptation construits depuis les composantes brutes et divergeant d'un facteur sept, puis une série de prix dont la saisonnalité éclipse l'effet de programme et le tableau de preuves qui rapporte les deux.
Étape 12
Appliquer à la protection
Les analyses qu'il faut refuser de publier, à côté de celles qui comptent — un circuit de référencement conditionné par le consentement, un écart d'équité de dix-neuf points localisé à une porte précise, et une charge de dossiers qui explique deux autres tableaux.
Étape 13
Appliquer à l'éducation
Taux brut contre taux net sur un dénominateur projeté, deux chiffres de présence distants de vingt-six points, une cohorte à travers passage et redoublement, et deux passations aux instruments différents.
Étape 14
Dire votre degré de certitude
Un intervalle sur chaque proportion, le bon test pour une comparaison, une taille d'effet à côté de chaque valeur p, et le nombre de comparaisons qui ramène deux écoles frappantes au rang de bruit.
Étape 15
Modéliser plusieurs choses à la fois
Un coefficient est une comparaison — laquelle, entre quelles unités, ajustée sur quoi. Un rapport de cotes que votre lecteur interprétera de travers, une covariable qui retire 42 % de l'effet, et un modèle qui explique trois pour cent et tranche une décision de ciblage.
Étape 16
Dire ce qui l'a causé
Un gain de sept points qui est entièrement l'année scolaire, un groupe de comparaison déséquilibré sur chaque caractéristique mesurée, et l'effet minimal détectable qui a décidé de la réponse avant l'existence de la moindre donnée.
Étape 17
Le mettre sous leurs yeux
La marque qu'implique la comparaison, un intervalle qui arrête un classement, une palette qui signifie déjà quelque chose pour ce public, et une figure produite depuis le jeu de données pour que le graphique et la phrase ne puissent pas dériver.
Étape 18
La rendre réexécutable
Des données brutes en lecture seule et le code seul édité, un environnement figé pour que l'ordinateur d'un collègue donne vos nombres, des vérifications qui arrêtent la chaîne au lieu d'en produire une fausse et plausible, et une passation sur laquelle un successeur peut agir.
Étape 19
Le mettre devant la décision
Une page qui répond à une question plutôt qu'à vingt, le panneau de définitions qui met fin à la dispute mensuelle, et le rapport dont constats, limites et recommandation survivent à une lecture séparée.
Projets recommandés
Modalités d'évaluation
Sait rédiger un plan de mesure énonçant, pour chaque indicateur, la décision qu'il éclaire et qui prend cette décision.
Preuve attendueUn plan de mesure où chaque indicateur porte une décision nommée et un responsable nommé.
Sait repérer un indicateur que le programme collecte sans l'utiliser, et argumenter son abandon.
Preuve attendueUn argumentaire écrit de suppression, avec le coût de collecte et la conséquence de son absence.
Sait rédiger les termes de référence d'une évaluation adossés à une décision énoncée.
Preuve attendueDes termes de référence évalués au regard des critères du CAD de l'OCDE.
Un responsable est rarement la personne qui calcule quoi que ce soit. Les jugements qui comptent sont plus en amont et plus grossiers : un indicateur vaut-il son coût de collecte, un seuil doit-il être le même dans chaque district, un protocole d’évaluation peut-il répondre à la question qu’on lui a confiée.
Ces jugements sont techniques même quand le travail ne l’est pas. Un responsable incapable de dire si un seuil de ciblage a été choisi pour le besoin ou pour le budget approuvera celui qui a été choisi pour le budget — c’est précisément à cette question que le projet sécurité alimentaire de ce parcours consacre sa documentation technique.
Ce qu’il manque encore à ce parcours
Trois cours sont publiés : Fondamentaux de l’analyse de données, Python pour les données de programme et R et le tidyverse pour les données de programme. Le contenu de commande et de conception d’évaluation dont ce rôle a besoin relève des modules Statistiques et modélisation et Restitution et diffusion de la feuille de route ; aucun des deux n’est encore écrit. Voir le programme.