Parcours
Chargé(e) principal(e) de suivi-évaluation
Pour le chargé qui valide désormais les chiffres des autres — concevoir le système de mesure plutôt que le remplir, et le défendre dans une revue où les chiffres sont contestés.
Compétences
Conception du système de mesure
AvancéConcevoir un cadre d'indicateurs sur lequel tout un programme rapporte, désagrégations comprises, y compris celles qu'on réclamera plus tard.
Assurance qualité des données
AvancéBâtir les contrôles de routine qui interceptent un chiffre erroné avant qu'il n'atteigne un rapport, et documenter ce que chaque contrôle protège.
Revue d'une analyse
AvancéLire l'analyse d'une autre personne et y trouver le dénominateur faux, l'exclusion silencieuse et l'affirmation que les données ne soutiennent pas.
Défense d'un chiffre
AvancéTenir un chiffre face à un bailleur, un cluster ou un ministère, et concéder avec justesse lorsque la contestation est fondée.
Avant de commencer
- Le parcours Chargé(e) de suivi-évaluation, ou son équivalent acquis en poste : vous savez déjà définir un indicateur et conduire une évaluation de la qualité des données.
- Deux ou trois cycles de rapportage derrière vous, afin que les défaillances nommées ici soient des choses que vous avez vues arriver.
Fait suite àChargé(e) de suivi-évaluationCe parcours suppose celui-ci acquis plutôt que d'en reprendre les formations.
L'itinéraire
Étape 1
Asseoir les chiffres
Reprendre la définition des indicateurs et la qualité des données en tant que personne qui doit désormais les valider, et non plus les produire.
Étape 2
Rendre les données fiables
Transformer un export brut en un tableau défendable ligne à ligne, et transmettre un journal de nettoyage qui répond à la question de l'auditeur avant qu'elle soit posée.
Étape 3
Assembler les fichiers
Réunir plusieurs exports en une table d'analyse défendable colonne par colonne, avec chaque jointure prouvée, chaque granularité énoncée et chaque dénominateur sourcé.
Étape 4
Contrôler comme un auditeur
Évaluer vos propres données avant qu'un bailleur ne le fasse — cinq dimensions mesurées, un recomptage face à la source, et un rapport où chaque constat a un responsable et une date.
Étape 5
Définir ce que vous rapportez
Rédiger des définitions d'indicateurs que deux analystes calculent de la même façon, défendre le dénominateur, et fixer une référence et une cible qui survivent à une revue à mi-parcours.
Étape 6
Mettre un intervalle dessus
Analyser une enquête en grappes comme son plan l'exige — pondérations issues de la base, effet de plan mesuré, et un intervalle qui dit ce que l'échantillon peut trancher et ce qu'il ne peut pas.
Étape 7
Savoir d'où cela vient
Lire un système de rapportage de routine comme la base de données qu'il est, tirer une extraction que l'on peut désigner des mois plus tard, et répondre à ce qui a été compté pour tout chiffre qu'il produit.
Étape 8
L'appliquer à la nutrition
Porter les méthodes dans un secteur — normes de croissance de l'OMS, plausibilité SMART, phases IPC et seuils de performance Sphere, sur une enquête et un registre de traitement.
Étape 9
Appliquer à la santé publique
Des taux à dénominateur en personnes-temps, des cascades de traitement, la couverture de trois façons, et une liste linéaire d'épidémie transformée en courbe, en taux d'attaque et en létalité défendable.
Étape 10
Appliquer à l'EAH
Les échelles de service du JMP et les minimums Sphère sur une enquête ménage, puis un registre de suivi à visites répétées qui transforme un taux de fonctionnalité en trois et encadre chacun face aux tournées que personne n'a conduites.
Étape 11
Appliquer à la sécurité alimentaire
SCA, ÉFM, ICSR et module d'adaptation construits depuis les composantes brutes et divergeant d'un facteur sept, puis une série de prix dont la saisonnalité éclipse l'effet de programme et le tableau de preuves qui rapporte les deux.
Étape 12
Appliquer à la protection
Les analyses qu'il faut refuser de publier, à côté de celles qui comptent — un circuit de référencement conditionné par le consentement, un écart d'équité de dix-neuf points localisé à une porte précise, et une charge de dossiers qui explique deux autres tableaux.
Étape 13
Appliquer à l'éducation
Taux brut contre taux net sur un dénominateur projeté, deux chiffres de présence distants de vingt-six points, une cohorte à travers passage et redoublement, et deux passations aux instruments différents.
Étape 14
Dire votre degré de certitude
Un intervalle sur chaque proportion, le bon test pour une comparaison, une taille d'effet à côté de chaque valeur p, et le nombre de comparaisons qui ramène deux écoles frappantes au rang de bruit.
Étape 15
Modéliser plusieurs choses à la fois
Un coefficient est une comparaison — laquelle, entre quelles unités, ajustée sur quoi. Un rapport de cotes que votre lecteur interprétera de travers, une covariable qui retire 42 % de l'effet, et un modèle qui explique trois pour cent et tranche une décision de ciblage.
Étape 16
Dire ce qui l'a causé
Un gain de sept points qui est entièrement l'année scolaire, un groupe de comparaison déséquilibré sur chaque caractéristique mesurée, et l'effet minimal détectable qui a décidé de la réponse avant l'existence de la moindre donnée.
Étape 17
Le mettre sous leurs yeux
La marque qu'implique la comparaison, un intervalle qui arrête un classement, une palette qui signifie déjà quelque chose pour ce public, et une figure produite depuis le jeu de données pour que le graphique et la phrase ne puissent pas dériver.
Étape 18
La rendre réexécutable
Des données brutes en lecture seule et le code seul édité, un environnement figé pour que l'ordinateur d'un collègue donne vos nombres, des vérifications qui arrêtent la chaîne au lieu d'en produire une fausse et plausible, et une passation sur laquelle un successeur peut agir.
Étape 19
Le mettre devant la décision
Une page qui répond à une question plutôt qu'à vingt, le panneau de définitions qui met fin à la dispute mensuelle, et le rapport dont constats, limites et recommandation survivent à une lecture séparée.
Projets recommandés
Modalités d'évaluation
Sait spécifier un cadre d'indicateurs pour un programme multi-sites, avec numérateur, dénominateur et désagrégation énoncés pour chaque indicateur.
Preuve attendueUn document de référence des indicateurs évalué selon la grille.
Sait relire une analyse produite par une autre personne et y repérer au moins une erreur méthodologique substantielle.
Preuve attendueUne revue écrite nommant l'erreur, son effet sur la conclusion et la correction.
Sait énoncer les limites d'un chiffre sans pour autant l'abandonner.
Preuve attendueUne section « limites » qu'un relecteur juge ni défensive ni autodestructrice.
Le passage de chargé à chargé principal est le passage de la production d’un chiffre à la responsabilité de ce chiffre. Cela change le métier : l’essentiel de la difficulté n’est plus le calcul, c’est de décider ce qu’il faut compter, de repérer ce qui a été mal compté, et de tenir le résultat dans une pièce où quelqu’un préférerait une autre réponse.
Ce parcours est construit autour de la revue. Les trois projets qu’il recommande ont tous été commandés parce qu’un chiffre déjà publié était faux d’une manière que personne n’avait remarquée — un dénominateur qui comptait les formations silencieuses comme défaillantes, un classement présenté comme une file d’attente, un taux d’aboutissement qui imputait au circuit des personnes ayant refusé un référencement. Lire comment chacun a été découvert, c’est la formation.
Ce qu’il manque encore à ce parcours
Trois cours sont publiés : Fondamentaux de l’analyse de données, Python pour les données de programme et R et le tidyverse pour les données de programme. Le travail de mesure sur lequel repose ce rôle relève du module Indicateurs et mesure, et le jugement de revue du module Statistiques et modélisation — tous deux figurent à la feuille de route et aucun n’est encore écrit. Voir le programme pour le contenu et l’ordre de chacun.