Leçon 8 sur 8
Unité · Transformer les constats en changement
Le rapport qui change le tour suivant
Constat, cause racine, action corrective, responsable, échéance — cinq colonnes, une ligne par constat. Plus le tour de suivi, seule preuve que tout cela a servi.
Qui le lit réellement
Trois personnes, et elles lisent trois choses différentes.
- Le responsable de programme lit le résumé et veut savoir si les chiffres du rapport du trimestre dernier tiennent.
- Le point focal SNIS ou suivi-évaluation lit le tableau des constats et veut savoir ce qu’on lui demande de faire.
- Le conseiller suivi du bailleur, six mois plus tard, lit la section méthodologie et veut savoir si vos constats ont été obtenus de façon défendable.
Écrivez pour les trois, dans cet ordre, et la structure en découle.
L’ordre
- Ce qui a été évalué. Jeu de données, période, unités de rapportage dans le champ, indicateurs examinés. Quatre lignes.
- Comment. Quelles dimensions, quels contrôles de bureau, quelles formations
visitées et pourquoi celles-là — la colonne
reasonde la leçon d’échantillonnage. - Le tableau de bord. Cinq dimensions, cinq mesures, celle que vous n’avez pas pu mesurer figurant comme constat plutôt que comme case vide.
- Les constats. Le tableau ci-dessous.
- Ce que cela implique pour les chiffres publiés. La section que tout le monde saute et dont le responsable de programme a besoin.
- Les limites. Ce que l’échantillon ne permet pas de soutenir, ce que vous n’avez pas pu vérifier.
La section cinq mérite qu’on y insiste. Une évaluation qui documente des défauts sans dire si le taux de couverture du trimestre dernier doit être réémis a laissé la décision à quelqu’un qui doit maintenant lire les six sections pour la prendre.
Le tableau des constats
Une ligne par constat, et cinq colonnes non négociables.
| # | Constat | Cause racine | Action corrective | Responsable | Échéance |
|---|---|---|---|---|---|
| 1 | Le taux de rapportage tombe à 29 % en août et 45 % en septembre, dans tout le district | Système — approvisionnement en formulaires interrompu, toutes formations simultanément | Confirmer la cause avec la logistique ; constituer deux mois de stock tampon de registres | Responsable SNIS du district | 30 sept. |
| 2 | SCH09 a sous-déclaré la présence de 42 % (facteur 1,42) | Outil — le registre imprime des cases Y/N ; l’extraction ne reconnaît que true/false | Accepter Y/N dans la table de correspondance ; réimprimer le registre à la prochaine commande | Gestionnaire de données SNIS | 15 août |
| 3 | L’équipe d’enquête 2 arrondit les tailles au 0,5 cm (69 % contre 18 à 23 %) | Capacité — toise lue au demi-centimètre | Reformer l’équipe 2 à la lecture de la toise ; le superviseur observe 10 mesures | Coordinateur d’enquête | Avant le prochain tour |
| 4 | La promptitude ne peut pas être évaluée ; aucune date de transmission dans l’extraction | Outil — date de complétude non reprise dans l’export standard | Ajouter la date de complétude au cahier des charges de l’extraction | Point focal SNIS | Prochaine extraction trimestrielle |
| 5 | 24 % des âges tombent sur une année entière exacte (9 % attendus) | Méthode — âge estimé plutôt que documenté | Ajouter un calendrier d’événements locaux au kit enquêteur ; recouper avec l’âge des fratries | Coordinateur d’enquête | Avant le prochain tour |
Trois propriétés font fonctionner ce tableau.
Chaque constat contient un nombre. « Le rapportage était mauvais en août » n’est pas un constat ; « 29 %, contre 82 à 92 % les autres mois » en est un. C’est le nombre qui permettra au tour de suivi de dire si quelque chose a bougé.
Chaque responsable est une fonction, et une personne l’occupe. « Le district » ne se relance pas. Écrivez la fonction, et vérifiez que quelqu’un l’occupe effectivement — une action confiée à un poste vacant est un constat en soi.
Chaque échéance est une date. « En continu » et « dès que possible » signifient tous deux jamais, et tout le monde dans la salle le sait quand c’est écrit.
Des constats qu’un lecteur peut vérifier
Rédigez chacun de sorte que quelqu’un disposant des mêmes données puisse le reproduire. C’est ce qui sépare une évaluation d’une opinion, et cela coûte une proposition subordonnée.
findings = pd.DataFrame([
{
"id": 2,
"dimension": "Accuracy",
"unit": "SCH09",
"measure": "verification factor",
"value": 1.416,
"comparator": "district 1.012, 23 of 24 schools exactly 1.000",
"evidence": "outputs/verification-factors.csv",
},
])
findings.to_csv("outputs/dqa-findings.csv", index=False)findings <- tibble::tribble(
~id, ~dimension, ~unit, ~measure, ~value, ~comparator,
2L, "Accuracy", "SCH09", "verification factor", 1.416, "district 1.012"
)
readr::write_csv(findings, here::here("outputs", "dqa-findings.csv"))La colonne comparator est celle qu’on omet. Un facteur de vérification de 1,42
ne veut rien dire tant que le lecteur ignore que les vingt-trois autres écoles
étaient à 1,000 — c’est cette comparaison qui transforme un nombre en constat.
La colonne evidence désigne le fichier qui l’a produit, même discipline que le
journal de nettoyage — l’artefact voyage avec l’affirmation.
Notez les dimensions, ne notez pas le district
Publiez le tableau de bord comme cinq mesures avec leurs sources. Si un composite est exigé, placez-le à côté et énoncez les pondérations.
scorecard = pd.DataFrame({
"dimension": ["Completeness", "Timeliness", "Accuracy", "Consistency", "Integrity"],
"measure": ["Reporting rate", "Not assessable", "Verification factor",
"Outlier rate", "Round-number share"],
"value": ["76.5%", "-", "1.012 district / 1.42 worst unit",
"11 of 2,094 below half own median", "10.4%, chance level"],
"finding": [1, 4, 2, None, None],
})scorecard <- tibble::tribble(
~dimension, ~measure, ~value, ~finding,
"Completeness", "Reporting rate", "76.5%", 1L,
"Timeliness", "Not assessable", "-", 4L,
"Accuracy", "Verification factor", "1.012 district / 1.42 max", 2L,
"Consistency", "Outlier rate", "11 of 2,094", NA_integer_,
"Integrity", "Round-number share", "10.4%, chance level", NA_integer_
)Remarquez que la ligne d’exactitude porte deux nombres. Une dimension résumée par un seul nombre masque la distribution, et la distribution était tout le constat.
Remarquez aussi les deux lignes sans constat rattaché. Intégrité et cohérence sont revenues propres, et le dire explicitement vaut autant que les constats — le lecteur sait quels contrôles ont été exécutés et passés, au lieu de se demander s’ils l’ont été.
Le tour de suivi est l’essentiel
Une évaluation ne vaut rien à elle seule. Elle prend de la valeur quand les mêmes contrôles tournent à nouveau et que les nombres bougent.
history = pd.concat([
pd.read_csv(p).assign(round=p.stem)
for p in sorted(Path("outputs/dqa").glob("*.csv"))
])
print(history.pivot_table(index="measure", columns="round", values="value"))history <- purrr::map_dfr(
list.files(here::here("outputs", "dqa"), full.names = TRUE),
~ readr::read_csv(.x) |> dplyr::mutate(round = tools::file_path_sans_ext(basename(.x)))
)
tidyr::pivot_wider(history, id_cols = measure, names_from = round, values_from = value)| Mesure | T3 | T4 | Évolution |
|---|---|---|---|
| Taux de rapportage | 76,5 % | 88,1 % | +11,6 pt |
| Écoles hors tolérance | 1 sur 24 | 0 sur 24 | clos |
| Tailles arrondies, équipe 2 | 69 % | 24 % | clos |
Ce tableau est le livrable qui justifie le travail. Il donne aussi un verdict à chaque action corrective — faite, non faite, ou faite sans effet — ce qui est exactement la redevabilité que demande l’engagement de la CHS sur la gestion de l’information.
Reportez chaque action ouverte. Une action qui figure dans trois rapports consécutifs sans se clore est elle-même un constat, et généralement de niveau système.
La présenter à ceux qu’elle décrit
Dernier point, et il décide si le tour suivant sera meilleur ou plus silencieux.
- Montrez-la-leur d’abord. Un constat qu’une formation découvre dans un rapport bailleur sera contesté, et la contestation portera sur votre méthode plutôt que sur les données.
- Commencez par les constats système. Ouvrir sur l’approvisionnement en formulaires d’août établit que l’évaluation regarde toute la chaîne et non des individus.
- Nommez ce qui était propre. Vingt-trois écoles sur vingt-quatre étaient exactes. Dites-le avant de dire que la vingt-quatrième ne l’était pas.
- Demandez-leur la cause. Ceux qui ont rempli le registre savent en général pourquoi il a cette allure, et ils vous le diront si la réunion n’est pas un tribunal.
La mesure d’une évaluation de la qualité des données n’est pas le nombre de constats produits. C’est de savoir si les données du trimestre suivant sont meilleures, et le rapportage défensif est le seul résultat qui garantit qu’elles ne le seront pas.
Ce que ce cours, et ce module, vous laissent
Vous savez profiler un export neuf et consigner chacune de vos modifications. Vous savez assembler plusieurs fichiers et prouver que les jointures ont fait ce que vous aviez annoncé. Et vous savez désormais évaluer le résultat comme le fera un auditeur — cinq dimensions avec leurs mesures, un recomptage face à la source, un échantillon défendable, et un rapport où chaque constat a un responsable et une date.
Le module 2 est complet, et c’est celui que tous les cours sectoriels supposent acquis.
Le module 3, Indicateurs et mesure, est ce à quoi tout cela préparait. Il s’ouvre sur Conception d’indicateurs et cadre logique — rédiger des définitions assez précises pour que deux analystes les calculant séparément obtiennent le même chiffre, ce qui est le défaut sous-jacent à plus de la moitié des constats de ce cours.