Retour à la leçon·Leçon 8 sur 8·Transformer les constats en changement
Le rapport qui change le tour suivant
Le même diaporama que les téléchargements, rendu sous forme de page. Lancez le diaporama pour le présenter en plein écran — les flèches ou un clic avancent d'une diapositive, Échap quitte.
Ce que couvre cette leçon
- Qui le lit réellement
- L'ordre
- Le tableau des constats
- Des constats qu'un lecteur peut vérifier
- Notez les dimensions, ne notez pas le district
- Le tour de suivi est l'essentiel
- La présenter à ceux qu'elle décrit
- Ce que ce cours, et ce module, vous laissent
Notes du présentateur
Constat, cause racine, action corrective, responsable, échéance — cinq colonnes, une ligne par constat. Plus le tour de suivi, seule preuve que tout cela a servi.Qui le lit réellement
- Le responsable de programme lit le résumé et veut savoir si les chiffres du rapport du trimestre dernier tiennent.
- Le point focal SNIS ou suivi-évaluation lit le tableau des constats et veut savoir ce qu'on lui demande de faire.
- Le conseiller suivi du bailleur, six mois plus tard, lit la section méthodologie et veut savoir si vos constats ont…
Notes du présentateur
Trois personnes, et elles lisent trois choses différentes. Écrivez pour les trois, dans cet ordre, et la structure en découle.L'ordre
- Ce qui a été évalué. Jeu de données, période, unités de rapportage dans le champ, indicateurs examinés. Quatre…
- Comment. Quelles dimensions, quels contrôles de bureau, quelles formations visitées et pourquoi celles-là — la…
- Le tableau de bord. Cinq dimensions, cinq mesures, celle que vous n'avez pas pu mesurer figurant comme constat…
- Les constats. Le tableau ci-dessous.
- Ce que cela implique pour les chiffres publiés. La section que tout le monde saute et dont le responsable de…
- Les limites. Ce que l'échantillon ne permet pas de soutenir, ce que vous n'avez pas pu vérifier.
Notes du présentateur
La section cinq mérite qu'on y insiste. Une évaluation qui documente des défauts sans dire si le taux de couverture du trimestre dernier doit être réémis a laissé la décision à quelqu'un qui doit maintenant lire les six sections pour la prendre.Le tableau des constats
# Constat Cause racine Action corrective Responsable Échéance 1 Le taux de rapportage tombe à 29 % en août et 45 % en septembre, dans tout le district Système — approvisionnement en formulaires interrompu, toutes formations simultanément Confirmer la cause avec la logistique ; constituer deux mois de stock tampon de registres Responsable SNIS du district 30 sept. 2 SCH09 a sous-déclaré la présence de 42 % (facteur 1,42) Outil — le registre imprime des cases Y/N ; l'extraction ne reconnaît que true/false Accepter Y/N dans la table de correspondance ; réimprimer le registre à la prochaine commande Gestionnaire de données SNIS 15 août 3 L'équipe d'enquête 2 arrondit les tailles au 0,5 cm (69 % contre 18 à 23 %) Capacité — toise lue au demi-centimètre Reformer l'équipe 2 à la lecture de la toise ; le superviseur observe 10 mesures Coordinateur d'enquête Avant le prochain tour 4 La promptitude ne peut pas être évaluée ; aucune date de transmission dans l'extraction Outil — date de complétude non reprise dans l'export standard Ajouter la date de complétude au cahier des charges de l'extraction Point focal SNIS Prochaine extraction trimestrielle 5 24 % des âges tombent sur une année entière exacte (9 % attendus) Méthode — âge estimé plutôt que documenté Ajouter un calendrier d'événements locaux au kit enquêteur ; recouper avec l'âge des fratries Coordinateur d'enquête Avant le prochain tour Notes du présentateur
Une ligne par constat, et cinq colonnes non négociables.Le tableau des constats
- Chaque constat contient un nombre — « Le rapportage était mauvais en août » n'est pas un constat ; « 29 %, contre 82 à…
- Chaque responsable est une fonction, et une personne l'occupe — « Le district » ne se relance pas
- Chaque échéance est une date — « En continu » et « dès que possible » signifient tous deux jamais, et tout le monde…
Notes du présentateur
Trois propriétés font fonctionner ce tableau. Chaque constat contient un nombre. « Le rapportage était mauvais en août » n'est pas un constat ; « 29 %, contre 82 à 92 % les autres mois » en est un. C'est le nombre qui permettra au tour de suivi de dire si quelque chose a bougé. Chaque responsable est une fonction, et une personne l'occupe. « Le district » ne se relance pas. Écrivez la fonction, et vérifiez que quelqu'un l'occupe effectivement — une action confiée à un poste vacant est un constat en soi. Chaque échéance est une date. « En continu » et « dès que possible » signifient tous deux jamais, et tout le monde dans la salle le sait quand c'est écrit.Des constats qu'un lecteur peut vérifier — En Python
findings = pd.DataFrame([ { "id": 2, "dimension": "Accuracy", "unit": "SCH09", "measure": "verification factor", "value": 1.416, "comparator": "district 1.012, 23 of 24 schools exactly 1.000", "evidence": "outputs/verification-factors.csv", }, ]) findings.to_csv("outputs/dqa-findings.csv", index=False)Notes du présentateur
Rédigez chacun de sorte que quelqu'un disposant des mêmes données puisse le reproduire. C'est ce qui sépare une évaluation d'une opinion, et cela coûte une proposition subordonnée.Des constats qu'un lecteur peut vérifier — En R
findings <- tibble::tribble( ~id, ~dimension, ~unit, ~measure, ~value, ~comparator, 2L, "Accuracy", "SCH09", "verification factor", 1.416, "district 1.012" ) readr::write_csv(findings, here::here("outputs", "dqa-findings.csv"))Notes du présentateur
La colonnecomparatorest celle qu'on omet. Un facteur de vérification de 1,42 ne veut rien dire tant que le lecteur ignore que les vingt-trois autres écoles étaient à 1,000 — c'est cette comparaison qui transforme un nombre en constat. La colonneevidencedésigne le fichier qui l'a produit, même discipline que le journal de nettoyage — l'artefact voyage avec l'affirmation.Notez les dimensions, ne notez pas le district — En Python
scorecard = pd.DataFrame({ "dimension": ["Completeness", "Timeliness", "Accuracy", "Consistency", "Integrity"], "measure": ["Reporting rate", "Not assessable", "Verification factor", "Outlier rate", "Round-number share"], "value": ["76.5%", "-", "1.012 district / 1.42 worst unit", "11 of 2,094 below half own median", "10.4%, chance level"], "finding": [1, 4, 2, None, None], })Notes du présentateur
Publiez le tableau de bord comme cinq mesures avec leurs sources. Si un composite est exigé, placez-le à côté et énoncez les pondérations.Notez les dimensions, ne notez pas le district — En R
scorecard <- tibble::tribble( ~dimension, ~measure, ~value, ~finding, "Completeness", "Reporting rate", "76.5%", 1L, "Timeliness", "Not assessable", "-", 4L, "Accuracy", "Verification factor", "1.012 district / 1.42 max", 2L, "Consistency", "Outlier rate", "11 of 2,094", NA_integer_, "Integrity", "Round-number share", "10.4%, chance level", NA_integer_ )Notes du présentateur
Remarquez que la ligne d'exactitude porte deux nombres. Une dimension résumée par un seul nombre masque la distribution, et la distribution était tout le constat. Remarquez aussi les deux lignes sans constat rattaché. Intégrité et cohérence sont revenues propres, et le dire explicitement vaut autant que les constats — le lecteur sait quels contrôles ont été exécutés et passés, au lieu de se demander s'ils l'ont été.Le tour de suivi est l'essentiel — En Python
history = pd.concat([ pd.read_csv(p).assign(round=p.stem) for p in sorted(Path("outputs/dqa").glob("*.csv")) ]) print(history.pivot_table(index="measure", columns="round", values="value"))Notes du présentateur
Une évaluation ne vaut rien à elle seule. Elle prend de la valeur quand les mêmes contrôles tournent à nouveau et que les nombres bougent.Le tour de suivi est l'essentiel — En R
history <- purrr::map_dfr( list.files(here::here("outputs", "dqa"), full.names = TRUE), ~ readr::read_csv(.x) |> dplyr::mutate(round = tools::file_path_sans_ext(basename(.x))) ) tidyr::pivot_wider(history, id_cols = measure, names_from = round, values_from = value)Le tour de suivi est l'essentiel
Mesure T3 T4 Évolution Taux de rapportage 76,5 % 88,1 % +11,6 pt Écoles hors tolérance 1 sur 24 0 sur 24 clos Tailles arrondies, équipe 2 69 % 24 % clos Le tour de suivi est l'essentiel
- Reportez chaque action ouverte — Une action qui figure dans trois rapports consécutifs sans se clore est elle-même un…
Notes du présentateur
Ce tableau est le livrable qui justifie le travail. Il donne aussi un verdict à chaque action corrective — faite, non faite, ou faite sans effet — ce qui est exactement la redevabilité que demande l'engagement de la CHS sur la gestion de l'information. Reportez chaque action ouverte. Une action qui figure dans trois rapports consécutifs sans se clore est elle-même un constat, et généralement de niveau système.La présenter à ceux qu'elle décrit
- Montrez-la-leur d'abord. Un constat qu'une formation découvre dans un rapport bailleur sera contesté, et la…
- Commencez par les constats système. Ouvrir sur l'approvisionnement en formulaires d'août établit que l'évaluation…
- Nommez ce qui était propre. Vingt-trois écoles sur vingt-quatre étaient exactes. Dites-le avant de dire que la…
- Demandez-leur la cause. Ceux qui ont rempli le registre savent en général pourquoi il a cette allure, et ils vous…
Notes du présentateur
Dernier point, et il décide si le tour suivant sera meilleur ou plus silencieux.La présenter à ceux qu'elle décrit
La mesure d'une évaluation de la qualité des données n'est pas le nombre de constats produits. C'est de savoir si les données du trimestre suivant sont meilleures, et le rapportage défensif est le seul résultat qui garantit qu'elles ne le seront pas.
Ce que ce cours, et ce module, vous laissent
- Vous savez profiler un export neuf et consigner chacune de vos modifications.
Notes du présentateur
Vous savez profiler un export neuf et consigner chacune de vos modifications. Vous savez assembler plusieurs fichiers et prouver que les jointures ont fait ce que vous aviez annoncé. Et vous savez désormais évaluer le résultat comme le fera un auditeur — cinq dimensions avec leurs mesures, un recomptage face à la source, un échantillon défendable, et un rapport où chaque constat a un responsable et une date. Le module 2 est complet, et c'est celui que tous les cours sectoriels supposent acquis. Le module 3, Indicateurs et mesure, est ce à quoi tout cela préparait. Il s'ouvre sur Conception d'indicateurs et cadre logique — rédiger des définitions assez précises pour que deux analystes les calculant séparément obtiennent le même chiffre, ce qui est le défaut sous-jacent à plus de la moitié des constats de ce cours.