cassionAnalyse de données

Retour à la leçonLeçon 8 sur 8Jugement

Ce qu'un évaluateur fait de vos chiffres

Le même diaporama que les téléchargements, rendu sous forme de page. Lancez le diaporama pour le présenter en plein écran — les flèches ou un clic avancent d'une diapositive, Échap quitte.

Diapositives · PDFDiapositives · PowerPoint

  1. Diapositive 1 / 15

    Ce que couvre cette leçon

    • La revue est le test pour lequel vos indicateurs ont été bâtis
    • Les six critères, et la question que chacun pose à vos données
    • Efficacité — là où la fiche de référence se rembourse
    • Impact — dites ce que vous ne pouvez pas affirmer
    • L'efficience exige un dénominateur que vous n'avez sans doute pas
    • Les quatre lacunes qui ne se comblent qu'en amont
    • Constituez le dossier de preuves au fil de l'eau
    • Le résumé d'une page que veut réellement un évaluateur
    • Ce que ce cours vous laisse
    Notes du présentateur
    Six critères du CAD de l'OCDE, la question que chacun pose à votre jeu d'indicateurs, et les lacunes qui ne se comblent qu'avant l'évaluation et non pendant.

  2. Diapositive 2 / 15

    La revue est le test pour lequel vos indicateurs ont été bâtis

    • À un moment, quelqu'un d'extérieur — une revue à mi-parcours, une évaluation finale, un conseiller suivi du bailleur — prend votre cadre logique, vos fiches de référence et vos chiffres rapportés, et demande s'ils soutiennent ce que le programme affirme.
    Notes du présentateur
    À un moment, quelqu'un d'extérieur — une revue à mi-parcours, une évaluation finale, un conseiller suivi du bailleur — prend votre cadre logique, vos fiches de référence et vos chiffres rapportés, et demande s'ils soutiennent ce que le programme affirme. L'essentiel de la réponse s'est décidé dix-huit mois plus tôt, dans des choix que ce cours a déjà couverts. Cette leçon est la liste de contrôle lue à l'envers — ce qui sera demandé, et ce qu'il faut avoir déjà fait.

  3. Diapositive 3 / 15

    Les six critères, et la question que chacun pose à vos données

    CritèreLa questionCe qu'il exige de vous
    PertinenceÉtait-ce la bonne chose à faire ?Des données d'évaluation des besoins, et des indicateurs mesurant le besoin et non la seule activité
    CohérenceCela s'articulait-il au reste ?Des définitions comparables — la leçon sur les normes, encaissée
    EfficacitéLes objectifs ont-ils été atteints ?Référence, cible, et un indicateur d'effet qui ne soit pas un produit
    EfficienceL'usage des ressources était-il raisonnable ?Portée ou volume avec un dénominateur, et des données de coût jointes
    ImpactQuelle différence cela a-t-il faite au total ?Un contrefactuel, ou l'énoncé honnête que vous n'en avez pas
    DurabilitéLes bénéfices dureront-ils ?Une mesure après passation, que presque personne n'a
    Notes du présentateur
    Les critères du CAD de l'OCDE sont le vocabulaire de presque toute évaluation de ce secteur. Parcourez la colonne de droite et vous prédirez les critères sur lesquels votre programme sera mal noté, avant toute visite.

  4. Diapositive 4 / 15

    Efficacité — là où la fiche de référence se rembourse

    • Quelle était la cible, et d'où venait-elle ? Les quatre méthodes de la leçon précédente. « Négociée » est une…
    • Quelle était la référence, mesurée comment, et quand ? Même indicateur, même méthode, avant.
    • La valeur rapportée est-elle calculée comme la référence ? Versionnez la fiche ou vous ne pourrez pas répondre.
    • Qu'est-ce qui pourrait expliquer le changement ? Les alternatives listées en répondant à la deuxième question de la…
    Notes du présentateur
    C'est le critère auquel les évaluations consacrent le plus de temps, et il se traite presque entièrement à partir des artefacts de l'unité 2. Un évaluateur demandera, dans cet ordre :

  5. Diapositive 5 / 15

    Efficacité — là où la fiche de référence se rembourse — En Python

    evidence = pd.DataFrame({
    "indicator": ["penta3_coverage_percent_monthly"],
    "baseline": [61.4],
    "baseline_period": ["2023 mean"],
    "target": [85.0],
    "target_basis": ["negotiated, assumed full outreach budget"],
    "latest": [72.8],
    "sheet_version": ["2.1"],
    "same_method": [True],
    "confounders": ["reporting completeness rose from 71% to 77% over the period"],
})

  6. Diapositive 6 / 15

    Efficacité — là où la fiche de référence se rembourse — En R

    evidence <- tibble::tribble(
  ~indicator,                        ~baseline, ~target, ~latest, ~sheet_version, ~same_method,
  "penta3_coverage_percent_monthly",      61.4,    85.0,    72.8,          "2.1",         TRUE
)
    Notes du présentateur
    Le champ confounders est celui qui transforme une conversation défensive en conversation professionnelle. Un taux de complétude passant de 71 % à 77 % fait monter la couverture mesurée sans qu'un seul enfant supplémentaire soit vacciné. Le dire vous-même, en premier, vaut plus que n'importe quel nombre de la ligne.

  7. Diapositive 7 / 15

    Impact — dites ce que vous ne pouvez pas affirmer

    • Une évolution avant-après, étiquetée comme telle, avec les explications alternatives nommées.
    • Une comparaison avec une zone hors programme, assortie d'un énoncé explicite des raisons de leur comparabilité ou…
    • Une cohérence avec la théorie du changement — les étapes intermédiaires ont bougé dans l'ordre prévu, ce qui est un…
    Notes du présentateur
    Le critère d'impact demande quelle différence le programme a faite, ce qui est une question contrefactuelle. Les données de suivi de routine ne peuvent pas y répondre, et prétendre le contraire est le moyen le plus rapide de perdre la confiance d'un évaluateur sur tout le reste. Ce que vous pouvez honnêtement offrir. Ce que vous ne pouvez pas offrir sans un protocole qui le permette, c'est l'attribution. Méthodes d'évaluation d'impact, plus loin dans le programme, porte entièrement sur les protocoles qui le permettent — randomisation, différences de différences, appariement, régression sur discontinuité — et la position honnête d'ici là est celle énoncée franchement.

  8. Diapositive 8 / 15

    L'efficience exige un dénominateur que vous n'avez sans doute pas

    • Les questions d'efficience sont d'ordinaire un coût par unité de résultat, et elles échouent sur la jointure plutôt que sur l'arithmétique — les données financières sont par ligne budgétaire et par mois, les données de programme par activité et par formation, et rien ne les relie.
    Notes du présentateur
    Les questions d'efficience sont d'ordinaire un coût par unité de résultat, et elles échouent sur la jointure plutôt que sur l'arithmétique — les données financières sont par ligne budgétaire et par mois, les données de programme par activité et par formation, et rien ne les relie. Si l'efficience doit être évaluée, décidez l'unité dès la conception et faites partager une clé aux deux systèmes. La rétro-adapter au moment de l'évaluation produit un nombre auquel personne ne croit, y compris celui qui l'a calculé.

  9. Diapositive 9 / 15

    Les quatre lacunes qui ne se comblent qu'en amont

    • Pas de référence sur la même définition. Se règle en versionnant la fiche dès le départ.
    • Aucune donnée sur les hypothèses. Se règle en donnant aux deux ou trois hypothèses critiques leurs propres…
    • Aucun indicateur d'effet, seulement des produits. Se règle à la conception du cadre logique, et la leçon 1 apprend…
    • Aucune mesure après passation. Se règle en budgétant un passage de suivi, ce que presque aucune proposition ne fait…
    Notes du présentateur
    Le jour où l'évaluateur arrive, elles sont figées. Chacune est bon marché dix-huit mois plus tôt et impossible le jour même.

  10. Diapositive 10 / 15

    Constituez le dossier de preuves au fil de l'eau — Exemple

    evidence/
  indicators/                reference sheets, versioned
  baseline/                  values, method notes, extract date
  targets/                   values, basis, revision history
  series/                    every period, every indicator, one row each
  dqa/                       assessment rounds and follow-ups
  assumptions/               stock-outs, access days, vacancy rates
  limitations.md             what the data cannot support
    Notes du présentateur
    L'artefact qui rend une revue simple est un dossier, tenu en continu, et non assemblé dans les quinze jours précédant la visite. Six de ces sept sortent d'un travail que ce module exigeait déjà. Les fiches de référence sont l'unité 2, les passages d'évaluation viennent du cours précédent, la série est la table d'analyse du cours sur les jointures. Le dossier de preuves est surtout une convention de nommage posée sur des choses que vous avez déjà.

  11. Diapositive 11 / 15

    Le résumé d'une page que veut réellement un évaluateur — En Python

    summary = (
    evidence[["indicator", "baseline", "target", "latest", "same_method"]]
    .assign(progress=lambda d: (d["latest"] - d["baseline"])
                               / (d["target"] - d["baseline"]))
)
print(summary.round(2))

  12. Diapositive 12 / 15

    Le résumé d'une page que veut réellement un évaluateur — En R

    evidence |>
  mutate(progress = (latest - baseline) / (target - baseline)) |>
  select(indicator, baseline, target, latest, progress, same_method)

  13. Diapositive 13 / 15

    Le résumé d'une page que veut réellement un évaluateur

    Une évaluation n'est pas un examen de votre programme. C'est un examen de la question de savoir si vos preuves soutiennent ce que votre programme a affirmé. Les deux se dissocient plus souvent qu'on ne le croit, et la fiche de référence est l'endroit où on les tient ensemble.
    Notes du présentateur
    L'avancement par rapport à la trajectoire, par indicateur, avec un indicateur disant si la méthode est restée constante. Tout ce qui est plus élaboré sera de toute façon reconstruit par l'évaluateur ; tout ce qui est moindre sera reconstruit par l'évaluateur à partir de vos fichiers bruts, avec ses hypothèses et non les vôtres.

  14. Diapositive 14 / 15

    Ce que ce cours vous laisse

    • Vous savez suivre un indicateur depuis le changement qu'il doit attester jusqu'à l'arithmétique, rédiger une fiche de référence à partir de laquelle un inconnu calcule, défendre un dénominateur, distinguer portée et couverture, adopter une définition normalisée et documenter votre écart, fixer une référence et une cible qui résistent à l'examen, et assembler les preuves qu'une revue demandera.
    Notes du présentateur
    Vous savez suivre un indicateur depuis le changement qu'il doit attester jusqu'à l'arithmétique, rédiger une fiche de référence à partir de laquelle un inconnu calcule, défendre un dénominateur, distinguer portée et couverture, adopter une définition normalisée et documenter votre écart, fixer une référence et une cible qui résistent à l'examen, et assembler les preuves qu'une revue demandera. La suite du module 3 prend au sérieux deux problèmes de mesure précis. Analyse d'enquêtes, échantillonnage et pondération vient ensuite et est le cours le plus lourd du programme à ce jour — pondérations, strates, effet de plan et intervalles de confiance, ce qui transforme une estimation en estimation assortie d'une marge. Après lui, Données de routine et DHIS2 revient aux systèmes agrégés auxquels ce cours n'a cessé d'emprunter, et répond à la question qui suit toujours un taux de couverture — qu'a-t-on exactement compté ?

  15. Diapositive 15 / 15

    La suite

    Lire la leçon complète, avec le code exécutable Retour à la leçon