Du défaut à ce qui l'a produit

Un constat n’est pas une cause, et seule une cause se corrige

À ce stade vous avez des constats. Le rapportage s’est effondré à 29 % en août. Une école a sous-déclaré sa présence de 42 %. Une équipe d’enquête arrondit les tailles au demi-centimètre. Vingt-quatre pour cent des âges sont des années entières.

Chacun est un quoi. Aucun n’est un pourquoi, et un plan d’action corrective rédigé face à un quoi produit la phrase qui figure dans la plupart des rapports d’évaluation de ce secteur.

Recommandation. Former le personnel à la qualité des données.

Cette phrase s’écrit quand personne n’a cherché de cause. Elle est infalsifiable, elle est coûteuse, et elle ne changera rien au taux de rapportage d’août, parce que rien dans le mois d’août n’a été causé par un personnel ignorant son métier.

Cinq catégories, et elles n’exigent pas le même argent

Presque toute cause de qualité des données dans les données de programme de routine relève de l’une de cinq catégories. Nommer celle où vous êtes désigne qui doit corriger.

Catégorie	Ressemble à	Se corrige par
Définition	Deux sites comptant des choses différentes sous un même nom d’indicateur	Une fiche de référence d’indicateur écrite
Outil	Un formulaire incapable d’exprimer ce qui s’est passé, ou un système qui perd des valeurs	Une modification du formulaire ou du paramétrage
Capacité	Le bon outil mal utilisé, systématiquement, par quelqu’un à qui on ne l’a jamais montré	Supervision et aide-mémoire, occasionnellement formation
Incitation	Un rapportage qui s’améliore quand on le regarde, ou des chiffres qui atteignent exactement une cible	Changer l’usage qui est fait du nombre
Système	Tout le monde échoue en même temps — ni formulaires, ni carburant, ni réseau, ni superviseur	Logistique, budget, effectifs

Deux remarques sur ce tableau, et les deux reviennent à chaque évaluation.

La définition est la plus grande catégorie et la moins soupçonnée. Un facteur de vérification éloigné de 1 traduit plus souvent deux personnes comptant des choses différentes que quiconque comptant mal. C’est aussi la moins chère à corriger, et le remède — écrire la définition — prévient définitivement la récidive.

La capacité est la plus petite catégorie et la plus fréquemment accusée, car c’est la seule dont le remède est un atelier, et un atelier, cela s’achète.

Laissez les données réduire le champ avant d’interroger quiconque

La forme d’un défaut dit dans quelle catégorie il se trouve, et vous avez déjà les données pour la voir.

by_month = vax.groupby(vax["period"].dt.strftime("%Y-%m"))["reported"].mean()
by_facility = vax.groupby("facility_id")["reported"].mean()

print("spread across months:  ", round(by_month.max() - by_month.min(), 2))
print("spread across facilities:", round(by_facility.max() - by_facility.min(), 2))

by_month <- vax |> mutate(m = format(period, "%Y-%m")) |>
  summarise(r = mean(report_submitted), .by = m)
by_facility <- vax |> summarise(r = mean(report_submitted), .by = facility_id)

c(months = diff(range(by_month$r)), facilities = diff(range(by_facility$r)))

Trois formes, trois catégories.

• Concentrée dans le temps, étalée sur les unités. Août, partout. C’est une cause système — quelque chose a lâché pour tout le district d’un coup. Vingt-sept constats par formation seraient vingt-sept réponses fausses.
• Concentrée sur une unité, étalée dans le temps. Le codage Y/N de SCH09, tous les mois. C’est une cause d’outil ou de définition locale à un site.
• Étalée sur les deux. L’attraction des âges, toutes équipes, toute l’année. C’est une cause de méthode, inhérente à la façon même dont la mesure est prise.

Écrivez la forme avant de proposer une cause. Cela élimine gratuitement trois des cinq catégories, et c’est l’étape qui empêche une défaillance système d’être consignée comme vingt-sept défaillances de capacité.

Puis interrogez le formulaire

Pour tout ce qui est local, regardez l’instrument avant de regarder la personne.

• Quelles valeurs le formulaire peut-il réellement accepter ? Les registres de SCH09 offraient des cases Y/N ; la conversion booléenne de l’extraction reconnaissait true/false. Ni l’enseignant ni l’analyste n’a mal fait, et aucune formation n’y remédie.
• Le champ est-il obligatoire ? Un champ facultatif avec 40 % de non-réponse est une décision de conception de formulaire, pas un problème de conformité.
• Que dit l’intitulé du champ ? Une colonne intitulée « cas » recueille ce que la personne qui la remplit croit être un cas.

Les cinq pourquoi, avec une règle d’arrêt

La technique est classique. Ce qui manque d’ordinaire est une règle d’arrêt, et c’est pourquoi les cinq pourquoi se terminent si souvent sur « le personnel n’est pas motivé ».

Arrêtez-vous quand vous atteignez quelque chose qu’une personne nommée peut changer avec un budget que vous pouvez estimer. Au-delà, c’est de la philosophie.

La présence a été sous-déclarée de 42 % à SCH09. — Pourquoi ? L’extraction a lu Y comme une valeur manquante. — Pourquoi ? Le registre employait Y/N et le formulaire attendait true/false. — Pourquoi ? Le registre papier imprimé en 2019 a des cases oui/non ; le formulaire numérique a été conçu plus tard, séparément. — Arrêt. Le bureau de l’éducation peut réimprimer le registre ou l’équipe SNIS peut accepter les deux codages. Les deux se chiffrent en une après-midi.

Aller plus loin — pourquoi ont-ils été conçus séparément ? — produit des affirmations vraies sur la coordination institutionnelle sur lesquelles personne dans cette évaluation ne peut agir.

Testez la cause sur les données

Une cause proposée fait une prédiction. Vérifiez-la avant de l’écrire ; cela prend une requête et fait la différence entre un constat et une histoire.

# Cause: one school's register uses Y/N. Prediction: Y/N appears in that
# school only, and in most of its months.
yn = attendance[attendance["present"].isin(["Y", "N"])].merge(
    roster[["student_id", "school_id"]], on="student_id", how="left"
)
print(yn["school_id"].value_counts())
print(yn.groupby("school_id")["attendance_date"].nunique())

attendance |>
  filter(present %in% c("Y", "N")) |>
  left_join(select(roster, student_id, school_id), by = "student_id") |>
  count(school_id)

Si les valeurs Y/N s’étaient révélées réparties sur six écoles, la cause ne serait pas un registre — ce serait une convention régionale, et le remède serait différent. Une cause qui survit à son propre test mérite d’être écrite ; une cause jamais testée est une supposition sur le ton d’une conclusion.

Placez la cause au niveau où vit le remède

Dernière discipline, et elle décide de l’équité du rapport.

• Une cause de niveau formation appelle une action de niveau formation. « La fiche de pointage de FAC020 manque » se corrige en livrant une fiche.
• Une cause de niveau district appelle une action de niveau district. « Aucune formation n’a reçu de formulaires en août » ne fait pas trente-huit constats.
• Une cause de niveau système appelle une action de niveau système, et la nommer est souvent ce que le rapport contient de plus précieux, même si personne dans la salle ne peut la corriger aujourd’hui.

Attribuer une cause de niveau district aux formations est l’erreur la plus dommageable de la rédaction d’une évaluation. Elle produit un rapportage défensif, les chiffres se lissent, et l’évaluation du trimestre suivant trouve un jeu de données plus propre et moins vrai.

Nommer les causes sert à rendre le tour suivant meilleur. Un rapport qui répartit les responsabilités avec exactitude et ne change rien a échoué à la seule chose pour laquelle il existait.

La suite

Vous avez des constats, et chacun porte désormais une cause avec son niveau et son test. La dernière leçon est le document — ce qu’il contient, dans quel ordre, et les quatre colonnes qui transforment un constat en quelque chose qui sera encore vrai quand quelqu’un vérifiera dans trois mois.