Nettoyage et validation des données

Fondamentaux de l’analyse de données vous a montré que les données de routine arrivent avec des défauts et vous a donné cinq contrôles pour les repérer. Ce cours pose la question suivante : que faire concrètement de chacun d’eux, et comment le prouver ensuite ?

La question est plus lourde qu’il n’y paraît. Presque toute décision de nettoyage déplace un chiffre publié, la plupart le déplacent dans un sens qui arrange, et presque aucune n’est consignée. Un classement de districts qui change quand on supprime les lignes incomplètes, une charge de cas qui baisse de 2 % après dédoublonnage, un taux de couverture qui monte parce que onze villages étaient orthographiés de quatre façons et que trois de ces graphies ont été écartées faute d’appariement — chacun de ces cas est une décision défendable et un silence qui ne l’est pas.

Le cours est donc bâti sur une discipline : chaque modification est une règle, chaque règle est comptée, et le compte accompagne le chiffre. À la fin de la dernière unité, vous disposerez d’un script de validation qui tourne sur l’export du trimestre suivant sans être retouché, et d’un journal de nettoyage qu’un auditeur peut lire sans avoir à vous poser de question.

Chaque technique est présentée en Python et en R. Les exemples s’exécutent sur des jeux de données de la plateforme qui portent réellement ces défauts — le registre de dépistage par PB de douze communes de l’Artibonite, l’enquête ménage EAH où un nom de district est écrit de quatre façons, et l’extraction vaccinale de type DHIS2 où une formation sanitaire qui n’a pas rapporté et une formation sanitaire qui n’a vacciné personne sont indiscernables.

Vous devriez avoir suivi Fondamentaux de l’analyse de données, ou être à l’aise pour charger un export dans un tableau et le regrouper. Les statistiques ne sont pas nécessaires ; le seul cours qui en exige le dit.