Jointures et restructuration des données de programme

Presque aucune question de programme ne trouve sa réponse dans un seul fichier. Les enfants sont dans le registre de dépistage et la population dans la projection du recensement. Les ménages sont dans un export et leurs membres dans un autre. Le registre journalier est dans la tablette et le chiffre mensuel dans DHIS2, et les deux ne concordent pas.

Ce cours porte sur leur assemblage. Il est plus court que le cours de nettoyage et plus difficile, car le mode de défaillance diffère — un défaut de nettoyage rend une valeur fausse, et on peut généralement le voir. Un défaut de jointure rend un nombre de lignes faux, et il n’y a rien à voir : ni erreur, ni avertissement, ni valeur implausible. Une jointure à gauche qui ajoute 120 lignes et un plusieurs-à-plusieurs qui transforme 70 245 lignes en 3,5 millions produisent l’un comme l’autre une table qui ressemble exactement à une table.

La discipline est donc énoncée d’emblée et répétée dans chaque leçon — dites ce que la jointure doit faire avant de l’exécuter, et prouvez ensuite qu’elle l’a fait. Les deux langages vérifient la relation pour vous si vous le demandez, et le demander coûte un argument.

Chaque technique est présentée en Python et en R, sur des jeux de données de la plateforme où le problème est réel — une liste d’élèves qui n’est pas unique sur son propre identifiant, une extraction de type DHIS2 dont la grille complète de douze mois masque quelles formations sanitaires sont restées silencieuses, et une enquête EAH dont l’analyse se fait par personne alors que les données sont par ménage.

Vous devriez avoir suivi Nettoyage et validation des données, ou avoir au moins pris l’habitude d’affirmer une clé avant de l’utiliser. Ce cours-là se termine là où celui-ci commence.