Leçon 2 - Validation des données restructurées par rapport à un schéma.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# _Leçon 2_: Validation des données restructurées par rapport à un schéma à l'aide d'un tableur\n",
    "\n",
    "<div class=\"alert alert-block alert-warning\">\n",
    "    <b>A la fin de la formation, vous pourrez:</b>\n",
    "    <br>\n",
    "    <ul>\n",
    "        <li>Comprendre et utiliser des définitions standard pour écrire un schéma JSON pour la validation des données.</li>\n",
    "        <li>Valider des données à l'aide de Microsoft Excel.</li>\n",
    "        <li>Apprendre à valider sur des schémas définis les données exploitables par machine en utilisant des applications en ligne.</li>\n",
    "    </ul>\n",
    "</div>\n",
    "\n",
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2.1 Création d'un schéma JSON\n",
    "\n",
    "Lorsque vous avez produit votre fichier exploitable par machine dans la leçon 1, vous avez imaginé votre propre approche pour structurer la ligne d'en-tête et les données. Vous avez nommé les colonnes vous-même, et décidé du nombre de colonnes et des données qu'elles devaient contenir. Pour ce faire, vous avez passé en revue les données sources.\n",
    "\n",
    "Cependant, cette approche pose des problèmes :\n",
    "\n",
    "- Comment allez-vous maintenir la cohérence entre les mises à jour ? \n",
    "- Comment différentes personnes, travaillant sur des données similaires ou des mises à jour consécutives, assureront-elles la cohérence entre elles ?\n",
    "- Comment saurez-vous si le fichier restructuré que vous avez créé est réellement lisible par la machine ?\n",
    "\n",
    "Si un programmeur voulait construire une application - disons une application qui aide les gens à trouver l'arrêt de bus le plus proche - et que vous modifiez la structure des mises à jour d'une version à l'autre, il ne pourra pas automatiser son programme, et cela pourrait l'empêcher de le construire.\n",
    "\n",
    "La première étape du cycle de vie des données n'est pas simplement d'entrer dans vos données et de les restructurer. Vous devez d'abord définir un `schéma`.\n",
    "\n",
    "![Cycle de vie des données](images/data-lifecycle-fr.jpg)\n",
    "\n",
    "Votre `schéma` définit les métadonnées structurelles pour votre processus de préparation. Ce n'est pas le format dans lequel vos données d'entrée arrivent, mais c'est ce à quoi vous voulez qu'elles ressemblent lorsque vous avez terminé.\n",
    "\n",
    "Les termes standard utilisés sont définis par [JSON Schema](https://json-schema.org/learn/) et affinés pour être utilisés dans la structuration des données CSV dans le [Table Schema](https://specs.frictionlessdata.io/table-schema/) de Frictionless Data.\n",
    "\n",
    "En termes simples, vous devez spécifier les colonnes dans lesquelles un CSV ou un fichier Excel d'entrée sera restructuré. Les nouvelles colonnes sont définies par les champs de votre schéma. Ces champs cibles seront probablement ceux de votre base de données ou de votre logiciel d'analyse. Tant que vos données d'entrée ne seront pas conformes à cette structure, vos données ne seront pas validées.\n",
    "\n",
    "### 2.1.1 Exigences minimales valides\n",
    "\n",
    "Un schéma minimum valide nécessite un `name` pour identifier le schéma, et un seul `field`  minimum valide contenant un `name` et un `type` :\n",
    "\n",
    "    {\n",
    "        \"name\": \"Un nom simple\",\n",
    "        \"fields\": [\n",
    "            {\n",
    "                \"name\":  \"Nom du champ, par exemple 'nom_colonne'\",\n",
    "                \"type\": \"Type de données valide, par exemple 'string', 'number'\"\n",
    "                }\n",
    "            }\n",
    "        ]\n",
    "    }\n",
    "\n",
    "Tout le reste est facultatif, sauf si ce type de champ l'exige spécifiquement.\n",
    "\n",
    "Un schéma JSON ressemble à un dictionnaire Python, mais faites très attention aux `,` en fin de lignes. Le dernier élément d'une liste ne doit PAS comporter de virgule. \n",
    "\n",
    "> Vous pouvez considérer un schéma `field` comme une `column` dans une table, ou un `field` dans une base de données. Les champs ont un `type`, tel qu'un entier ou du texte.\n",
    "\n",
    "La valeur des `fields` est une liste, ou - dans la terminologie JSON - un `array` d'`objects` du dictionnaire. Il n'est pas surprenant que chaque champ ait un `name`, un `title` et une `description`, dont seul le `name` est requis. \n",
    "\n",
    "### 2.1.2 Types\n",
    "\n",
    "Les champs ont également un `type`. Celui-ci décrit les données attendues et limite les actions qui peuvent être effectuées pendant le processus de préparation des données :\n",
    "\n",
    "* `string`: toute chaîne de texte.\n",
    "* `number`: toute valeur numérique, y compris les nombres entiers et les nombres flottants.\n",
    "* `integer`: toute valeur basée sur des nombres entiers.\n",
    "* `boolean`: une valeur booléenne [`true`, `false`].\n",
    "* `object`: toute donnée JSON valide.\n",
    "* `array`: toute donnée valide basée sur un array.\n",
    "* `date`: toute date sans heure. Doit être au format ISO8601, `YYYY-MM-DD`.\n",
    "* `datetime`: toute date avec une heure. Doit être au format ISO8601, avec l'heure UTC spécifiée (en option) comme `YYYY-MM-DD hh:mm:ss Zz`.\n",
    "* `year`: toute année, formatée comme `YYYY`.\n",
    "\n",
    "Il existe d'autres [types et formats](https://specs.frictionlessdata.io/table-schema/#types-and-formats) comme les `geojson`, les `geopoints` et les variations de dates.\n",
    "\n",
    "### 2.1.3 Contraintes\n",
    "\n",
    "En outre, ces données peuvent avoir des contraintes (`constrained`):\n",
    "\n",
    "* `required`: booléen, indique si ce champ est obligatoire (mais les valeurs en blanc dans la colonne de saisie sont autorisées et seront mises à la valeur par défaut `missingValues`)\n",
    "* `unique`: booléen, si `true` alors toutes les valeurs de cette colonne d'entrée doivent être uniques\n",
    "* `minimum`: `integer` / `number`, selon le cas, définissant le nombre minimum de caractères dans une chaîne, ou les valeurs minimum des nombres ou des entiers\n",
    "* `maximum`: `integer` / `number`, selon le cas, définissant le nombre minimum de caractères dans une chaîne, ou les valeurs minimum des nombres ou des entiers\n",
    "* `enum`: une liste (ou un array) de termes uniques autorisés dans ce champ\n",
    "\n",
    "A titre d'exemple :\n",
    "\n",
    "    {\n",
    "        \"name\": \"Un nom simple\",\n",
    "        \"fields\": [\n",
    "            {\n",
    "                \"name\": \"Nom du champ, par exemple 'nom_colonne'\",\n",
    "                \"type\": \"Type de données valide, par exemple 'string', 'number'\",\n",
    "                \"constraints\": {\n",
    "                    \"enum\": [\"cheddar\", \"gouda\", \"autre\"]\n",
    "                }\n",
    "            }\n",
    "        ]\n",
    "    }\n",
    "\n",
    "Là encore, il existe d'autres [constraints](https://specs.frictionlessdata.io/table-schema/#constraints), telles que `pattern`, `maxLength`, `minLength` que vous pouvez également utiliser.\n",
    "\n",
    "### 2.1.4 Autres propriétés\n",
    "\n",
    "Il existe également des propriétés spéciales que vous pouvez ajouter à votre schéma et qui ne font pas partie des définitions des `fields`:\n",
    "\n",
    "* `missingValues`: définit quels termes de vos données doivent être traités comme des valeurs manquantes, par exemple `-`, `NaN`, `..`, etc. Il doit être présenté sous forme de liste, avec les termes définis comme des chaînes de caractères, par exemple `[\"NaN\", \"..\"]`\n",
    "\n",
    "### 2.1.5 Exemple de schéma\n",
    "\n",
    "A titre d'exemple, imaginons que nous voulons que nos données de destination soient conformes à la structure suivante :\n",
    "\n",
    "| la_code | ba_ref | occupant_name | postcode | occupation_state | occupation_state_date | prop_ba_rates | occupation_state_reliefs |\n",
    "|---------|--------|---------------|----------|------------------|-----------------------|---------------|-------------------------|\n",
    "| E06000044 | 177500080710 | A company | PO5 2SE | True | 2019-04-01 | 98530 | [small_business, retail] |\n",
    "\n",
    "Le schéma complet de cet exemple est donc le suivant :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "{\n",
    "    \"name\": \"test_schema\",\n",
    "    \"title\": \"Test Schema\",\n",
    "    \"description\": \"A test Schema\",\n",
    "    \"fields\": [\n",
    "        {\n",
    "            \"name\": \"la_code\",\n",
    "            \"title\": \"Local authority code\",\n",
    "            \"type\": \"string\",\n",
    "            \"description\": \"Standard code for local authority.\"\n",
    "        },\n",
    "        {\n",
    "            \"name\": \"ba_ref\",\n",
    "            \"title\": \"Billing reference\",\n",
    "            \"type\": \"string\",\n",
    "            \"description\": \"Unique code for a specific hereditament. May be multiple rows for history.\"\n",
    "        },\n",
    "        {\n",
    "            \"name\": \"prop_ba_rates\",\n",
    "            \"title\": \"Property billing rates\",\n",
    "            \"type\": \"number\",\n",
    "            \"description\": \"Actual rates paid by a specific ratepayer.\"\n",
    "        },\n",
    "        {\n",
    "            \"name\": \"occupant_name\",\n",
    "            \"title\": \"Occupier name\",\n",
    "            \"type\": \"string\",\n",
    "            \"description\": \"Name of the ratepayer.\"\n",
    "        },\n",
    "        {\n",
    "            \"name\": \"postcode\",\n",
    "            \"title\": \"Postcode\",\n",
    "            \"type\": \"string\",\n",
    "            \"description\": \"Full address or postcode of ratepayer.\"\n",
    "        },\n",
    "        {\n",
    "            \"name\": \"occupation_state\",\n",
    "            \"title\": \"Occupation state\",\n",
    "            \"type\": \"boolean\",\n",
    "            \"description\": \"Occupation status, void or occupied.\"\n",
    "        },\n",
    "        {\n",
    "            \"name\": \"occupation_state_date\",\n",
    "            \"title\": \"Date of occupation state\",\n",
    "            \"type\": \"date\",\n",
    "            \"description\": \"Date of the start of status in occupation_state.\"\n",
    "        },\n",
    "        {\n",
    "            \"name\": \"occupation_state_reliefs\",\n",
    "            \"title\": \"Occupation state reliefs\",\n",
    "            \"type\": \"array\",\n",
    "            \"description\": \"Array of the categories of reliefs / exemptions applied.\",\n",
    "            \"constraints\": {\n",
    "                \"enum\": [\n",
    "                    \"small_business\", \n",
    "                    \"rural\", \n",
    "                    \"charity\", \n",
    "                    \"enterprise_zone\", \n",
    "                    \"vacancy\", \n",
    "                    \"hardship\",\n",
    "                    \"retail\", \n",
    "                    \"discretionary\", \n",
    "                    \"exempt\", \n",
    "                    \"transitional\", \n",
    "                    \"other\"\n",
    "                ]\n",
    "            }\n",
    "        }\n",
    "    ],\n",
    "    \"missingValues\": [\"NaN\", \"..\"]\n",
    "}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "__Sauvegarder__ votre schéma JSON dans un éditeur de texte ordinaire (__PAS__ Word ou tout ce qui peut y ajouter du XML) sous la forme d'un fichier `.json` (par exemple `my_schema.json`).\n",
    "\n",
    "Un très bon éditeur de texte est [Notepad++](https://notepad-plus-plus.org/downloads/). Utilisez-le pour créer et enregistrer votre JSON.\n",
    "\n",
    "Maintenant, à vous de jouer :\n",
    "\n",
    "<div class=\"alert alert-block alert-success\">\n",
    "    <p><b>Exercice:</b></p>\n",
    "    <p>En utilisant le fichier restructuré que vous avez créé à la leçon 1.1, créez un schéma JSON. N'oubliez pas que chaque <code>field</code> <code>name</code> doit être identique au nom de l'en-tête de la colonne. Définissez le champ <code>type</code> et - si vous les avez - toutes les <code>missingValues</code>.</p>\n",
    "</div>\n",
    "\n",
    "Dans la section suivante, vous apprendrez comment spécifier les types de valeurs dans une feuille de calcul.\n",
    "\n",
    "<div class=\"alert alert-block alert-info\">\n",
    "    <b>Références:</b>\n",
    "    <br>\n",
    "    <ul>\n",
    "        <li><a href=\"https://json-schema.org/learn/\">JSON Schema</a></li>\n",
    "        <li><a href=\"https://specs.frictionlessdata.io/table-schema/\">Frictionless Data Table Schema</a></li>\n",
    "        <li><a href=\"https://notepad-plus-plus.org/downloads/\">Notepad++</a></li>\n",
    "    </ul>\n",
    "</div>\n",
    "\n",
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2.2 Méthodes d'anonymisation des données : rédaction\n",
    "\n",
    "Il existe un large éventail de techniques pour anonymiser des données. Elles se répartissent toutefois en deux grandes catégories :\n",
    "\n",
    "- __Réaction__ : technique dans laquelle nous supprimons des champs ou des informations dans des lignes de données tout en conservant une intégrité suffisante pour permettre une analyse sémantique ;\n",
    "- __l'Agrégation__ : nous agrégeons délibérément les données pour garantir l'anonymat des données aberrantes ;\n",
    "\n",
    "### 2.2.1 Méthodes de rédaction\n",
    "\n",
    "Avant de commencer à faire quoi que ce soit, nous devons comprendre notre ensemble de données, et savoir comment nous avons l'intention de le censurer _tout en maintenant son intégrité interne afin de pouvoir continuer à effectuer des analyses_.\n",
    "\n",
    "#### Suppression d'attributs\n",
    "\n",
    "Un `attribut`est également connu sous le nom de `field`. Cette méthode exige que nous supprimions un champ entier. C'est l'une des premières mesures que nous pouvons prendre, et la plus facile.\n",
    "\n",
    "- Supprimer les données dont nous n'avons pas besoin\n",
    "- Supprimer les données que nous ne pouvons pas facilement éliminer\n",
    "\n",
    "Il s'agit d'une mesure destructrice puisque la suppression supprime les données originales.\n",
    "\n",
    "#### Suppression des enregistrements\n",
    "\n",
    "Certaines données sont aberrantes, suffisamment rares pour que - en soi - ces données ne puissent pas être anonymisées. Avec la suppression des enregistrements, nous supprimons toutes les données relatives à ces personnes. Cependant, soyez prudent.\n",
    "\n",
    "Les données aberrantes peuvent présenter un intérêt significatif si leur statut fait partie de l'étude. Si la maladie d'une personne est inhabituelle pour la région où elle vit, pour son ethnicité, son sexe ou son orientation sexuelle, alors cela en ferait une valeur aberrante. Toutefois, cela serait également important pour comprendre la maladie.\n",
    "\n",
    "D'autre part, si leur lieu de résidence, leur origine ethnique, leur sexe ou leur orientation sexuelle n'ont aucun rapport avec la maladie, alors ils pourraient être éliminés en toute sécurité.\n",
    "\n",
    "#### Pseudonymisation\n",
    "\n",
    "La pseudonymisation est le remplacement des données d'identification par des valeurs aléatoires. Elle peut être réversible, si vous créez une clé entre les données et les valeurs générées, mais irréversible si vous jetez délibérément les clés. Les pseudonymes persistants permettent de relier un même individu à travers différents ensembles de données.\n",
    "\n",
    "- `strings`: pseudonymisation par remplacement ;\n",
    "\n",
    "#### Généralisation\n",
    "\n",
    "La généralisation est une réduction délibérée de la précision des données, telle que la conversion de l'âge d'une personne en une fourchette, ou d'un lieu précis en un lieu moins précis.\n",
    "\n",
    "- `range`: conversion de nombres précis en quantiles ou en plages statistiques ;\n",
    "- `cluster` : agrégation de données géospatiales en clusters statistiquement moins significatifs - ceci peut également être utilisé pour masquer les valeurs aberrantes ;\n",
    "\n",
    "Concevoir les plages de données avec des tailles appropriées. Parfois, les quantiles sont les plus appropriés, parfois nous utilisons des définitions statistiques (telles que des plages géospatiales conçues pour inclure un nombre suffisant de personnes afin de réduire la désanonymisation).\n",
    "\n",
    "#### Brassage\n",
    "\n",
    "Le brassage consiste à réorganiser les données de manière à ce que les valeurs des attributs individuels soient toujours représentées dans l'ensemble de données, mais ne correspondent généralement pas aux enregistrements originaux. Cette méthode ne convient pas à toutes les données. L'échange de maladies entre différents patients rendra certainement les données anonymes, mais confondra également toute analyse épidémiologique.\n",
    "\n",
    "#### Perturbation des données\n",
    "\n",
    "La perturbation consiste à ajouter un bruit aléatoire aux données pour les \"brouiller\". Il peut s'agir d'arrondir, de décaler les dates ou d'ajouter un déplacement géospatial  aux données de type coordonnées.  Cela signifie qu'il faut déplacer artificiellement la précision dans une petite fourchette pour masquer les détails exacts de la personne.\n",
    "\n",
    "- `dates` : décalage des dates exactes par jours ou par mois ;\n",
    "- `rounding` : arrondir au décile ou au nombre entier le plus proche, en fonction de la précision des données ;\n",
    "- `coordinates`: perturber les données par un déplacement géospatial (gigue) ;\n",
    "\n",
    "Il faut veiller à ne pas ajouter trop ou trop peu de perturbations.\n",
    "\n",
    "### 2.2.2 Méthodes d'agrégation\n",
    "\n",
    "L'agrégation est bien plus destructrice que la rédaction. Nous perdrons la résolution sur la morphologie des patients et nous perdrons les relations directes entre les données en échange de résumés de ces données. Mais nous gagnerons en sécurité pour les personnes concernées.\n",
    "\n",
    "Là où la rédaction est guidée presque exclusivement par les données, l'agrégation est guidée par les objectifs de recherche sur les données. Toute forme d'agrégation limitera ce qui peut être fait et il est essentiel de prendre conscience de ces limites.\n",
    "\n",
    "Les données de recensement sont généralement agrégées de cette manière, les microdonnées individuelles (réponses de chaque ménage) étant uniquement mises à la disposition des chercheurs accrédités, tandis que les versions agrégées sont mises à la disposition du public.\n",
    "\n",
    "Notre objectif sera de créer des groupes de données et de procéder ensuite à des agrégations sur chaque groupe. L'éventail des agrégats que nous pouvons former comprend\n",
    "\n",
    "- `count` : comptage des membres individuels du groupe ;\n",
    "- `totals` : sommes des valeurs et sommes des sous-groupes à l'intérieur des valeurs (par exemple, durée totale de la maladie et durée de chaque type de maladie) ;\n",
    "- `averages` : y compris la `mean`, la `median`  et le `mode` des séquences de données ;\n",
    "- `distributions` : y compris les`quantiles`, les `normals` ou d'autres types de distribution.\n",
    "\n",
    "Les groupes peuvent être constitués par des \"catégories\" spécifiques ou des plages \"géospatiales\".\n",
    "\n",
    "À bien des égards, un cours complet de statistiques est nécessaire pour bien effectuer les agrégations.\n",
    "\n",
    "<div class=\"alert alert-block alert-warning\">\n",
    "    <p><b>Les agrégations nécessitent une certaine familiarité et expérience avec les données à agréger. </b> Il est très difficile de se contenter d'un ensemble de données aléatoires et de savoir comment les agréger\n",
    "        d'une manière qui favorise l'analyse et en extrait le sens. Il est peu probable que vous soyez responsable de l'agrégation de données dont vous n'avez pas l'expérience, et lorsque vous avez\n",
    "        l'expérience, savoir comment l'agréger deviendra plus clair.</p>\n",
    "</div>\n",
    "\n",
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2.3 Appliquer des processus de validation de données à des cellules dans un tableur\n",
    "\n",
    "Vos  `types` - à ce stade - ne sont qu'un guide. Vous n'aurez pas de retour d'information, ni de messages d'erreur comme ceux que vous obtenez lorsque vous exécutez du code Python, si l'un des types de données de vos colonnes de champ est erroné. Il y a plusieurs façons d'obtenir ce retour d'information pour que vous puissiez corriger les choses, mais nous commencerons par la validation des données dans les cellules de la feuille de calcul.\n",
    "\n",
    "Ce qui suit est adapté d'un [tutoriel Microsoft Office](https://support.office.com/en-gb/article/apply-data-validation-to-cells-29fecbcc-d1b9-42c1-9d76-eff3ce5f7249). Cette approche fonctionnera aussi bien dans OpenOffice que dans Google Sheets, bien que les étapes spécifiques soient différentes.\n",
    "\n",
    "Microsoft a un fichier d'exemple que vous pouvez [télécharger](http://download.microsoft.com/download/9/6/8/968A9140-2E13-4FDC-B62C-C1D98D2B0FE6/Data%20Validation%20Examples.xlsx).\n",
    "\n",
    "### 2.3.1 Spécifier la validation pour les types de données\n",
    "\n",
    "NB: dans ce paragraphe nous vous indiquons les instructions sous excel à la fois en français dans le texte et en anglais en image. Vous devriez pouvoir trouver les options si vous avez une version française ou anglaise.\n",
    "\n",
    "Le processus est simple :\n",
    "\n",
    "1. Sélectionnez les cellules d'une colonne spécifique que vous souhaitez limiter par type\n",
    "2. Sélectionnez __Données > Outils de données > Validation des données__.\n",
    "\n",
    "  ![Validation des données Excel](images/excel-data-validation.png)\n",
    "\n",
    "3. Dans l'onglet __Option__, sous __Autoriser__, sélectionnez l'un des éléments suivants:\n",
    "\n",
    "  ![Paramètres de validation](images/excel-validation-settings.jpg)\n",
    " \n",
    "  - __Nombre Entier__: restreindre la cellule pour n'accepter que des valeurs `integer`.\n",
    "  - __Décimal__: restreint la cellule pour n'accepter que les valeurs `float` ou `number`.\n",
    "  - __Liste__: choisir des données dans une liste déroulante, et limitée par les valeurs contraintes par `enum`.\n",
    "  - __Date__: restreindre la cellule pour n'accepter que les `date`.\n",
    "  - __Heure__: restreindre la cellule pour n'accepter que les `datetime`.\n",
    "  - __Longueur de Texte__: restreindre la longueur du texte, équivalent aux contraintes `maxLength`.\n",
    "  - __Personalisé__: pour une formule personnalisée.\n",
    " \n",
    "4. Sous __Données__, vous pouvez sélectionner une condition :\n",
    "\n",
    "  - Comprise entre\n",
    "  - non comprise entre\n",
    "  - égale à\n",
    "  - différente de\n",
    "  - supérieure à\n",
    "  - inférieure à\n",
    "  - supérieure ou égale à\n",
    "  - inférieure ou égale à\n",
    "\n",
    "5. Définissez les autres valeurs requises, en fonction de ce que vous avez choisi pour __Autoriser__ et __Données__. Par exemple, si vous faites un choix entre les valeurs __Minimum:__ et __Maximum:__ pour la ou les cellules.\n",
    "6. Cochez la case __Ignorer si vide__ si vous souhaitez ignorer les espaces vides (c'est-à-dire pour les données manquantes). Notez, cependant, qu'Excel n'a pas de place pour les caractères spéciaux que vous pourriez utiliser comme marqueur pour les données manquantes (par exemple `..`), de sorte que ceux-ci seront mentionnés comme des erreurs.\n",
    "7. Sélectionnez __OK__.\n",
    "\n",
    "Maintenant - seulement pour les nouvelles données - si un utilisateur essaie d'entrer une valeur qui n'est pas valide, une fenêtre pop-up apparaît avec le message \"Cette valeur ne correspond pas aux restrictions de validation des données pour cette cellule\". Nous allons bientôt lancer la validation de vos données existantes, mais d'abord un détour par les listes (`lists`).\n",
    "\n",
    "### 2.3.2 Les listes sont un type spécial\n",
    "\n",
    "Avant de pouvoir valider un type  `list`, vous devez spécifier des termes valables. Dans Excel, cela nécessite une [série d'étapes supplémentaires](https://support.office.com/en-us/article/create-a-drop-down-list-7693307a-59ef-400a-b769-c5402dce407b).\n",
    "\n",
    "1. Créez une nouvelle feuille de calcul dans Excel, et mettez-y la liste des termes que vous voulez définir comme valeurs valides. Vous pouvez rapidement convertir votre liste en tableau en sélectionnant n'importe quelle cellule de la plage, et en appuyant sur __Ctrl+L__ (attention ces raccourcis pouvent variés d'une versoin d'excel à une autre).\n",
    "\n",
    "  ![Liste de termes](images/excel-list-terms.png)\n",
    "  \n",
    "2. Ajoutez les données de votre liste et formatez-les sous forme de table (__Accueil > Styles > Mettre sous forme de tableau__).\n",
    "3. Vous pouvez nommer votre table à partir de l'onglet outils de la table - celle-ci pourrait s'appeler \"CityTable\".  Cela vous aidera à garder une trace de plusieurs tables.\n",
    "4. Dans le processus de validation indiqué ci-dessus, allez à 3. et sélectionnez __Liste__, puis ajoutez une plage nommée ou un nom de table pour votre liste. \n",
    "5. Indiquez une source pour vos termes via l'onglet __Données > Validation de Données > Autoriser > Liste > Source__. Ensuite, spécifiez votre liste de termes comme étant n'importe laquelle :\n",
    "\n",
    "  ![Source de la liste](images/excel-list-source.png)\n",
    "\n",
    "  - Vous pouvez sélectionner directement la feuille de liste et la plage (par exemple `=Sheet1!A4:A10`)\n",
    "  - Convertissez votre liste en une table avec __Ctrl+L__, puis à partir de l'onglet __Création de Tableau__ donnez un nom à votre table, ce qui vous permet de faire référence au nom de la table et à la colonne (par exemple `=CityTable[City]`)\n",
    "  - Dans l'onglet __Formules__, sélectionnez __Gestionnaire de Nom__, créez un __Nouveau__ élément avec un nom approprié (par exemple `CityList`), et référencez les cellules (par exemple `=Sheet1!A4:A10`), ce qui vous permet ensuite de référencer votre liste n'importe où (par exemple `=CityList`)\n",
    "\n",
    "### 2.3.3 Valider et obtenir des messages d'erreur pour vos données existantes\n",
    "\n",
    "Après avoir précisé les règles de validation de vos données existantes, vous risquez d'être déçu. Excel ne vous informe pas automatiquement si ces cellules contiennent des données non valides. Voici un moyen rapide de [mettre en évidence les cellules non valides existantes](https://support.office.com/en-us/article/more-on-data-validation-f38dee73-9900-4ca6-9301-8a5f6e1f0c4c) en encerclant les valeurs:\n",
    "\n",
    "  ![Encerclez les données non valides](images/excel-circled-cell.gif)\n",
    "\n",
    "1. Pour appliquer les cercles, sélectionnez les cellules que vous voulez évaluer et allez à __Données > Outils de données > Validation de Données > Entourer les Données non valides__.\n",
    "\n",
    "  ![Liste des termes](images/excel-data-circle.png)\n",
    "  \n",
    "2. Si vous corrigez une entrée non valable, le cercle disparaît automatiquement.\n",
    "3. Pour supprimer la validation des données pour une cellule, sélectionnez-la, puis allez à __Données > Outils de données > Validation de Données > Options > Effacer Tout__.\n",
    "\n",
    "C'est maintenant à votre tour :\n",
    "\n",
    "<div class=\"alert alert-block alert-success\">\n",
    "    <p><b>Exercice:</b></p>\n",
    "    <p>En utilisant le fichier restructuré que vous avez créé dans la leçon 1.1, spécifiez les critères de validation pour chaque colonne en vous basant sur le schéma JSON que vous avez créé. Vérifiez les données non valides et corrigez-les si nécessaire.</p>\n",
    "    <p> Une chose que vous pourriez remarquer dans vos données ... parfois vous avez un entier non valide spécifié comme une plage, par exemple <code>200-210</code>. Voici quelques idées sur la façon de traiter ce problème.\n",
    "    <ul>\n",
    "        <li><b>Fourchettes au lieu de nombres</b> : si, par exemple, votre fourchette est <code>200-210</code>, vous pourriez réinitialiser cette valeur en tant que <code>200</code>, ou <code>210</code> ou même la moyenne de la fourchette <code>205</code>. Quoi que vous décidiez, documentez votre décision dans votre fichier de métadonnées .</li>\n",
    "        <li><b>Fourchettes de dates</b> : il en va de même pour les dates, bien que vous deviez être prudent ... il est probable qu'une valeur s'applique à la fin de la fourchette de dates, et non au début ou au milieu, donc par exemple <code>2008-2009</code> est le plus susceptible d'être <code>2009</code></li>\n",
    "    </ul>\n",
    "</div>\n",
    "\n",
    "<div class=\"alert alert-block alert-info\">\n",
    "    <b>Références:</b>\n",
    "    <br>\n",
    "    <ul>\n",
    "        <li><a href=\"https://support.office.com/en-gb/article/apply-data-validation-to-cells-29fecbcc-d1b9-42c1-9d76-eff3ce5f7249\">Apply data validation to cells</a></li>\n",
    "        <li><a href=\"https://support.office.com/en-us/article/create-a-drop-down-list-7693307a-59ef-400a-b769-c5402dce407b\">Create a drop-down list</a></li>\n",
    "        <li><a href=\"https://support.office.com/en-us/article/more-on-data-validation-f38dee73-9900-4ca6-9301-8a5f6e1f0c4c\">More on data validation</a></li>\n",
    "    </ul>\n",
    "</div>\n",
    "\n",
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2.4 Enregistrement de votre fichier validé en tant que valeur séparée par des virgules\n",
    "\n",
    "Les fichiers de valeurs séparées par des virgules (`.csv`) sont des fichiers texte dans lesquels le caractère de virgule `,` sépare chaque champ de texte. Lorsqu'une virgule apparaît dans la valeur - qu'il s'agisse d'une `string` ou `number` - la valeur est alors entourée de guillemets, par exemple `100, 200, \"20,000\"` indique trois valeurs dans trois champs séparés.\n",
    "\n",
    "Vous pouvez modifier le caractère de séparation utilisé dans les fichiers texte délimités et .csv, et il existe un large éventail de formats (par exemple `;`, `*`). Il y a un grand nombre de raisons à cela, et c'est en partie pour cette raison que les fichiers au format CSV ne sont pas la panacée que nous pourrions espérer pour assurer la cohérence des données ouvertes.\n",
    "\n",
    "Dans Excel, vous pouvez [exporter une feuille de calcul](https://support.office.com/en-gb/article/import-or-export-text-txt-or-csv-files-5250ac4c-663c-47ce-937b-339e391393ba) au format CSV en utilisant __Save As__ comme suit :\n",
    "\n",
    "1. Allez à __Fichier > Enregistrer une copie__.\n",
    "2. Cliquez sur __Parcourir__.\n",
    "3. Dans la boîte de dialogue __Enregistrer sous__, dans la case __Type__, choisissez le format de fichier texte pour la feuille de travail ; par exemple, cliquez sur __CSV UTF-8 (délimité par des virgules)__ ou __CSV (séparateur: point virgule)__ (les options peuvent variées en fonction de la version d'Excel).\n",
    "4. Naviguez jusqu'à l'emplacement où vous souhaitez enregistrer le nouveau fichier texte, puis cliquez sur __Enregistrer__.\n",
    "\n",
    "> Vous ne pouvez exporter que la feuille de calcul actuelle (c'est-à-dire celle qui est en vue lorsque vous terminez ce processus) vers le nouveau fichier CSV. Vous pouvez enregistrer d'autres feuilles de calcul en tant que fichiers texte séparés en répétant cette procédure pour chaque feuille de calcul.\n",
    "\n",
    "> Toutes les caractéristiques spécifiques de la feuille de calcul seront perdues. Le formatage (gras, couleurs, etc.), les formules et les critères de validation seront supprimés, ne laissant que les données dans un fichier texte.\n",
    "\n",
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2.5 Valider vos données et du schéma JSON avec CSVLint [optionnel]\n",
    "\n",
    "Validation de vos données et du schéma JSON à l'aide de CSVLint\n",
    "\n",
    "Dans la prochaine leçon, nous apprendrons comment valider vos données en utilisant Python directement dans un cahier Jupyter. Pour l'instant, nous utiliserons une ressource en ligne fournie par l'Open Data Institute appelée [CSVLint](https://csvlint.io/).\n",
    "\n",
    "CSVLint fournit le guide suivant sur la façon de l'utiliser :\n",
    "\n",
    "![CSVLint](images/csv-lint.jpg)\n",
    "\n",
    "1. Indiquez l'emplacement du fichier CSV que vous souhaitez vérifier, ou téléchargez-le s'il n'est pas déjà sur le web.\n",
    "2. Cochez __Add optional schema (in .json format)__ et entrez son emplacement ou téléchargez-le.\n",
    "3. Appuyez sur le gros bouton __Validate__.\n",
    "\n",
    "Vous verrez une page qui vous indique comment améliorer votre fichier CSV, s'il a besoin d'être amélioré.\n",
    "\n",
    "- __Errors__ ont des choses que vous devez vraiment corriger, car elles empêcheront les gens de pouvoir utiliser vos données\n",
    "- __Warnings__ sont des choses que vous devriez corriger si vous le pouvez, car cela aidera les gens à utiliser vos données\n",
    "- __Information__ sont des conseils et des astuces qui peuvent faciliter l'utilisation des données\n",
    "\n",
    "CSVLint énumère également un certain nombre d'erreurs courantes auxquelles vous devez faire attention :\n",
    "\n",
    "- __Invalid encoding__: si un fichier contient des caractères impairs qui pourraient causer des erreurs d'encodage\n",
    "- __Line breaks__: si les sauts de ligne ne sont pas les mêmes dans tout le fichier\n",
    "- __Undeclared header__: si vous ne spécifiez pas de manière lisible par la machine si votre CSV comporte ou non une ligne d'en-tête\n",
    "- __Ragged rows__: si chaque ligne du fichier n'a pas le même nombre de colonnes\n",
    "- __Blank rows__: s'il y a des rangées vides\n",
    "- __Stray/Unclosed quote__: s'il y a des citations non fermées dans le dossier\n",
    "- __Whitespace__: s'il y a des espaces entre les virgules et les guillemets autour des champs\n",
    "\n",
    "<div class=\"alert alert-block alert-info\">\n",
    "    <b>Références:</b>\n",
    "    <br>\n",
    "    <ul>\n",
    "        <li><a href=\"https://csvlint.io/\">CSVLint</a></li>\n",
    "        <li><a href=\"https://datagraft.io/\">DataGraft</a></li>\n",
    "    </ul>\n",
    "</div>\n",
    "\n",
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2.6 Tutoriel de la leçon\n",
    "\n",
    "<div class=\"alert alert-block alert-success\">\n",
    "    <p><b>Tutoriel:</b></p>\n",
    "    <p>Terminez le traitement du fichier avec lequel vous avez commencé à travailler dans la leçon 1.</p>\n",
    "    <ul>\n",
    "        <li><b>JSON schéma</b> : Définissez un schéma JSON pour décrire et préciser les critères de validation de votre ensemble de données.\n",
    "        <li><b>Vérifier les données non valides</b> : Spécifier les critères de validation dans votre application tableur, vérifier les données non valides et les corriger si nécessaire..</li>\n",
    "        <li><b>Save as CSV</b> : Exportez vos données exploitables par machine depuis votre tableur et enregistrez-les sous forme de <code>.csv</code>.</li>\n",
    "        <li><b>Valider</b> : Téléchargez votre schéma CSV et JSON sur <a href=\"https://csvlint.io/\">CSVLint</a> et assurez-vous que vous êtes validé avec succès. Corrigez les erreurs que vous recevez.</li>\n",
    "    </ul>\n",
    "</div>\n",
    "\n",
    "Veuillez compléter le tutoriel avant de poursuivre cette série. Si vous participez à un cours, veuillez envoyer votre demande de tutorat par le biais du processus requis (par courriel ou en ligne)."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.4"
  },
  "latex_envs": {
   "LaTeX_envs_menu_present": true,
   "autoclose": false,
   "autocomplete": true,
   "bibliofile": "biblio.bib",
   "cite_by": "apalike",
   "current_citInitial": 1,
   "eqLabelWithNumbers": true,
   "eqNumInitial": 1,
   "hotkeys": {
    "equation": "Ctrl-E",
    "itemize": "Ctrl-I"
   },
   "labels_anchors": false,
   "latex_user_defs": false,
   "report_style_numbering": false,
   "user_envs_cfg": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}