Publié initialement le 13 novembre 2019
Les ensembles de données Brightspace sont livrés en deux types d’extraction différents : différentiel et complet. Si vous êtes nouveau dans l’utilisation des ensembles de données Brightspace, vous ne savez peut-être pas avec quel type d’ensemble de données vous devez travailler, ni même quels sont les différents cas d’utilisation pour chaque type. Dans cet article, nous visons à clarifier certaines idées fausses et questions fréquemment posées sur le travail avec ces différents types d’extraction.
En quoi les ensembles de données complets et différentiels sont-ils similaires ?
- Les deux types d’ensembles de données ont le même schéma de données et sont générés selon une planification.
- Ils sont tous deux disponibles en téléchargement sous forme de fichiers csv zippés.
- Tous les champs de données (colonnes) et les fichiers nommés (par exemple, les connexions utilisateur) qui sont disponibles dans un type d’extraction sont également disponibles dans l’autre.
- Les deux suivent la même politique et le même calendrier de gestion du changement que ceux trouvés ici.
En quoi les ensembles de données complets et différentiels sont-ils différents ?
Ensembles de données complets
- « Instantanés » des données au moment de la génération de l’ensemble de données complet
- Destinés à remplacer un fichier d’ensemble de données complet précédent ; non utilisés conjointement avec des fichiers complets antérieurs
- Générés chaque semaine par défaut, quotidiennement avec une mise à niveau payante
- Limités à 150 millions de lignes des données les plus récentes
Ensembles de données différentiels
- « Enregistrement des changements » apportés aux données depuis la génération du fichier différentiel précédent
- Destinés à être ajoutés à (en insérant ou en mettant à jour) un magasin de données contenant des données précédemment extraites
- Générés quotidiennement par défaut, toutes les heures avec mise à niveau payante
- Compte tenu du délai limité dans lequel les différentiels sont extraits, ne devraient jamais atteindre une limite de nombre de lignes
Les fichiers sont tous des données de chaîne, mais le Guide d'analyse pour les administrateurs principaux indique qu’ils sont censés être différents types de données. Ai-je les bons fichiers ?
Oui, vous les avez ! Nous vous fournissons les données au format chaîne/texte afin qu’elles puissent être utilisées avec presque n’importe quel outil ou système. Vous devrez convertir les données des champs de chaîne vers le format de données correct avant de les utiliser.
Si je n’ai besoin de faire un rapport qu’une fois par semaine ou moins fréquemment, y a-t-il une raison d’utiliser des fichiers différentiels ?
En règle générale, non - si vous n’avez pas besoin de la fréquence des fichiers de type d’extraction différentielle, vous pouvez simplement travailler avec des fichiers de type d’extraction complet. Cependant, l’exception peut être si vous devez produire un rapport dans un laps de temps très court - par exemple avant le 5 du mois pour les données du mois précédent - et que le calendrier pour le complet ne s’aligne pas.
Vous pouvez également constater, en fonction de votre environnement de création de rapports et de l’activité que vous avez dans Brightspace, que les ensembles de données complets deviennent lourds à télécharger et à traiter et qu’il est plus facile de travailler avec les fichiers différentiels.
Les données sont-elles les mêmes dans l’ensemble de données complet et l’ensemble de données différentiel ?
Dans la plupart des cas, les données sont les mêmes, mais il existe deux situations où les données dont vous disposez peuvent différer d’un type d’extraction à l’autre. La différence est due au moment de la livraison et à la différence dans la génération de données (enregistrement des changements depuis le dernier extrait vs instantané de l’état actuel). Étant donné que les fichiers différentiels sont livrés plus fréquemment que les fichiers complets, vous y verrez des données plus récentes que l’ensemble de données complet le plus récent, sauf s’ils ont été générés en même temps. En outre, comme les fichiers différentiels contiennent toutes les modifications qui se sont produites dans un délai donné, vous pouvez voir une valeur - par exemple le prénom d’un utilisateur - être modifiée, puis revenir à la valeur d’origine dans l’ensemble de données différentiel, tandis que le prochain ensemble de données complet généré n’afficherait que la modification la plus récente.
Puis-je utiliser les fichiers différentiels mais pas les fichiers complets ?
Généralement, oui, avec deux exceptions. Vous aurez d’abord besoin d’une importation initiale de l’ensemble de données complet pour superposer les changements dans les fichiers différentiels. Si vous ne le faites pas, vous manquerez des lignes dans les ensembles de données qui ne changent pas. Par exemple, si vous avez 1 000 utilisateurs dans votre système mais que vous n’utilisez que les fichiers différentiels, vous verrez les 200 nouveaux étudiants s’inscrire pour la première fois ce trimestre, ainsi que les 50 étudiants qui ont changé de nom ou d’informations depuis que vous avez commencé à collecter des données. Cependant, vous manquerez les données de toutes les personnes qui restent dans votre système du trimestre précédent sans modification de leurs informations. La deuxième exception concerne les fichiers qui n’ont pas de champ de suppression logique dans leur structure. Un champ de suppression logique est une colonne de l’extrait qui indique si la ligne a été supprimée. Les extraits qui comportent des suppressions dures signifient que la ligne est simplement supprimée de l’extrait entièrement. Pour ces fichiers, vous ne sauriez qu’ils ont été supprimés qu’en référençant le fichier d’extraction complète - les actions de suppression dure ne sont pas dans le fichier d’extraction différentielle, seules les insertions et les mises à jour sont incluses. Dans ce cas, la suppression logique est considérée comme une mise à jour.
Comment puis-je savoir que tout ce que vous venez de dire ci-dessus ne changera pas demain et ne cassera pas mon processus ? Dois-je continuer à vérifier tous les fichiers, même ceux que je n’utilise pas, juste pour m’assurer que je ne manque pas de données que je pourrais vouloir ?
Ne t’inquiète pas! Nous nous sommes engagés à adopter une politique de gestion du changement pour les ensembles de données qui devrait vous donner suffisamment de temps pour vous adapter aux changements à venir. Vous pouvez trouver plus d’informations ici.
Il est également utile de suivre le Mises à jour des ensembles de données Brightspace discussion sur la communauté Brightspace afin que vous soyez averti lorsque de nouvelles versions sont disponibles.
Si vous avez d’autres questions sur les types d’extraction des ensembles de données Brightspace que nous n’avons pas abordés dans cet article, veuillez commenter ci-dessous !
Besoin d’aide supplémentaire pour travailler avec les données ? Coincé sur l’un des concepts ci-dessus ? Vous manquez l’un des ensembles de compétences nécessaires ? D2L fournit des niveaux flexibles de services de conseil en solutions de données qui peuvent aider avec tout ou partie des étapes du processus détaillé dans cet article. Si vous êtes intéressé, veuillez contacter votre représentant D2L Customer Success.