Publicado originalmente em 13 de novembro de 2019
Os conjuntos de dados do Brightspace vêm em dois tipos diferentes de extração: Diferencial e Completo. Se você é novo no trabalho com conjuntos de dados do Brightspace, pode ficar confuso sobre com qual tipo de conjunto de dados você precisa trabalhar ou até mesmo quais são os diferentes casos de uso para cada tipo. Neste post, pretendemos esclarecer alguns equívocos e perguntas frequentes sobre como trabalhar com esses diferentes tipos de extração.
Como os conjuntos de dados completos e diferenciais são semelhantes?
- Ambos os tipos de conjuntos de dados têm o mesmo esquema de dados e são gerados em um planejamento.
- Ambos estão disponíveis para download como arquivos csv compactados.
- Todos os campos de dados (colunas) e arquivos nomeados (por exemplo, logins de usuário) que estão disponíveis em um tipo de extração também estão disponíveis no outro.
- Ambos seguem a mesma política de gerenciamento de mudanças e cronograma encontrados aqui.
Como os conjuntos de dados Completo e Diferencial são diferentes?
Conjuntos de dados completos
- 'Instantâneos' de dados no momento em que o conjunto de dados completo é gerado
- Destina-se a substituir um arquivo de conjunto de dados completo anterior; não usado em conjunto com fulls anteriores
- Gera semanalmente por padrão, diariamente com atualização paga
- Restrito a 150 milhões de linhas dos dados mais recentes
Conjuntos de dados diferenciais
- 'Registro de alterações' nos dados desde que o arquivo diferencial anterior foi gerado
- Destinado a ser adicionado (inserindo ou atualizando) um armazenamento de dados contendo dados extraídos anteriormente
- Gera diariamente por padrão, de hora em hora com atualização paga
- Dado o período de tempo limitado dentro do qual os diferenciais são extraídos, nunca deve atingir uma limitação de contagem de linhas
Os arquivos são todos dados de cadeia de caracteres, mas o Guia de Análise Administrativa Principal diz que eles devem ser tipos de dados diferentes, eu tenho os arquivos certos?
Sim, você precisa! Fornecemos os dados em formato de string/texto para que possam ser usados com praticamente qualquer ferramenta ou sistema. Você precisará converter os dados dos campos de string para o formato de dados correto antes de usar.
Se eu precisar relatar apenas semanalmente ou com menos frequência, há algum motivo para usar arquivos diferenciais?
Geralmente, não - se você não precisar da frequência dos arquivos do tipo extração diferencial, poderá simplesmente trabalhar com arquivos do tipo extração completa. No entanto, a exceção pode ser se você precisar entregar um relatório em um período de tempo muito curto – por exemplo, até o dia 5 do mês para dados do mês anterior – e o cronograma para o Completo não estiver alinhado.
Você também pode descobrir, dependendo do seu ambiente de relatórios e da atividade que você tem no Brightspace, que os conjuntos de dados completos se tornam difíceis de baixar e processar e é mais fácil trabalhar com os arquivos diferenciais.
Os dados são os mesmos no Conjunto de Dados Completo e no Conjunto de Dados Diferenciais?
Para a maioria das finalidades, os dados são os mesmos, mas há duas situações em que os dados que você possui podem diferir entre os tipos de extração. A diferença se deve ao tempo de entrega e à diferença na geração de dados (registro de alterações desde a última extração versus instantâneo do estado atual). Como os arquivos diferenciais são entregues com mais frequência do que os arquivos completos, você verá dados mais recentes neles do que o conjunto de dados completo mais recente, a menos que tenham sido gerados ao mesmo tempo. Além disso, como os arquivos diferenciais são todas as alterações que ocorreram em um determinado momento, você pode ver um valor – por exemplo, o nome de um usuário – ser alterado e, em seguida, alterado de volta para o valor original no conjunto de dados diferencial, enquanto o próximo conjunto de dados completo gerado mostraria apenas a alteração mais recente.
Posso usar os arquivos diferenciais, mas não os arquivos completos?
Geralmente, sim, com 2 exceções. Primeiro, você precisará de uma importação inicial do conjunto de dados completo para sobrepor as alterações nos arquivos diferenciais. Se você não fizer isso, perderá linhas em conjuntos de dados que não são alterados. Por exemplo, se você tiver 1.000 usuários em seu sistema, mas usar apenas os arquivos diferenciais, verá os 200 novos alunos matriculados pela primeira vez neste período e os 50 alunos que tiveram uma alteração em seus nomes ou informações desde que você começou a coletar dados, mas você perderá os dados de todos os indivíduos que permanecem em seu sistema do período anterior sem alterações em suas informações. A segunda exceção seriam os arquivos que não têm um campo de exclusão reversível em sua estrutura. Um campo de exclusão reversível é uma coluna dentro da extração que indica se a linha foi excluída. As extrações que têm exclusões definitivas significam que a linha foi totalmente removida da extração. Para esses arquivos, você só saberia que eles foram excluídos referenciando o arquivo de extração completa – as ações de exclusão irreversível não estão no arquivo de extração diferencial, apenas inserções e atualizações estão incluídas. Nesse caso, a exclusão reversível é considerada uma atualização.
Como eu sei que tudo o que você acabou de dizer acima não mudará amanhã e interromperá meu processo? Preciso continuar verificando todos os arquivos, mesmo aqueles que não estou usando, apenas para ter certeza de que não estou perdendo nenhum dado que eu possa querer?
Não se preocupe! Comprometemo-nos com uma política de gerenciamento de mudanças para os conjuntos de dados que deve dar a você bastante tempo para se ajustar às mudanças futuras. Você pode encontrar mais informações aqui.
Também é útil seguir o Atualizações de conjuntos de dados do Brightspace discussão na Comunidade Brightspace para que você seja notificado quando novas versões estiverem disponíveis.
Se você tiver mais dúvidas sobre os tipos de extração de conjuntos de dados do Brightspace que não abordamos neste artigo, comente abaixo!
Precisa de mais ajuda para trabalhar com dados? Preso em algum dos conceitos acima? Faltando um dos conjuntos de habilidades necessários? A D2L fornece níveis flexíveis de serviços de consultoria de soluções de dados que podem ajudar em qualquer ou todas as etapas do processo detalhadas neste post. Se você estiver interessado, entre em contato com seu representante de Sucesso do Cliente da D2L.