Publicado originalmente em 15 de fevereiro de 2019.
Você está olhando para seus dados? Você sabe a quais dados tem acesso em seu ambiente de aprendizagem Brightspace? Você sabe quais decisões você poderia (deveria estar) tomando com base nesses dados? A resposta que ouço a pelo menos uma dessas perguntas é 'Não'. Então, vamos falar um pouco sobre o porquê e o quê de alguns de seus dados.
Por que você deveria olhar para seus dados?
Você tem muitos e muitos dados disponíveis para você por meio do Brightspace. Às vezes pode parecer que há muito, então vou ajudar a apontar algumas peças-chave a serem observadas para que não pareça tão opressor. Mas, além disso, você deve olhar para seus dados porque seus dados são a melhor maneira de garantir que você esteja totalmente informado e tomando decisões com base em fatos. Esses dados factuais também fornecem uma excelente base para estatísticas de uso e outras métricas importantes nas quais os líderes seniores de sua organização estarão interessados. A maioria das outras organizações está mudando para modelos de tomada de decisão baseados em dados, então agora é o momento certo para se sentir confortável com os dados disponíveis. Os dados também impulsionam outros processos de negócios importantes, como melhoria contínua do programa e do curso, decisões de contratação e pessoal, alocações de recursos e até mesmo determinar quantas seções do curso oferecer.
Sucesso e realização do aluno
Uma das áreas de maior destaque relacionadas ao uso de dados é apoiar os alunos a serem bem-sucedidos em sua experiência de aprendizado e relatar seu sucesso e realização. Isso pode incluir uma ampla variedade de métricas de dados, como progresso e conclusão do curso, notas, engajamento e obtenção de resultados de aprendizagem. Esses dados ajudam você a tomar decisões informadas sobre a eficiência do aprendizado e a eficácia do conteúdo, dos recursos de aprendizado e das avaliações. Os resultados da avaliação são uma métrica de dados comumente usada para avaliar o sucesso do aluno. A obtenção dos resultados de aprendizagem associados a essas avaliações oferece uma visão rica da aprendizagem do aluno além de uma simples avaliação baseada em notas. Todos esses elementos de dados ajudam a identificar os alunos que estão tendo sucesso ou se destacando, bem como aqueles que podem estar com dificuldades ou ficando para trás. A identificação desses alunos como candidatos em potencial para uma conversa ou outra intervenção pode ser um passo crucial para ajudar o aluno a permanecer engajado e avançar em direção à conclusão bem-sucedida.
Nós podemos ajudar
Se tudo isso parece assustador ou um pouco opressor, a D2L fornece serviços de consultoria relacionados a dados para ajudar. Podemos ajudá-lo a começar, percorrer o processo e fornecer a orientação necessária para que você não precise descobrir sozinho. Também temos vários recursos relacionados a dados disponíveis aqui na Comunidade Brightspace para ajudar.
O que está disponível?
Uma das maneiras mais fáceis de começar a usar os dados disponíveis é examinar os elementos de dados no conjunto de dados de uso do aluno, que está disponível no Data Hub como um dos conjuntos de dados avançados. A seguir, são identificadas algumas métricas de desempenho e palavras-chave comumente referenciadas. Fornecemos algumas breves definições para as palavras-chave para confirmar que as estamos considerando no mesmo contexto que você. Em seguida, a lista de métricas de desempenho que podem ser facilmente determinadas a partir do conjunto de dados de uso do aluno.
Definições
Adopção
Nível de uso do ambiente de aprendizagem em sua organização. A adoção é sobre o número de usuários que acessam o ambiente de aprendizagem (número de logins) e sobre a amplitude e profundidade do uso. Amplitude significa que uma ampla variedade de ferramentas e recursos estão sendo usados no ambiente de aprendizagem, enquanto profundidade significa que ferramentas e recursos estão sendo usados em sua capacidade máxima. A adoção saudável significa que um número significativo de usuários está fazendo login no ambiente de aprendizagem e que uma ampla variedade de recursos e ferramentas está sendo usada em todo o seu potencial nos cursos da sua organização.
Critérios de sucesso
Os critérios de sucesso são metas identificadas selecionadas para medir o sucesso da implementação e/ou adoção do ambiente de aprendizagem. Por exemplo, talvez você tenha uma iniciativa para aumentar o número de alunos que estão concluindo um curso com uma nota de aprovação, ou o número de alunos que estão demonstrando domínio de uma competência identificada, ou você introduziu uma iniciativa para aumentar o número de usuários que fazem login no ambiente de aprendizagem. Independentemente do que sua organização identifica como dimensões importantes de sucesso, esses elementos se tornam seus critérios de sucesso e os itens sobre os quais você medirá ou avaliará o sucesso de sua iniciativa.
Métricas de sucesso
As métricas de sucesso são pontos de dados selecionados para medir e monitorar o nível de desempenho ou atividade relacionado a cada um dos critérios de sucesso identificados. Por exemplo, se um de seus critérios de sucesso estiver relacionado ao aumento do número de alunos que estão concluindo um curso com uma nota de aprovação, monitorar ou medir esse número de alunos será uma de suas métricas. Você pode simplesmente contar o número de alunos que têm uma nota de aprovação para um curso dentro de um período, por exemplo. Ou você também pode dividir isso ainda mais para saber o número de alunos por cada série (ou valor da nota) no esquema de notas. Você também pode olhar para esses dados como uma tendência, termo após período, ano após ano, etc. Essas se tornam suas métricas de sucesso. Alguma forma de medição de dados definida para cada um dos seus critérios de sucesso são suas métricas de sucesso.
Sucesso do aluno
Uma medida do comportamento de aprendizagem bem-sucedido para os alunos. Tradicionalmente, o sucesso do aluno era medido apenas pelo GPA e se um aluno conclui um programa e se forma. Hoje, com o uso de dados detalhados disponíveis no ambiente de aprendizagem, podemos nos aprofundar um pouco mais em alguns outros critérios que indicam um comportamento de aprendizagem bem-sucedido, como:
- Nota do curso
- Assiduidade/absenteísmo
- Carga de crédito/prazo
- Hora de concluir um diploma
- Média de Notas
- Nível de engajamento
Conclusão do curso
Uma medida pela qual um curso pode ser considerado concluído. No ambiente de aprendizagem, isso pode ser:
- Visualização de todos os tópicos de conteúdo em um curso
- Concluindo todas as atividades de avaliação
- Ganhando uma competência ou objetivo de aprendizagem
- Receber um selo
- Obtenção de um certificado ou credencial
- Concluindo uma avaliação somativa
- Ganhando um nível de série designado
Retenção
A retenção consiste em medir a frequência com que os alunos desistem ou se transferem para outra instituição. Existem três níveis básicos de retenção que podem ser medidos com dados do ambiente de aprendizagem:
- Alunos que permanecem matriculados em um curso até a conclusão
- Alunos que continuam a retornar e se inscrever no próximo curso na sequência do programa após concluir o(s) curso(s) anterior(es)
- Alunos que completam todos os requisitos do programa e se formam
Matrícula
Alunos que concluem um ano acadêmico e são promovidos para o próximo nível de desempenho acadêmico.
Noivado
Noivado é um termo escorregadio. Muitas vezes, é usado de forma intercambiável para discutir o nível de interesse do aluno em um curso ou programa, para discutir o nível em que os alunos ou instrutores estão participando ativamente das atividades de aprendizagem ou para discutir o nível de interação entre alunos e instrutores. Quando todos esses três componentes do engajamento são bem feitos, as taxas de satisfação e as taxas de sucesso dos alunos tendem a aumentar. Por exemplo, você pode medir o número de alunos que enviaram uma tarefa, enviaram um questionário ou postaram em um fórum de discussão como um nível de envolvimento do aluno. Da mesma forma, você também pode avaliar o número de cursos configurados para usar a ferramenta de notas, ou usar a ferramenta de discussão, ou o tempo para avaliar os envios dos alunos como níveis de envolvimento do instrutor.
Métricas
Conjunto de dados de uso do aluno sozinho
O conjunto de dados Uso do aluno pode fornecer uma variedade de métricas de dados que são úteis de várias maneiras. As perspectivas em massa podem fornecer uma lente interessante com a qual você pode analisar dados comparativos ao longo do tempo (por exemplo, período por período ou ano por ano) para investigar os níveis de engajamento de um aluno ou grupo de alunos ou curso por curso.
Uma medida de envolvimento em uma coleção de alunos pode ser verificar rapidamente as contagens mínima, máxima e média para conclusões de alunos dos seguintes itens de ferramenta:
- Conclusões da lista de verificação
- Envios de questionários (número total de tentativas de envio vs. enviadas/não enviadas)
- Discussões (número de tópicos criados, lidos e respondidos)
- Tarefas enviadas
Esses valores mínimos, máximos e médios ajudam a colocar os níveis de atividade individual do aluno no contexto de seus colegas. Se um aluno individual em um curso, por exemplo, fez 5 tentativas de envio de questionário, mas a maioria dos outros alunos do curso está completando o questionário com apenas 1 ou 2 tentativas, talvez esta seja uma oportunidade para uma conversa com esse aluno. Ou, se a média da turma está levando 4 ou 5 tentativas para passar em um questionário, talvez seja uma oportunidade de reavaliar o material do curso onde as informações de conteúdo do questionário são apresentadas, ou também pode ser um aviso para se aprofundar e investigar pergunta por pergunta (ou seção por seção) onde os alunos estão tendo dificuldades com o questionário. (Obviamente, esse cenário significa que seu questionário está configurado para permitir várias tentativas de envio. Este não é um exemplo válido se você permitir apenas uma tentativa de envio em seus questionários.)
Outra indicação fácil de engajamento é observar a data da atividade mais recente em um grupo de alunos (por curso, por seção, etc.) e procurar valores discrepantes ou anomalias.
Mais recente de:
- Envio de tarefas
- Postagem de discussão (criada e/ou lida)
- Login do curso
- Correio enviado
Os elementos de dados mais recentes fornecem uma boa noção de quão atual foi o envolvimento do aluno no curso. Talvez o aluno tenha sido muito ativo no início do curso, mas não tenha se envolvido nas últimas três ou quatro semanas, isso pode ser um sinal de alguma circunstância da vida que pode estar interferindo em seu processo de aprendizagem. Isso pode sinalizar uma oportunidade de entrar em contato e verificar o aluno antes que ele fique muito atrasado no curso para alcançá-lo.
Envolvimento do aluno com outros conjuntos de dados
Ao analisar os dados de engajamento, se você combinar o conjunto de dados de engajamento do aluno com alguns dos outros conjuntos de dados avançados ou do Brightspace, poderá obter métricas úteis de desempenho e engajamento.
Se você combinar o conjunto de dados de engajamento do aluno com:
- o conjunto de dados de notas finais, você pode determinar prontamente a distribuição de notas por curso. Isso mostrará a contagem dos níveis de nota, de acordo com o esquema de notas do curso.
- conjunto de dados Todas as notas, você pode determinar a distribuição de notas por atividade de avaliação. Isso mostrará a contagem de níveis de nota, de acordo com o esquema de notas para cada atividade no curso.
- o conjunto de dados da lista de verificação, você pode determinar a porcentagem concluída das listas de verificação no curso.
- objetos de questionário, você pode determinar a porcentagem concluída para envios de questionário no curso.
- o conjunto de dados de discussões, você pode determinar a porcentagem concluída para publicações de discussão no curso.
- Objetos de exercício, você pode determinar a porcentagem concluída para o envio do exercício no curso.
Por exemplo, com o conjunto de dados de todas as notas, esta é uma grande continuidade dos dados que estão disponíveis na ferramenta de notas em relação à distribuição de notas. O instrutor é capaz de ver dentro de seu próprio curso, como é a distribuição de notas para cada nota individual e para a nota final. No entanto, se você precisar ou quiser ver essas informações agregadas para esse instrutor em vários cursos que o instrutor está ministrando, ou se quiser ver as informações agregadas em várias ofertas de cursos ou em um departamento, um programa etc., essa é uma excelente oportunidade para aproveitar o conjunto de dados de todas as notas para essa visão mais ampla dos dados.