Esse painel fornece visualizações para ajudar os usuários a entender a qualidade das avaliações usando estatísticas das perguntas e questionários e, como confiabilidade, nota média e correlação para todos os tipos de questionário e pergunta.
O Painel de qualidade da avaliação está disponível para todos os clientes que possuem o pacote Performance Plus ou adquiriram o Brightspace Insights no modelo de pacote anterior.
Para ver o painel Qualidade da avaliação, sua função deve ter a permissão Pode ver o painel Qualidade da avaliação e você deve estar inscrito nas ofertas de curso cujas avaliações deseja ver. Os questionários precisam de pelo menos uma tentativa para serem incluídos no painel.
Visualizar e interagir com o painel Qualidade da avaliação
O painel tem 3 exibições: Página inicial, área Análise de item de ´questionário e área Visualizar pergunta. O painel contém a seguinte funcionalidade:
Em geral, ao usar as estatísticas de questionário e perguntas, é importante ter em mente o tamanho da amostra para o questionário ou pergunta fornecido. As métricas aumentam em relevância estatística à medida que o tamanho da amostra aumentar.
Página inicial
A página inicial mostra visualizações combinando os dados de todos os questionários que você gerencia. Os dados desta página permitem analisar e identificar questionários que estão com baixo desempenho em termos de pontuação de nota e confiabilidade.
Figura: Página inicial do Painel de qualidade da avaliação.
No Resumo, há cartões para Resultados (o número de questionários que você gerencia e atende aos critérios aplicados ao painel), Pontuação média, Pergunta sinalizada (o número de questionários com uma ou mais perguntas que estão fora do limite definido para valores aceitáveis) e Confiabilidade do questionário. Você pode ativar e desativar esses cartões e ajustar os limites em Configurações.
A área Detalhes do questionário contém uma tabela dinâmica de questionários que atendem aos critérios aplicados ao painel. Um ícone "!" aparece ao lado dos questionários que têm uma ou mais perguntas sinalizadas. Clique em qualquer um dos questionários da tabela para navegar até a página Análise de item de questionário para este questionário.
Se você quiser comparar várias ocorrências do mesmo questionário para ver como as estatísticas variam, insira o nome do questionário na entrada de pesquisa acima da tabela do questionário. Isso aplica um filtro a todo o painel. Os questionários só serão exibidos se o nome deles corresponder à pesquisa e as unidades organizacionais só serão exibidas se contiverem um questionário cujo nome corresponda à pesquisa. A entrada de pesquisa tem limites de truncamento de 5.000 unidades organizacionais e 50.000 questionários. Portanto, se você tiver acesso a um número muito grande de unidades organizacionais, recomendamos filtrar por unidade organizacional antes de filtrar por nome do questionário para obter os melhores resultados.
A tabela Detalhes do questionário inclui o seguinte:
| Nome da coluna |
Descrição da coluna |
|---|
| Questionário |
Nome do questionário, truncado em 160 caracteres, e identificador exclusivo. Também inclui o nome e o ID da oferta de curso de que faz parte. |
| Pontuação média |
Calculada como uma porcentagem usando a pontuação para a primeira tentativa do usuário no questionário. |
| Coeficiente de confiabilidade |
A confiabilidade é calculada para todas as perguntas, independentemente de as perguntas do questionário serem dicotômicas ou não. A confiabilidade geralmente varia de 0 a 1, mas pode assumir valores negativos.
Observação: para obter mais informações sobre como o coeficiente de confiabilidade é calculado, consulte Cálculo da confiabilidade abaixo.
|
| Número de itens do questionário |
Número total de perguntas no questionário. |
| Itens de questionário sinalizados |
Número de perguntas que estão fora do limite definido para valores aceitáveis no questionário. |
| Número de respostas do aluno |
Número de usuários distintos que tentaram o questionário. |
No painel Qualidade da avaliação de cada curso há um coeficiente de confiabilidade para cada questionário que tenha uma tentativa. A confiabilidade é calculada para todas as perguntas, quer as perguntas do questionário tenham duas respostas possíveis (como verdadeiro ou falso) ou não. A confiabilidade varia de 0 a 1; no entanto, valores negativos são possíveis.
A confiabilidade é calculada da seguinte forma:
Onde:
k = número total de perguntas no questionário.
(σ_(pergunta i) )2 = a variação de uma pontuação de pergunta específica i
(σ_(questionário,tudo) )2 = a variação das pontuações do questionário (com base em todos os alunos)
Área Análise de item de questionário
Clique em um questionário para navegar até a área Análise do item de questionário, que apresenta um detalhamento de cada pergunta em um questionário.
Figura: A área Análise de item de questionário.
Clique em Ir para o questionário no nome do questionário e a página Editar questionário será aberta em uma nova janela.
No Resumo, há cartões para Detalhes do questionário que incluem os detalhes da página anterior, Média baixa, que conta o número de itens do questionário com uma média mais baixa do que o seu limite, Desvio alto, que conta o número de itens do questionário com um desvio maior que o seu limite, Correlação fraca, que conta o número de itens do questionário com uma correlação menor do que o seu limite e Alta discriminação, que conta os itens do questionário com uma grande lacuna entre os de baixo e alto desempenho. Você pode ativar e desativar esses cartões e alterar os limites em Configurações.
A área Itens do questionário contém uma tabela dinâmica de itens do questionário que atendem aos critérios aplicados no painel. Um ícone "!" aparece ao lado dos questionários que têm uma ou mais estatísticas fora do intervalo de limite definido. Clique em qualquer um dos itens do questionário na tabela para navegar até a página Visualizar pergunta do item do questionário.
A tabela Itens do questionário exibe estatísticas e detalhes sobre cada pergunta do questionário, incluindo:
| Nome da coluna |
Descrição da coluna |
|---|
| Pergunta |
Texto da pergunta, truncado em 70 caracteres, e um identificador exclusivo. |
| Média |
Calculada como uma porcentagem de duas casas decimais usando a pontuação para a primeira tentativa do usuário na pergunta. |
| Melhor resposta incorreta |
Resposta incorreta relatada com mais frequência. Preenchida apenas para perguntas de múltipla escolha e verdadeiro ou falso. |
| Melhor taxa de resposta incorreta |
Taxa de resposta entre 0 e 1 para aqueles que selecionaram a resposta incorreta mais comum. Preenchida apenas para perguntas de múltipla escolha e verdadeiro ou falso. |
| Grupo de questões |
Indica se a pergunta faz parte de um conjunto de perguntas (sim ou não). |
| Desvio padrão |
O desvio padrão da nota da pergunta usando a primeira tentativa de cada usuário. |
| Correlação |
Calcula qualquer correlação possível entre a pontuação do questionário e a pontuação total do questionário. Exibe N/A quando todos os usuários respondem a uma pergunta corretamente.
Observação: para obter mais informações, consulte Cálculo da correlação abaixo.
|
| Índice de discriminação |
Calcula qualquer discriminação possível na pergunta entre os alunos de melhor e pior desempenho subtraindo os 27% piores de seus 27% melhores da pergunta. Quanto maior a diferença, melhor a pergunta faz a discriminação entre os alunos com desempenho alto e baixo. Um valor negativo indica que mais alunos de baixo desempenho estão respondendo corretamente a pergunta do que os alunos de alto desempenho. Isso muito provavelmente indicaria uma pergunta do questionário com falha. |
| 27% melhores |
Nota média das perguntas dos usuários com notas de questionário nos 27% melhores.
Observação: quando houver 10 ou menos tentativas de realização do questionário, os 50% melhores e piores serão considerados em vez de 27%. Isso torna a estatística relevante com tamanhos de amostra menores.
|
| 27% piores |
Nota média das perguntas dos usuários com notas de questionário nos 27% piores. |
Os valores de correlação no painel Avaliação mostram a correlação entre a pontuação da pergunta e a pontuação total do questionário. Mede a força da correlação entre os dois valores e mostra um relacionamento positivo ou negativo que varia de -1,00 a +1,00.
Se a pergunta tiver apenas duas respostas possíveis (perguntas dicotômicas), como verdadeiro ou falso, o painel usa a correlação do ponto bisserial. Se as perguntas não forem dicotômicas, como perguntas de resposta curta, os cálculos do painel baseiam-se na correlação Pearson.
A correlação do ponto bisserial é calculada da seguinte forma:
Onde:
y1 = Número de respostas corretas
y0 = Número de respostas incorretas
M1 = Pontuação média do questionário para aqueles com a resposta correta
M0 = Pontuação média do questionário para aqueles com a resposta incorreta
n = Número de tentativas únicas de usuário para a pergunta
A correlação Pearson é calculada da seguinte forma:
Sendo que:
n = Número de tentativas únicas de usuário para a pergunta
a = Pontuação da pergunta
b = Pontuação do questionário
ai = pontuações das perguntas individuais indexadas com i
bi = pontuações dos questionários individuais indexadas com i
Área Visualizar pergunta
Clique em uma pergunta do questionário para navegar até a área Visualizar pergunta, em que você pode visualizar perguntas, comentários e dicas do questionário.
Figura: A área Visualizar pergunta.
Sobre arredondamento
Para todas as métricas no Painel de qualidade da avaliação, o arredondamento é realizado apenas uma vez, no final do cálculo. Métricas diferentes têm números diferentes de casas decimais finais. Se o dígito na casa decimal final for seguido por um dígito maior ou igual a 5, ele será arredondado para cima. Se for seguido por um dígito menor que 5, ele permanecerá como está.
Por exemplo, 1,2356 arredondado para 2 casas decimais torna-se 1,24, enquanto 1,2345 torna-se 1,23.