Ce tableau de bord offre un rapport visuel qui aide les utilisateurs à comprendre la qualité des évaluations en utilisant des questionnaires et des statistiques sur les questions couvrant notamment la fiabilité, les notes moyennes et des corrélations de tous les types de questions et de questionnaires.
Le Tableau de bord Qualité de l’évaluation est disponible pour tous les clients qui disposent du progiciel Performance+ ou qui ont acheté Brightspace Insights lors de la version précédente du progiciel.
Pour voir le tableau de bord Qualité de l’évaluation, l’autorisation Peut afficher le Tableau de bord Qualité des appréciations doit être activée pour votre rôle, et vous devez être inscrit aux offres de cours dont vous voulez voir les évaluations. Les questionnaires oivent faire l’objet d’au moins une tentative pour être inclus dans le tableau de bord.
Affichage et interaction avec le Tableau de bord Qualité de l’évaluation
Le tableau de bord offre trois vues : la page d’accueil, la zone analyse de l’élément du questionnaire et la zone de prévisualisation d’une question. Le tableau de bord comprend les fonctions suivantes :
Si vous décidez d’utiliser les statistiques relatives aux questionnaires et aux questions, il importe de tenir compte de la taille des échantillons pour l’élément visé. La pertinence statistique des données et indicateurs augmentera en fonction de l’accroissement de la taille de l’échantillon.
La page d’accueil
La page d’accueil vous montre la visualisation qui combine les données de tous les questionnaires que vous gérez. Les données de cette page vous permettent d’analyser et de déterminer les questionnaires qui sont à risque en ce qui a trait aux notes et à la fiabilité.
Figure : Page d’accueil du Tableau de bord Qualité de l’évaluation.
Sous Sommaire, vous trouverez des cartes pour Résultats (le nombre de questionnaires que vous gérez et qui répondent aux critères appliqués au tableau de bord), Note moyenne, Question marquée (le nombre de questionnaires dont une ou plusieurs questions se situent en dehors du seuil défini pour les valeurs acceptables) et Fiabilité du questionnaire. Vous pouvez activer et désactiver ces cartes et régler les seuils dans Paramètres.
La section Détails du questionnaire contient un tableau dynamique des questionnaires qui répondent aux critères appliqués au tableau de bord. Une icône « ! » apparait à côté des questionnaires pour lesquels une ou plusieurs questions sont marquées. Cliquez sur l’un des questionnaires de ce tableau pour accéder à la page Analyse de l’élément du questionnaire de ce questionnaire.
Si vous souhaitez comparer plusieurs occurrences d’un même questionnaire pour voir comment les statistiques varient, saisissez le nom du questionnaire dans le champ de recherche situé au-dessus du tableau des questionnaires. Cela applique un filtre à l’ensemble du tableau de bord. Les questionnaires ne s’affichent que si leur nom correspond à votre recherche, et les unités organisationnelles ne s’affichent que si elles contiennent un questionnaire dont le nom correspond à votre recherche. L’entrée de recherche a des limites de troncature de 5 000 unités organisationnelles et de 50 000 questionnaires. Si vous avez accès à un très grand nombre d’unités organisationnelles, nous vous conseillons de filtrer par unité organisationnelle avant de filtrer par nom de questionnaire pour obtenir les meilleurs résultats.
Le tableau Détails du questionnaire comprend les éléments suivants :
| Nom de la colonne |
Description de la colonne |
|---|
| Questionnaire |
Nom du questionnaire (tronqué à 160 caractères) et identifiant unique. Il comprend également le nom et l’ID de l’offre de cours dont il fait partie. |
| Note moyenne |
Note calculée en pourcentage, en fonction de la note de la première tentative de réponse au questionnaire de chaque élève. |
| Coefficient de fiabilité |
La fiabilité est calculée pour toutes les questions, que les questions du questionnaire soient dichotomiques ou non. La fiabilité varie généralement de 0 à 1, mais des valeurs négatives sont possibles.
Remarque : Pour obtenir plus d’information sur le calcul du coefficient de fiabilité, reportez-vous au sujet Calcul de la fiabilité, ci-dessous.
|
| Nombre d’éléments du questionnaire |
Nombre total de questions dans le questionnaire. |
| Éléments de questionnaire signalés |
Nombre de questions hors du seuil établi pour les valeurs acceptables du questionnaire. |
| Nombre de réponses de l’élève |
Nombre d’utilisateurs distincts ayant tenté de répondre au questionnaire. |
Le Tableau de bord Qualité de l’évaluation comprend pour chaque cours un coefficient de fiabilité attribué à chaque questionnaire ayant fait l’objet d’au moins une tentative de réponse. La fiabilité est calculée pour toutes les questions, que le questionnaire comprenne deux réponses possibles (p. ex., vrai/faux) ou non. La fiabilité varie de 0 à 1 et des valeurs négatives sont possibles.
La fiabilité est calculée comme suit :
Où :
k = le nombre total de questions dans le questionnaire.
(σ_(question i) )2 = l’écart pour une note de question spécifique i
(σ_(quiz,all) )2 = l’écart pour les notes du questionnaire (en fonction de tous les apprenants)
La zone Analyse de l’élément du questionnaire
Sélectionnez un questionnaire pour accéder à la zone Analyse de l’élément du questionnaire, qui fournit une analyse de chaque question du questionnaire.
Figure : La zone Analyse de l’élément du questionnaire.
Sélectionnez Aller au questionnaire sous le nom du questionnaire, puis la page Modifier le questionnaire s’ouvre dans une nouvelle fenêtre.
Sous Sommaire, il y a des cartes pour Détails du questionnaire qui incluent les détails de la page précédente, Moyenne faible qui dénombre les éléments du questionnaire dont la moyenne est inférieure à votre seuil, Écart important qui dénombre les éléments du questionnaire dont l’écart est supérieur à votre seuil, Corrélation faible qui dénombre les éléments du questionnaire dont la corrélation est inférieure à votre seuil, et Discrimination élevée qui dénombre les éléments du questionnaire dont l’écart entre les notes faibles et élevées est important. Vous pouvez activer et désactiver ces cartes et régler les seuils dans Paramètres.
La section Éléments du questionnaire contient un tableau dynamique des questionnaires qui répondent aux critères appliqués au tableau de bord. Une icône « ! » apparaît à côté des questionnaires dont une ou plusieurs statistiques se situent en dehors du seuil fixé. Cliquez sur l’un des éléments du questionnaire de ce tableau pour accéder à la page Prévisualiser la question de l’élément du questionnaire.
Le tableau Éléments du questionnaire affiche des statistiques et des détails sur chaque question du questionnaire, notamment :
| Nom de la colonne |
Description de la colonne |
|---|
| Question |
Texte de la question, tronquée à 70 caractères, avec identifiant unique. |
| Moyenne |
Calculée comme un pourcentage à deux décimales en utilisant la note de la première tentative de chaque utilisateur pour la question. |
| Mauvaise réponse la plus fréquente |
Réponse inexacte la plus fréquemment donnée. Cette valeur est uniquement indiquée pour les questions à choix multiples et les questions Vrai ou Faux. |
| Taux de réponse incorrect le plus élevé |
Taux de réponse entre 0 et 1 pour les utilisateurs ayant sélectionné la réponse inexacte la plus fréquente. Cette valeur est uniquement indiquée pour les questions à choix multiples et les questions Vrai ou Faux. |
| Dans la réserve de questions |
Indique si la question fait partie d’une réserve de questions (Oui ou Non). |
| Écart type |
Écart type de la note de la question en fonction de la première tentative de réponse de chaque élève. |
| Corrélation |
Cette formule calcule toute corrélation possible entre le pointage de la question et le pointage total du questionnaire. La corrélation affiche « S.O. » lorsque tous les utilisateurs ont répondu correctement à la question.
Remarque : Pour plus d’information à ce sujet, consultez la rubrique Calcul de la corrélation ci-dessous.
|
| Indice de discrimination |
Cette formule calcule toute discrimination possible dans la question entre les apprenants les plus forts et les plus faibles en soustrayant le résultat Derniers 27 % du résultat Premiers 27 % pour la question. Plus la différence est grande, mieux la question différencie les apprenants les plus forts des plus faibles. Une valeur négative indique qu’un nombre plus élevé d’apprenants faibles que d’apprenants forts a correctement répondu à la question. Cela indiquerait vraisemblablement une erreur dans la question. |
| Premiers 27 % |
Note moyenne pour la question des utilisateurs dont la note de questionnaire fait partie des premiers 27 %.
Remarque : Si les tentatives de réponse à des questions sont inférieures ou égales à 10, le système tient compte des premiers et derniers 50 % plutôt que des premiers et derniers 27 %. Ce réglage améliore la pertinence des statistiques lorsque les échantillons sont plus petits.
|
| Derniers 27 % |
Note moyenne pour la question des utilisateurs dont la note de questionnaire fait partie des derniers 27 %. |
Les valeurs de corrélation du Tableau de bord Évaluation indiquent la corrélation entre le pointage de la question et le pointage total du questionnaire. Elle mesure l’importance de la corrélation entre les deux valeurs et indique un résultat positif ou négatif compris entre -1,00 et +1,00.
Si la question ne comprend que deux réponses possibles (questions dichotomiques), par exemple vrai ou faux, le tableau de bord utilise la corrélation bisériale de point. Si les questions ne sont pas dichotomiques, par exemple des questions à réponses courtes, les calculs du tableau de bord sont basés sur la corrélation de Pearson.
La corrélation bisériale de point est calculée comme suit :
Où :
y1= le nombre de réponses exactes
y0= le nombre de réponses incorrectes
M1= la note moyenne du questionnaire pour les apprenants ayant donné la bonne réponse
M0= la note moyenne du questionnaire pour les apprenants ayant donné la mauvaise réponse
n= le nombre de tentative de réponse unique des utilisateurs pour la question
La corrélation de Pearson est calculée comme suit :
Où :
n= le nombre de tentative de réponse unique des utilisateurs pour la question
a= la note de la question
b= la note du questionnaire
ai= les notes des questions individuelles indexées avec i
b i= les notes des questionnaires individuels indexées avec i
La zone Prévisualiser la question
Sélectionnez une question du questionnaire pour accéder à la zone Prévisualiser la question, où vous pouvez prévisualiser les questions, les commentaires et les conseils pour un questionnaire.
Figure : La zone Prévisualiser la question.
À propos de l’arrondissement
Pour toutes les mesures du tableau de bord Qualité de l’évaluation, les arrondissements ne sont effectués qu’une seule fois, à la fin du calcul. Le nombre de décimales finales varie d’une mesure à l’autre. Si le chiffre de la dernière décimale est suivi par un chiffre supérieur ou égal à 5, il est arrondi au chiffre supérieur; s’il est suivi par un chiffre inférieur à 5, il reste tel quel.
Par exemple, 1,2356 arrondi à deux décimales devient 1,24, tandis que 1,2345 devient 1,23.