Este panel ofrece visualizaciones a los usuarios para ayudarlos a conocer la calidad de las evaluaciones mediante estadísticas de preguntas y cuestionarios, tales como la fiabilidad, la calificación promedio y la correlación de todos los cuestionarios y los tipos de preguntas.
El panel Calidad de evaluación está disponible para todos los clientes que tengan el paquete Performance+ o que hayan adquirido Brightspace Insights en el modelo de paquete previo.
Para ver el panel Calidad de evaluación, su rol debe tener permiso para Ver el panel Calidad de evaluación y usted debe estar inscrito en las ofertas de cursos cuyas evaluaciones desea ver. Los cuestionarios necesitan, al menos, un intento para incluirse en el panel.
Ver e interactuar con el panel Calidad de evaluación
El panel tiene tres vistas: la página de inicio, el área de análisis de elementos del cuestionario y el área previsualizar pregunta. El panel contiene las siguientes funciones:
En general, cuando se utilizan estadísticas de preguntas y cuestionarios es importante tener en cuenta el tamaño de la muestra para el cuestionario o la pregunta dados. La relevancia estadística de las métricas aumenta en función del incremento en el tamaño de la muestra.
La página de inicio
La página de inicio muestra visualizaciones que combinan los datos de todos los cuestionarios que usted administra. Los datos de esta página le permiten analizar e identificar los cuestionarios que tienen un desempeño bajo en términos de puntuaciones de calificaciones y confiabilidad.
Figura: Página de inicio del panel Calidad de evaluación.
En Resumen, hay tarjetas para Resultados (la cantidad de cuestionarios que administra y que cumplen con los criterios aplicados al panel), Puntuación promedio, Pregunta marcada (la cantidad de cuestionarios con una o más preguntas que están fuera del umbral establecido para valores aceptables) y Fiabilidad del cuestionario. Puede activar y desactivar estas tarjetas y ajustar los umbrales en Configuración.
El área Detalles del cuestionario contiene una tabla dinámica de cuestionarios que cumplen con los criterios aplicados en el panel. Al lado de los cuestionarios que tienen una o más preguntas marcadas aparece el ícono “!”. Haga clic en cualquiera de los cuestionarios de esta tabla a fin de navegar a la página de Análisis de elementos del cuestionario para ese cuestionario.
Si desea comparar varias ocurrencias del mismo cuestionario para ver cómo varían las estadísticas, ingrese el nombre del cuestionario en la entrada de búsqueda sobre la tabla del cuestionario. Esto aplica un filtro a todo el panel. Los cuestionarios solo se muestran si su nombre coincide con la búsqueda y las unidades de organización solo se muestran si contienen un cuestionario cuyo nombre coincide con la búsqueda. La entrada de búsqueda tiene límites de truncamiento de 5,000 unidades de organización y 50,000 cuestionarios, por lo que si tiene acceso a una gran cantidad de unidades de organización, aconsejamos filtrar por unidad de organización antes de filtrar por nombre de cuestionario para obtener los mejores resultados.
La tabla Detalles del cuestionario incluye lo siguiente:
| Columna Nombre |
Columna Descripción |
|---|
| Cuestionario |
Nombre del cuestionario, truncado a 160 caracteres e identificador único. También incluye el nombre y la ID de la oferta de cursos de la que forma parte. |
| Puntuación promedio |
Se calcula como un porcentaje con la puntuación del primer intento de cada usuario en el cuestionario. |
| Coeficiente de fiabilidad |
La fiabilidad se calcula para todas las preguntas, ya sea que las preguntas del cuestionario sean dicotómicas o no. La fiabilidad suele oscilar entre 0 y 1, pero son posibles los valores negativos.
Nota: Para obtener más información acerca de cómo se calcula el coeficiente de fiabilidad, consulte Cálculo de fiabilidad a continuación.
|
| Cantidad de elementos del cuestionario |
Cantidad total de preguntas en el cuestionario. |
| Elementos del cuestionario marcados |
Cantidad de preguntas que están fuera del umbral establecido para los valores aceptables en el cuestionario. |
| Cantidad de respuestas del alumno |
Número de usuarios distintos que han hecho un intento en el cuestionario. |
En el panel Calidad de evaluación, en cada curso, hay un coeficiente de fiabilidad para cada cuestionario en el que se haya hecho un intento. La fiabilidad se calcula para todas las preguntas, ya sea que las preguntas del cuestionario tengan dos respuestas posibles (como verdadero o falso) o no. Los rangos de fiabilidad oscilan entre 0 y 1. Sin embargo, los valores negativos son posibles.
La fiabilidad se calcula de la siguiente manera:
Donde:
k = cantidad total de preguntas en el cuestionario.
(σ_(pregunta i) )2 = la variable de la puntuación de una pregunta determinada i
(σ_(cuestionario, todos) )2 = la variable de las puntuaciones de cuestionario (según todos los estudiantes)
El área Análisis de elementos del cuestionario
Haga clic en un cuestionario para navegar al área Análisis de elementos del cuestionario, que proporciona un desglose de cada pregunta en un cuestionario.
Figura: El área Análisis de elementos del cuestionario.
Haga clic en Ir al cuestionario bajo el nombre del cuestionario y se abrirá la página Editar cuestionario en una ventana nueva.
En Resumen están las tarjetas Detalles del cuestionario, que incluyen los detalles de la página anterior, Media baja, que cuenta la cantidad de elementos del cuestionario con una media más baja que su umbral, Desviación alta, que cuenta la cantidad de elementos del cuestionario con una desviación más alta que su umbral, Correlación débil, que cuenta la cantidad de elementos del cuestionario con una correlación inferior a su umbral y Discriminación alta, que cuenta los elementos del cuestionario con una brecha amplia entre los estudiantes con desempeño alto y bajo. Puede activar y desactivar estas tarjetas y modificar los umbrales en Configuración.
El área Elementos del cuestionario contiene una tabla dinámica con los elementos del cuestionario que cumplen los criterios aplicados al panel. Junto a cuestionarios que tienen una o más estadísticas fuera del rango del umbral establecido aparece el ícono “!”. Haga clic en cualquiera de los elementos del cuestionario en esta tabla a fin de navegar a la página Previsualizar pregunta para ese elemento del cuestionario.
La tabla Elementos del cuestionario muestra estadísticas y detalles sobre cada pregunta del cuestionario, entre los que se incluyen los siguientes:
| Columna Nombre |
Columna Descripción |
|---|
| Pregunta |
Texto de la pregunta, truncado a 70 caracteres e identificador único. |
| Media |
Se calcula como un porcentaje con hasta dos decimales usando la puntuación del primer intento de cada usuario en la pregunta. |
| Respuesta incorrecta principal |
Respuesta incorrecta informada con más frecuencia. Solo se completa en elección múltiple y preguntas de verdadero o falso. |
| Tasa de respuesta incorrecta principal |
La tasa de respuesta entre 0 y 1 para aquellos que seleccionaron la respuesta incorrecta más común. Solo se completa en elección múltiple y preguntas de verdadero o falso. |
| En Grupo de preguntas |
Indica si la pregunta es parte de un grupo de preguntas (sí o no). |
| Desviación estándar |
La desviación estándar de la calificación de la pregunta utilizando el primer intento de cada usuario. |
| Correlación |
Calcula cualquier correlación posible entre la puntuación de la pregunta y la puntuación total del cuestionario. Muestra N/A cuando todos los usuarios responden una pregunta específica de manera correcta.
Nota: Para obtener más información, consulte el Cálculo de correlación a continuación.
|
| Índice de discriminación |
Calcula la discriminación posible en la pregunta entre los estudiantes de alto y bajo desempeño, restando el 27 % más bajo al 27 % más alto de la pregunta. Cuanto más alta sea la diferencia, mejor la pregunta discrimina entre los estudiantes de alto y bajo desempeño. Un valor negativo indica que más estudiantes de bajo desempeño respondieron de manera correcta a la pregunta que estudiantes de alto desempeño. Es muy probable que este indique una pregunta del cuestionario mal formulada. |
| 27 % más alto |
Calificación promedio de la pregunta de los usuarios con las calificaciones de cuestionario en el 27 % más alto.
Nota: Cuando hay 10 o menos intentos de preguntas, se considera el 50 % superior e inferior en lugar del 27 %. Esto hace que las estadísticas sean importantes con tamaños de muestra pequeños.
|
| 27 % más bajo |
Calificación promedio de la pregunta de los usuarios con las calificaciones de cuestionario en el 27 % más bajo. |
Los valores de correlación en el panel Evaluación muestran la correlación entre la puntuación de la pregunta y la puntuación total del cuestionario. Esta mide la fuerza de la correlación entre dos valores y muestra ya sea una relación positiva o una negativa, en un rango de -1,00 a +1,00.
Si la pregunta tiene solo dos respuestas posibles (preguntas dicotómicas), como verdadero o falso, el panel utiliza la correlación biserial-puntual. Si las preguntas no son dicotómicas, tales como las preguntas de respuesta corta, los cálculos del panel se basan en la correlación de Pearson.
La correlación biserial-puntual se calcula de la siguiente manera:
Donde:
y1 = Número de respuestas correctas
y0 = Número de respuestas incorrectas
M1 = Puntuación promedio del cuestionario para aquellos que tengan la respuesta correcta
M0 = Puntuación promedio del cuestionario para aquellos que tengan la respuesta incorrecta
n = Número de intentos del usuario único para la pregunta
La correlación de Pearson se calcula de la siguiente manera:
Donde:
n = Número de intentos del usuario único para la pregunta
a = Puntuación de la pregunta
b = Puntuación del cuestionario
ai = Puntuaciones de pregunta individual indexadas con i
bi = Puntuaciones de cuestionario individual indexadas con i
El área Previsualizar pregunta
Haga clic en una pregunta del cuestionario para navegar al área Previsualizar pregunta, donde puede previsualizar preguntas, comentarios y sugerencias del cuestionario.
Figura: El área Previsualizar pregunta
Acerca del Redondeo
Para todas las métricas del Panel de calidad de la evaluación, el redondeo se realiza una sola vez, al final del cálculo. Las diferentes métricas tienen diferentes números de lugares decimales finales. Si el dígito en el lugar decimal final es seguido por un dígito mayor o igual que 5, se redondea hacia arriba; si sigue un dígito menor que 5, permanece tal cual.
Por ejemplo, 1.2356 redondeado a 2 decimales se convierte en 1.24, mientras que 1.2345 se convierte en 1.23.