Publicado originalmente el 15 de febrero de 2019.
¿Estás mirando tus datos? ¿Sabe a qué datos tiene acceso desde su entorno de aprendizaje de Brightspace? ¿Sabes qué decisiones podrías (deberías) tomar en base a estos datos? La respuesta que escucho a al menos una de estas preguntas a menudo es 'No'. Entonces, tomemos un momento para hablar sobre el por qué y el qué de algunos de sus datos.
¿Por qué debería mirar sus datos?
Tiene montones y montones de datos disponibles a través de Brightspace. A veces puede parecer que hay demasiado, así que voy a ayudar a señalar algunas piezas clave a tener en cuenta para que no parezca tan abrumador. Pero, más allá de eso, deberías mirar tus datos porque tus datos son la mejor manera de asegurarte de que estás completamente informado y de que tomas decisiones basadas en hechos. Estos datos fácticos también proporcionan una excelente base para las estadísticas de uso y otras métricas clave en las que los líderes sénior de su organización van a estar interesados. La mayoría de las otras organizaciones están cambiando a modelos de toma de decisiones basados en datos, por lo que ahora es el momento adecuado para sentirse cómodo con los datos que tiene disponibles. Los datos también impulsan otros procesos empresariales clave, como la mejora continua de programas y cursos, las decisiones de contratación y dotación de personal, la asignación de recursos e incluso la determinación de cuántas secciones de cursos ofrecer.
Éxito y logros estudiantiles
Una de las áreas de más alto perfil relacionadas con el uso de datos es apoyar a los estudiantes para que tengan éxito en su experiencia de aprendizaje e informar sobre su éxito y logros. Esto puede incluir una amplia variedad de métricas de datos, como el progreso y la finalización del curso, las calificaciones, el compromiso y el logro de los resultados del aprendizaje. Estos datos le ayudan a tomar decisiones informadas sobre la eficiencia del aprendizaje y la eficacia del contenido, los recursos de aprendizaje y las evaluaciones. Los resultados de la evaluación son una métrica de datos comúnmente utilizada para evaluar el éxito de los estudiantes. El logro de los resultados de aprendizaje asociados con esas evaluaciones ofrece una visión rica del aprendizaje de los estudiantes más allá de una simple evaluación basada en calificaciones. Todos estos elementos de datos ayudan a identificar a los estudiantes que están teniendo éxito o sobresaliendo, así como a aquellos que podrían tener dificultades o quedarse atrás. La identificación de estos estudiantes como posibles candidatos para una conversación u otra intervención puede ser un paso crucial para ayudar a que el estudiante permanezca comprometido y avance hacia una finalización exitosa.
Podemos ayudar
Si todo esto parece desalentador o un poco abrumador, D2L ofrece servicios de consultoría relacionados con datos para ayudar. Podemos ayudarlo a comenzar, recorrer el proceso y brindarle la orientación que necesita para que no tenga que resolverlo por su cuenta. También tenemos una serie de recursos relacionados con los datos disponibles aquí en la comunidad de Brightspace para ayudar.
¿Qué hay disponible?
Una de las formas más sencillas de empezar a utilizar los datos que tiene disponibles es examinar los elementos de datos del conjunto de datos de uso del alumno, que está disponible en el Centro de datos como uno de los conjuntos de datos avanzados. A continuación, se identifican algunas métricas de rendimiento y palabras clave a las que se hace referencia habitualmente. Hemos proporcionado algunas definiciones breves de las palabras clave para confirmar que las estamos considerando en el mismo contexto que usted. A continuación, la lista de métricas de rendimiento que se pueden determinar fácilmente a partir del conjunto de datos de uso del alumno.
Definiciones
Adopción
Nivel de uso del entorno de aprendizaje dentro de su organización. La adopción tiene que ver con el número de usuarios que acceden al entorno de aprendizaje (número de inicios de sesión) y con la amplitud y profundidad del uso. La amplitud significa que se utiliza una amplia variedad de herramientas y funciones en el entorno de aprendizaje, mientras que la profundidad significa que las herramientas y las funciones se utilizan al máximo de su capacidad. Una adopción correcta significa que un número significativo de usuarios inician sesión en el entorno de aprendizaje y que una amplia variedad de características y herramientas se utilizan al máximo de su potencial en los cursos de su organización.
Criterios de éxito
Los criterios de éxito son metas identificadas seleccionadas para medir el éxito de la implementación y/o adopción del entorno de aprendizaje. Por ejemplo, puede que tenga una iniciativa para aumentar el número de alumnos que completan un curso con una calificación aprobatoria, o el número de alumnos que demuestran el dominio de una competencia identificada, o que haya introducido una iniciativa para aumentar el número de usuarios que inician sesión en el entorno de aprendizaje. Independientemente de lo que su organización identifique como dimensiones importantes del éxito, estos elementos se convierten en sus criterios de éxito y en los elementos sobre los que medirá o evaluará el éxito de su iniciativa.
Métricas de éxito
Las métricas de éxito son puntos de datos seleccionados para medir y supervisar el nivel de rendimiento o actividad relacionado con cada uno de los criterios de éxito identificados. Por ejemplo, si uno de sus criterios de éxito está relacionado con aumentar el número de estudiantes que completan un curso con una calificación aprobatoria, entonces el seguimiento o la medición de ese número de estudiantes será una de sus métricas. Por ejemplo, podría simplemente contar el número de estudiantes que tienen una calificación aprobatoria para un curso dentro de un trimestre. O bien, también puede desglosarlo aún más para conocer el número de estudiantes por cada nivel de grado (o valor de calificación) en el esquema de calificaciones. También puedes ver estos datos como una tendencia, plazo tras plazo, año tras año, etc. Estas se convierten en tus métricas de éxito. Alguna forma de medición de datos definida para cada uno de sus criterios de éxito son sus métricas de éxito.
Éxito de los estudiantes
Una medida del comportamiento de aprendizaje exitoso de los estudiantes. Tradicionalmente, el éxito de los estudiantes solo se medía por el GPA y si un estudiante completaba un programa y se graduaba. Hoy en día, con el uso de datos detallados disponibles en el entorno de aprendizaje, podemos profundizar un poco más en algunos otros criterios que indican un comportamiento de aprendizaje exitoso, tales como:
- Calificación del curso
- Asistencia/ausentismo
- Carga crediticia/plazo
- Tiempo para completar una carrera
- GPA
- Nivel de compromiso
Finalización del curso
Medida por la cual un curso puede considerarse finalizado. En el entorno de aprendizaje, esto podría ser:
- Ver todos los temas de contenido de un curso
- Completar todas las actividades de evaluación
- Obtener una competencia u objetivo de aprendizaje
- Recibir una insignia
- Obtención de un certificado o credencial
- Completar una evaluación sumativa
- Obtener un nivel de grado designado
Retención
La retención consiste en medir la frecuencia con la que los estudiantes abandonan la escuela o se transfieren a otra institución. Hay tres niveles básicos de retención que se pueden medir con datos del entorno de aprendizaje:
- Estudiantes que permanecen inscritos en un curso hasta su finalización
- Estudiantes que continúan regresando e inscribiéndose en el siguiente curso en la secuencia del programa después de completar los cursos anteriores
- Estudiantes que completan todos los requisitos del programa y se gradúan
Matrícula
Estudiantes que completan un año académico y son promovidos al siguiente nivel de rendimiento académico.
Compromiso
El compromiso es un término resbaladizo. A menudo se usa indistintamente para discutir el nivel de interés de los estudiantes en un curso o programa, para discutir el nivel en el que los estudiantes o instructores participan activamente en las actividades de aprendizaje, o para discutir el nivel de interacción entre los estudiantes y los instructores. Cuando estos tres componentes de la participación se hacen bien, las tasas de satisfacción y éxito de los estudiantes tienden a aumentar. Por ejemplo, podría medir el número de estudiantes que han enviado una tarea, enviado un cuestionario o publicado en un foro de discusión como un nivel de participación de los estudiantes. Del mismo modo, también puede evaluar el número de cursos que están configurados para usar la herramienta de calificaciones, o usar la herramienta de discusión, o el tiempo para evaluar las entregas de los estudiantes como niveles de participación del instructor.
Métricas
Conjunto de datos de uso del alumno solo
El conjunto de datos Uso del alumno puede proporcionar una variedad de métricas de datos que son útiles de muchas maneras. Las perspectivas masivas pueden proporcionar una lente interesante con la que se pueden observar datos comparativos a lo largo del tiempo (por ejemplo, trimestre a trimestre o año a año) para investigar los niveles de compromiso de un estudiante o grupo de estudiantes o curso por curso.
Una medida de la participación en un grupo de estudiantes puede ser escanear rápidamente los recuentos mínimos, máximos y promedio de las finalizaciones de los estudiantes de los siguientes elementos de la herramienta:
- Finalización de la lista de verificación
- Entregas de cuestionarios (número total de intentos de entrega vs. enviados/no enviados)
- Discusiones (número de hilos creados, leídos y respondidos)
- Trabajos entregados
Estos valores mínimos, máximos y promedios ayudan a poner los niveles de actividad individual de los estudiantes dentro del contexto de sus compañeros. Si un estudiante individual en un curso, por ejemplo, ha hecho 5 intentos de entrega de cuestionarios, pero la mayoría de los otros estudiantes en el curso están completando el cuestionario con solo 1 o 2 intentos, entonces tal vez esta sea una oportunidad para conversar con ese estudiante. O, si el promedio de la clase es tomar 4 o 5 intentos para aprobar un examen, entonces tal vez sea una oportunidad para reevaluar el material del curso donde se presenta la información de contenido del cuestionario, o también podría ser un estímulo para profundizar e investigar pregunta por pregunta (o sección por sección) dónde los estudiantes tienen dificultades con el cuestionario. (Por supuesto, este escenario significa que el cuestionario está configurado para permitir varios intentos de envío. Este no es un ejemplo válido si solo permite un intento de envío en sus cuestionarios).
Otra indicación fácil de la participación es observar la fecha de actividad más reciente en un grupo de alumnos (por curso, por sección, etc.) y buscar valores atípicos o anomalías.
El más reciente de:
- Entrega de trabajos
- Publicación de discusión (de autoría y/o lectura)
- Inicio de sesión del curso
- Correo enviado
Los elementos de datos más recientes le dan una buena idea de qué tan actual ha sido la participación del estudiante en el curso. Tal vez el estudiante estaba muy activo al comienzo del curso pero luego no se ha involucrado en las últimas tres o cuatro semanas, esto podría ser un signo de alguna circunstancia de la vida que podría estar interfiriendo con su proceso de aprendizaje. Esto podría indicar una oportunidad para acercarse y verificar al estudiante antes de que se retrase demasiado en el curso para ponerse al día.
Interacción del alumno con otros conjuntos de datos
Al observar los datos de participación, si combina el conjunto de datos de participación del alumno con algunos de los otros conjuntos de datos avanzados o de Brightspace, puede obtener métricas útiles de rendimiento e interacción.
Si combinas el conjunto de datos de participación del alumno con:
- El conjunto de datos de calificaciones finales, puede determinar fácilmente la distribución de calificaciones por curso. Esto le mostrará el recuento de los niveles de calificación, de acuerdo con el esquema de calificaciones del curso.
- El conjunto de datos Todas las calificaciones, puede determinar la distribución de calificaciones por actividad de evaluación. Esto le mostrará el recuento de niveles de calificación, de acuerdo con el esquema de calificaciones para cada actividad del curso.
- El conjunto de datos de la lista de verificación, puede determinar el porcentaje completado de listas de verificación en el curso.
- El conjunto de datos Objetos de prueba, puede determinar el porcentaje completado para las entregas de prueba en el curso.
- el conjunto de datos de discusiones, puede determinar el porcentaje completado para las publicaciones de discusión en el curso.
- El conjunto de datos Objetos de tarea, puede determinar el porcentaje completado para la entrega de tareas en el curso.
Por ejemplo, con el conjunto de datos de todas las calificaciones, esta es una gran continuidad con respecto a los datos que están disponibles en la herramienta de calificaciones con respecto a la distribución de calificaciones. El instructor puede ver dentro de su propio curso, cómo se ve la distribución de calificaciones para cada elemento de calificación individual y para la calificación final. Sin embargo, si necesita o desea ver esta información agregada para ese instructor en varios cursos que el instructor está enseñando, o si desea ver la información agregada en varias ofertas de cursos o un departamento, un programa, etc., entonces esa es una excelente oportunidad para aprovechar el conjunto de datos de todas las calificaciones para obtener una vista más amplia de los datos.