Será importante previamente establecer qué es calidad y definirla, carácterizando aquello que se considere como un buen aprendizaje (Conole, 2013). Para ello habrá que buscar instrumentos adecuados y validados que nos permitan obtener indicadores para evaluar la calidad pedagógica de los MOOC (Vila, Andrés y Guerrero, 2014). En este terreno la opción más generalizada es apostar por encuestas realizadas a los participantes dentro de la formación, tanto genéricas relacionadas con el ámbito educativo como más específicas del e-learning (Arias, 2007), tendencia actual a la hora de evaluar la calidad de un MOOC.
Debido a la fase relativamente temprana de este movimiento MOOC no existe todavia un procedimiento validado y estandarizado específico que se haya extendido como método universal de medida. En la mayoría de los casos se apuesta por adaptaciones de indicadores propios de la formación online (González, 2008b; Cabero y López, 2009; Marsh, 1982), que se mostrarán a continuación. También están apareciendo modelos híbridos (Fernández et al., 2015) que son resultado de combinar diferentes propuestas ya validadas, pero en ningún caso hay un movimiento definido. En todos los casos se apuesta por encuestas formuladas a los estudiantes tras finalizar el curso.
UNE 66181:2012
La Asociación Española de Normalización y Certificación (AENOR), miembro de la ISO (International Organization for Standardization), aporta a los estándares dentro del campo del e-learning la norma UNE 66181 de calidad de formación virtual dirigida a desarrolladores y proveedores de formación de Tecnologías de Información y Comunicación (TIC).
El estándar normativo UNE 66181:2012, actualizado a 2012, cuenta con las siguientes dimensiones:
- Reconocimiento de la formación para la empleabilidad con un total de 6 ítems.
- Metodología de aprendizaje formada por 43 ítems repartidos a lo largo 4 subdimensiones:
- Diseño didácticoinstruccional (11 ítems)
- Recursos formativos y actividades de aprendizaje (10 ítems)
- Tutoría (9 ítems)
- Entorno tecnológicodigital de aprendizaje (13 ítems)
- Niveles de accesibilidad que contiene 21 ítems distribuidos a su vez en 3 subdimensiones:
- Accesibilidad hardware (7 ítems)
- Accesibilidad software (7 ítems)
- Accesibilidad web (7 ítems).
Los factores de satisfacción se presentan en una graduación de cinco niveles de calidad. Esta escala va desde el nivel 1 “Inicial” hasta el nivel 5 “Excelente”, con la finalidad de que los clientes y usuarios, los estudiantes, posean mayor información sobre la oferta formativa y pueda ser comparada con otras.
ADECUR
El instrumento de evaluación “Análisis de modelos y estrategias de enseñanzas de cursos universitarios en red” (ADECUR) es capaz de analizar e identificar los rasgos definitorios de la calidad didáctica de los cursos virtuales, a partir de los baremos proporcionados por el paradigma socio-constructivista e investigador (Cabero y López, 2009).
Parte de dos dimensiones:
- Psicodidáctica, esta se compone de seis ejes de progresión: el ambiente virtual, el tipo de aprendizaje que se promueve, los objetivos, los contenidos, las actividades y su secuenciación, y la evaluación y la acción tutorial.
- Aspectos técnicos, compuesta por un eje de progresión: recursos y aspectos técnicos.
Ambas dimensiones se desarrollan a lo largo de 115 ítems, cada uno de los cuales cuenta con uno o varios criterios con dos únicas opciones de respuesta, “1” para el caso en el que se cumpla el criterio o criterios del enunciado o “0” para el caso en el que no aparezca dentro de la formación virtual.
Autores como Fernández et al., (2015) encuentran en este instrumento didáctico una interesante solución como herramienta de evaluación de la calidad dentro ámbito de los cursos MOOC.
SEEQ
La encuesta de opinión de los estudiantes como método de evaluación de la calidad educativa “Student’s Evaluation of Educational Quality” (SEEQ) (Marsh, 1982), fue diseñada a finales de 1970 por el profesor Herbert Marsh. Permite analizar la eficacia de la enseñanza a partir de una serie de factores predefinidos, estos a su vez están formados por 42 ítems que se valoran de manera individual en una escala de tipo Likert de cinco opciones (muy en desacuerdo, en desacuerdo, ni de acuerdo ni en desacuerdo, de acuerdo y muy de acuerdo) y un ítem o pregunta con respuesta abierta donde el estudiante podrá dejar su opinión y comentarios. Esta encuesta (Matés y Bouzada, 2010) permite la elaboración de planes de mejora; garantiza fiabilidad, validez y consistencia; y permite la comparación entre instituciones.
Los factores propuestos por Marsh son nueve:
- Aprendizaje
- Entusiasmo
- Organización
- Interacción con el grupo
- Actitud personal
- Contenidos
- Carga de trabajo y dificultad
- Exámenes
- Trabajo del curso
La encuesta SEEQ puede utilizarse tanto para evaluación formativa como sumativa, proporcionando al docente información y una medida general sobre la eficacia de su enseñanza. Además servirá como resumen de evaluación profesional que facilitará el reconocimiento de aquellas enseñanzas que destaquen permitiendo incluirlo en su portafolio docente para mostrarlo.