La evaluación de la participación de los estudiantes

basada en el aprendizaje profundo podría ayudar a la investigación en el aula

Investigaciones anteriores han identificado la participación de los estudiantes, o el grado en que los estudiantes participan y están involucrados en las actividades del aula, como un factor crucial que determina tanto la calidad de los programas educativos como el desempeño académico de los estudiantes individuales. Como resultado, muchos educadores en todo el mundo están tratando activamente de diseñar cursos que maximicen la participación de los estudiantes.

Sin embargo, evaluar la participación de los estudiantes de manera efectiva y confiable puede ser bastante desafiante. Las técnicas para monitorear el compromiso y la participación de los estudiantes en el aula a lo largo del tiempo, y sin entrometerse o afectar negativamente su experiencia de aprendizaje , serían de gran valor, ya que podrían usarse para investigar la efectividad de los cursos y las estrategias educativas.

Investigadores de la Universidad de Tübingen y el Instituto Leibniz für Wissensmedien en Alemania, así como de la Universidad de Colorado Boulder, han investigado recientemente el potencial de las técnicas de aprendizaje automático para evaluar la participación de los estudiantes en el contexto de la investigación en el aula. Más específicamente, idearon una arquitectura basada en una red neuronal profunda que puede estimar la participación de los estudiantes mediante el análisis de secuencias de video recopiladas en entornos de aula.

«Usamos los datos de la cámara recopilados durante las lecciones para enseñar un modelo basado en redes neuronales profundas para predecir los niveles de participación de los estudiantes», dijo Enkelejda Kasneci, investigadora líder de HCI en el equipo multidisciplinario que llevó a cabo el estudio. «Entrenamos nuestro modelo con datos reales (p. Ej., Calificaciones de expertos del nivel de participación de los estudiantes en función de los videos grabados en el aula). Después de esta capacitación, el modelo pudo predecir, por ejemplo, si los datos obtenidos de un un estudiante en particular en un momento determinado indica niveles altos o bajos de participación «.

El modelo ideado por Kasneci y sus colegas puede escanear grandes conjuntos de datos de videos grabados en entornos de aula e identificar instancias en las que la participación de los estudiantes fue alta o baja. Según Peter Gerjets, el psicólogo cognitivo líder del equipo, un método de este tipo podría ayudar a identificar las estrategias de instrucción en el aula que están asociadas con una alta atención de los estudiantes y también podrían usarse en programas de capacitación de maestros.

«Para nosotros, como equipo de investigación, es muy importante enfatizar que el objetivo no es monitorear de cerca a estudiantes específicos, sino más bien desarrollar estrategias de participación inteligentes para una instrucción más efectiva», explicó Gerjets. «Se puede utilizar para mejorar la eficacia de la enseñanza, pero nunca para la evaluación de los profesores. De hecho, cuando se trata de objetivos relacionados con la aplicación de estas tecnologías, el uso del aprendizaje automático para respaldar escenarios de instrucción no es solo una cuestión de qué se puede hacer, sino qué se debe hacer con estas tecnologías. En todos los pasos de nuestra investigación, prestamos atención de cerca a las cuestiones éticas que deben discutirse en relación con temas de privacidad, transparencia, equidad, responsabilidad y uso previsto «.

Los videos filmados en el aula se han utilizado para realizar investigaciones relacionadas con la educación desde hace varios años. Hasta ahora, sin embargo, estos videos generalmente se analizaban manualmente y anotados por evaluadores humanos, a quienes se les pidió que identificaran patrones o detalles relevantes para el proyecto específico para el que se estaban utilizando. Sin embargo, los avances recientes en el campo de la visión por computadora y el aprendizaje automático han permitido el desarrollo de técnicas que pueden analizar automáticamente grandes cantidades de videos e identificar patrones específicos en ellos, incluido el desarrollado por los investigadores en Tübingen y UC Boulder.

Una estrategia basada en el aprendizaje profundo para evaluar la participación de los estudiantes podría ayudar a la investigación en el aula
Se entrenaron dos columnas vertebrales ResNet-50 por separado para reconocer las expresiones faciales y estimar las posturas de la cabeza, respectivamente. Las características que aprendieron se utilizan para estimar la participación de los estudiantes en un entorno de aula.

«La mayoría de los trabajos anteriores basados ​​en el análisis de rostros se basaron en datos de video a pequeña escala y dependieron de una buena alineación de rostros y características hechas a mano», dijeron Enkelejda Kasneci y Sidney D’Mello. «Sin embargo, el aprendizaje profundo nos ofrece la oportunidad de aprender representaciones útiles a partir de macrodatos y mejora el rendimiento de los clasificadores de participación. Nuestro estudio tenía como objetivo permitir la estimación automatizada de participación de la manera más fluida posible sin requerir costosas calificaciones manuales o sensores intrusivos. «

El modelo neuronal profundo se entrenó principalmente con datos visuales. Los niveles de participación de los estudiantes se pueden medir principalmente observando la atención del estudiante y sus respuestas emocionales (es decir, señales de atención y afectivas). Los investigadores entrenaron así dos redes neuronales residuales, la primera (Attention-Net) fue entrenada para estimar la dirección hacia la que apuntaban las cabezas de los estudiantes y la segunda (Affect-Net) para determinar sus emociones analizando sus expresiones faciales.

«Posteriormente, capacitamos a los clasificadores de lectura basados ​​en estas dos características para clasificar el compromiso en tres categorías: bajo, medio y alto», dijo Kasneci. «Estos clasificadores se basan en máquinas de vectores de soporte, bosque aleatorio, perceptrón multicapa y enfoques de memoria a largo y corto plazo».

En lugar de entrenar sus algoritmos en imágenes en bruto, los investigadores los entrenaron en incrustaciones profundas (es decir, representaciones de baja dimensión de estas imágenes). Esto les permite volver a entrenarlos o personalizarlos fácilmente utilizando datos nuevos muy limitados (una secuencia de video corta de 60 segundos).

«Para resumir, nuestro estudio mostró que el aprendizaje profundo puede capturar de manera eficiente la participación en la investigación en el aula. Los patrones de participación generalizados, junto con el contenido de enseñanza correspondiente, se pueden utilizar para diseñar estrategias educativas más efectivas», dijo Kasneci. «De esta manera, los estudios de investigación en el aula se pueden realizar de manera más eficiente, lo que en consecuencia ayuda a mejorar la eficacia de la enseñanza. Sin embargo, junto con las consideraciones éticas, también hay preguntas de investigación abiertas con respecto al aprendizaje profundo, por ejemplo, las relacionadas con el conjunto de datos y la equidad, interpretabilidad y solidez de los algoritmos. . «

En sus próximos estudios, los investigadores planean probar la validez y efectividad de su técnica para evaluar la participación de los estudiantes en diferentes grupos de estudiantes. También seguirán desarrollando su enfoque para garantizar su fiabilidad, equidad e interpretación.

Como fue diseñado específicamente para fines de investigación, el modelo garantiza el anonimato de los estudiantes capturados en grabaciones de video. Además, el sistema elimina el metraje de video sin procesar inmediatamente después de que se usa para extraer incrustaciones profundas y solo almacena datos relacionados con un grupo general de estudiantes (a diferencia de estudiantes individuales). Si bien, en teoría, puede mapear el compromiso de un estudiante individual a lo largo del tiempo, esto se puede evitar fácilmente.

«Hay una serie de preguntas intrigantes que planeamos abordar en nuestros próximos estudios, y cubren tanto los aspectos más computacionales como los más relacionados con el contenido de nuestra investigación», dijo a Ulrich Trautwein, un psicólogo educativo involucrado en el estudio. . «Nuestro objetivo es comprender mejor los antecedentes de los diferentes niveles de participación en las aulas y cómo pueden ser influenciados positivamente por la alta calidad de la enseñanza. En este punto, también enfatizamos que la participación es compleja y que la tecnología actual se enfoca principalmente en la participación conductual abierta basado en comportamientos visibles. Aún queda mucho por hacer para medir estados de participación más encubiertos, como el procesamiento elaborativo y la distracción mental, pero permítanme reiterar: nos oponemos firmemente a cualquier uso de tales soluciones para el aula del mundo real seguimiento de estudiantes y profesores, tanto por razones éticas como por los posibles efectos secundarios negativos de tales acuerdos sobre la motivación y el aprendizaje de los estudiantes y los derechos de los profesores «.