Evaluacin del alumno en el entorno virtual: Identificacin de indicadores inherentes y adyacentes

Durval Lordelo Nogueira

Universidade do Estado da Bahia dnogueira@campus1.uneb.br

Hernane Borges de Barros Pereira

Universidade Estadual de Feira de Santana pereira@uefs.br

Josep Maria Monguet Fierro

Universitat Politcnica de Catalunya monguet@ege.upc.es

Francesc Alpiste Penalba

Universitat Politcnica de Catalunya alpiste@ege.upc.es

Resumen
Actualmente, la modalidad de Educacin a Distancia (ED) a travs del uso de nuevas Tecnologas de la Informacin y Comunicacin (TIC) es una realidad. Sin embargo, existe una laguna entre las teoras sobre ED y algunos aspectos de prctica como por ejemplo el proceso de evaluacin del alumno. La evaluacin tradicional, realizada a distancia, en si misma no garantiza la autenticacin del alumno en ED. De manera que, en casi todos los cursos bajo esta modalidad, se realiza la evaluacin presencial. Aunque se puede encontrar en la literatura diversos estudios sobre evaluacin y autenticacin del aprendizaje del alumno, se explora poco los recursos ofrecidos por las TIC (e.g. WEB, Campus Virtual, Correo Electrnico, etc.). En este contexto, se identifican indicadores inherentes y adyacentes al entorno virtual que tornan los procesos de evaluacin y autenticacin ms fiables. El objetivo de este artculo es presentar una contextualizacin terica y una clasificacin sobre el mbito de la evaluacin y autenticacin del alumno en el entorno virtual, donde se identifican, clasifican los indicadores inherentes y adyacentes y se sistematiza su uso en cursos virtuales. En esta investigacin se utiliza el mtodo de la teora fundamentada en datos (Grounded Theory), con el cual ha sido posible disear una clasificacin de los indicadores de evaluacin y autenticacin del alumno en el entorno virtual, a partir de la recopilacin de los sistemas de evaluacin y del anlisis de las caractersticas del entorno virtual. Se analizan los dos trimestres iniciales de una de las promociones del Curso de Master en Business de Winterthur en formato WEB desarrolladas por el Laboratorio Multimedia de la Universitat Politcnica de Catalunya (metodologa GIM). La contribucin principal de este artculo es la clasificacin de los indicadores de evaluacin y autentificacin del alumno en el entorno virtual, con la cual se podra mejorar el proceso de verificacin de aprendizaje del alumno. Palabras clave: Entorno virtual, evaluacin y autenticacin, indicadores inherentes y adyacentes, grounded theory

1. Introduccin
Hoy da, la creacin de los entornos virtuales para la educacin a distancia se basa en la adaptacin de la institucin presencial. La idea es presentar para el alumno una interfaz que le hiciera sentirse en una escuela presencial, es decir, usar la biblioteca y secretaria, contactar con los profesores y otros alumnos, leer el tabln de noticias, utilizar diversas 1

herramientas, y todo lo que la institucin presencial ofrece. Parece natural, tambin, que los mtodos de enseanza, evaluacin y la relacin profesor-alumno hayan sido adaptados al entorno virtual. Sin embargo, hay muchas cuestiones sobre educacin a distancia (ED) basada en entorno virtual que todava no han sido resueltas (e.g. los procesos enseanzaaprendizaje, evaluacin y autenticacin del alumno). Algunos acadmicos entienden que se hace necesario un cambio de paradigmas en la educacin a distancia usando las nuevas tecnologas de la informacin y comunicacin (TIC), y no solamente una adecuacin de la enseanza presencial (Jonassen, 1992; Laurillard, 1994; Alessi, 2001 y Candor, 2001). En la enseanza presencial, algunos pases hacen una prueba de evaluacin general (a veces para algunas carreras y a veces para todas ellas) como forma de ratificar el diploma obtenido en una universidad. Por ejemplo, en el caso de Brasil se hace pruebas para el Consejo de Abogados y solo cuando se ha aprobado en el examen se puede ejercer la profesin. Tambin en los Estados Unidos en el rea de medicina se hace una prueba en el respectivo consejo. Supuestamente esta evaluacin valorar la titulacin y la validar como una respuesta a la sociedad sobre la calidad del profesional. Sin embargo, la aceptacin por la sociedad de un profesional formado por esta modalidad de educacin (ED) pasa necesariamente por una credibilidad institucional (Pereira y Nogueira, 2000; Pereira, Molina y Nogueira, 2001), la cual se obtiene mediante investigacin de nuevas formas de evaluacin. En ED, algunas instituciones hacen la evaluacin presencial y semi-presencial (e.g. Universidad Nacional de Educacin a Distancia) mientras que otras realizan la evaluacin no presencial o a distancia (e.g. Universitat Oberta de Catalunya) (BouBauz, 2001). Adems, el mismo autor sugiere que un sistema de prcticas de evaluacin continua compensara la ausencia de presencialidad. De esta manera, se hace necesario adems del mantenimiento de los procesos de evaluacin presencial, la creacin de instrumentos de autenticacin o de apoyo a la autenticacin que puedan llevar a cabo mejores procesos de evaluacin no presencial y, consecuentemente, garantizar la credibilidad institucional. En la literatura, se puede encontrar diversos trabajos en los cuales el proceso de evaluacin se aplica a (1) las metodologas de desarrollo de aplicaciones multimedia (Revees, 1997; Sherwood y Rout, 1998; Ziga-Zrate, 2000 y Brigos-Hermida, 2001); (2) los productos (i.e. evaluacin de la usabilidad) (Pereira y Monguet, 2000) y (3) las tecnologas de aprendizaje tales como entornos de aprendizaje virtual (Richardson y Turner, 2000 y Richardson, 2001). No obstante, se identifica una carencia en cuanto al proceso de evaluacin del alumno en entornos virtuales de aprendizaje. En este contexto, se identifica dos perspectivas importantes de la investigacin sobre el tema de evaluacin. Por una parte, la pedagoga y la didctica. Por otra parte, el uso de los recursos de las nuevas tecnologas de la informacin y comunicacin (TIC), donde se documenta la (inter)relacin alumno-profesor permitiendo la identificacin, interpretacin y clasificacin de los indicadores adyacentes al entorno virtual.

El objetivo de este artculo es presentar una contextualizacin terica y una clasificacin sobre el mbito de la evaluacin y autenticacin del alumno en el entorno virtual, donde se identifican, clasifican los indicadores inherentes y adyacentes y se sistematiza su uso en cursos virtuales. Adems, se presenta algunas consideraciones respecto a la sistematizacin de los procesos de evaluacin y autenticacin del alumno a partir de dichos indicadores. Para tanto, los indicadores inherentes al entorno virtual sern inicialmente identificados a partir de la bibliografa especializada y de observaciones realizadas durante el uso del entorno virtual de enseaza y aprendizaje propuesto por el Laboratorio Multimedia (GIM). Este artculo est organizado en 7 secciones. La segunda seccin comenta los fundamentos metodolgicos en los cuales se basa el presente estudio. La tercera seccin presenta una breve resea sobre el entorno virtual de enseanza y aprendizaje. La cuarta seccin extiende la seccin anterior y trata con los sistemas de evaluacin. La quinta seccin presenta la clasificacin preliminar de los indicadores y el modelo propuesto de sistematizacin del proceso de evaluacin y autenticacin. La sexta seccin resume el caso utilizado para llevar a cabo este estudio, el cual representa un curso de formacin a distancia denominado master e-business Winterthur. Finalmente, la sptima seccin presenta las conclusiones y algunos puntos en abierto que necesitan ser investigados.

2. Metodologa de la investigacin
Este estudio se basa en mtodos de investigacin cualitativa desde la perspectiva del enfoque interpretativo sugerido por Chua (1986). Autores como Orlikowski y Baroudi (1991) y Klein y Myers (1999) comentan sobre el uso de la perspectiva filosfica interpretativista en sistemas de informacin. En este contexto, se utiliza el mtodo de la teora fundamentada en datos (Grounded Theory) (Glaser and Strauss, 1967; Strauss and Corbin, 1990) para identificar y clasificar los indicadores de evaluacin del alumno inherentes al entorno virtual de aprendizaje. El mtodo de la teora fundamentada en datos se utiliza para construir una teora sobre el dominio de la evaluacin no presencial. As pues, cuatro macro-procesos han sido adaptados. La Figura 1 presenta la relaciones (i.e. organizacin cronolgica) entre dichos macro-procesos: el diseo de la investigacin, la coleccin de datos, el anlisis de los datos y la generacin de la teora.
Diseo de la investigacin Coleccin de datos 1 y 2 : Zonas de interaccin

Anlisis de los datos Fase 1 Fase 2 1 2 Fase 3

Memos

Generacin de la teora Fase 4

Tomando notas

Escribiendo

Figura 1. Macro-procesos de la teora fundamentada en datos (Grounded Theory). 3

La primera fase incluye dos procesos (la definicin del problema y el anlisis inicial de la literatura especializada), los cuales se realizan con el propsito de establecer el diseo del estudio general (i.e. el mbito de la investigacin). En la prxima fase, la coleccin de datos, se colectan los tipos de datos definidos en la fase anterior considerando los criterios de seleccin (e.g. artculos relacionados con el tema del estudio). La tercera fase, en la cual se ejecuta el proceso de muestreo terico, consiste en la codificacin, ordenacin y anlisis precisos de los datos adquiridos. Simultaneamente, en todas las fases, se ejecutan sub-procesos (i.e. tomando notas, memos, comparacin constante) que evitan la prdida de datos importantes. Adems, se empieza el proceso de escritura de la teora en esta fase hasta la cuarta fase, donde se presenta la generacin de la teora. Las zonas de interaccin identificadas en la Figura 1 representan las interacciones entre los macro-procesos.

3. Entorno virtual de enseanza y aprendizaje

Ziga-Zrate (2000) comenta que recientemente, en el campo de la educacin dos trminos estn adquiriendo protagonismo: educacin distribuida y educacin virtual. En la Educacin Distribuida, la institucin diversifica la enseanza con la utilizacin de tecnologas, nuevos mtodos de enseanza, tcnicas de colaboracin y el apoyo de instructores (p. 90). Mientras que en la Educacin Virtual el proceso de enseanzaaprendizaje se establece en un asincronismo distance, es decir, los alumnos pueden estar localizados en diferente tiempo y en diferente lugar (p. 91). La fusin de dichos trminos conduce a lo que se denomina entorno virtual de enseanza y aprendizaje. Segn Gisbert, Adell, Anaya y Rallo (1997) el entorno virtual de enseanza y aprendizaje es el resultado de la reproduccin de los conceptos bsicos relacionados con entornos de enseanza y aprendizaje dentro del mundo de las nuevas tecnologas de la informacin y comunicacin. Aqu, por tanto, se observa diversos actores tales como alumno, profesor, tutor, institucin, etc. Ante esto, se observa que el entorno virtual de enseanza y aprendizaje pasa a ser una realidad en el mundo educacional. Consecuentemente, los alumnos adquieren nuevas caractersticas de interaccin con dicho entorno, de manera que surgen diversos problemas en esta interaccin, principalmente en lo referente a la evaluacin y autenticacin de los alumnos. Estos problemas se agravan cuando los cursos son impartidos usando la tecnologa WEB debido a la gran cantidad de interaccin entre el alumno y los componentes de dicha tecnologa. La WEB no ha sido desarrollada como un componente de un sistema de aprendizaje activo, sino que su desarrollo se basa en herramientas para navegadores (browsing) y recuperacin de informacin. Sin embargo, se trata de una las herramientas educacionales ms utilizadas (Gibson, Brewer, Dholakia, Vouk y Bitzer, 1995). Dentro del contexto presentado, se considera el modelo Instructional Management System (IMS) como un estndar para identificar, seleccionar y clasificar

los indicadores de evaluacin y autenticacin del alumno en el entorno virtual de enseanza y aprendizaje. IMS1 es un proyecto que se caracteriza por el desarrollo y la promocin de especificaciones abiertas con el propsito de facilitar las actividades de aprendizaje distribuido on-line. Dicho proyecto ha sido realizado por un grupo de organizaciones y investigadores que forman el IMS Global Learning Consortium, Inc. Los objetivos principales son (1) la definicin de especificaciones tcnicas para la iteroperabilidad de aplicaciones y servicios que consideran el aprendizaje distribuido y (2) el soporte de la incorporacin de las especificaciones IMS en productos y servicios ofrecidos en el mundo WEB. La Figura 2 presenta los componentes de tecnologa de desarrollo de cursos en WEB de acuerdo con el IMS.

Figura 2. Componentes de tecnologa de desarrollo de cursos en WEB de acuerdo con el IMS.

4. Sistemas de evaluacin: una revisin

Actualmente, se identifica una laguna existente entre las teoras sobre ED y algunos aspectos de prctica, como por ejemplo el proceso de evaluacin y autenticacin del alumno. La evaluacin tradicional, realizada a distancia, en si misma no garantiza la autenticacin del alumno en ED. De manera que en casi todos los cursos bajo esta modalidad se realizan las evaluaciones presencial y, en algunos casos, semi-presencial (e.g. algunas propuestas de cursos ofrecidos por la Universidade Federal de Santa Catarina). 4.1 Tipos de evaluacin La evaluacin es algo ms que certificar los resultados de los alumnos. Su funcin es determinar hasta que punto se han asumido los objetivos de aprendizaje y contempla todo el proceso educativo. Su principal misin es informar al alumno sobre su aprendizaje y aportar datos al profesor para mejorar la prctica docente.

www.imsproject.org

En el caso de la formacin a distancia la evaluacin se convierte en un elemento clave de relacin profesor-alumno. Se disea paralelamente al curso y establece los contenidos a evaluar, los momentos clave y las formas de evaluacin. En lo referente a los contenidos se evala el mayor o menor grado de consecucin de los objetivos de aprendizaje que comprenden tanto conceptos como procedimientos y actitudes. La interaccin del estudiante con el material curricular en formato multimedia, puede recoger todas las acciones y datos acerca del recorrido que efecta el usuario y el aprovechamiento que obtiene de l. Esta informacin, procesada por el sistema, puede ser tambin una herramienta til para facilitar al profesor su trabajo con el alumno. A continuacin, se presenta en la Tabla 1 una aproximacin general a los tipos de evaluacin. Tabla 1. Una aproximacin general a los tipos de evaluacin. Tipo de evaluacin
Evaluacin Inicial

Caractersticas

Coincidiendo con el inicio de las unidades didcticas para determinar el nivel de conocimientos de los alumnos y sus concepciones previas. Evaluacin durante el Orienta al alumno en el aprendizaje y ayuda a reforzar los contenidos proceso. formativos. Evaluacin final Mide el grado en qu se han alcanzado los objetivos. Permite certificar el aprendizaje por parte de la institucin formativa. Evaluacin La evaluacin sumativa asigna una calificacin de aptitud referente a sumativa/formativa determinados conocimientos. La evaluacin formativa, a la finalizacin de las actividades ms significativas, sirve para conocer la evolucin de los alumnos y adaptar la ayuda pedaggica a sus necesidades. Evaluacin cuantitativa / La primera intenta establecer criterios tan rigurosos y cuantificables como sea cualitativa posible, mientras que la segunda tiene en cuenta la situacin inicial del alumno y su evolucin a lo largo del curso. Evaluacin normativa / La normativa califica al individuo respecto de un grupo. La criterial lo hace en criterial / personalizada relacin a los objetivos de aprendizaje propuestos y la personalizada tiene en cuenta las posibilidades de progreso del propio alumno. Autoevaluacin Permite valorar al propio alumno sus progresos de aprendizaje y constituye un recurso para regular la dedicacin y la implicacin del alumno en el proceso. Tcnicas de evaluacin en En lo referente a las tcnicas de evaluacin se dispone de varias alternativas, una formato multimedia buena parte de ellas se recogen en el apartado de preguntas de este artculo. Seguimiento del estudiante Una aplicacin multimedia puede recoger sistemticamente lo que hace el usuario, y por tanto el control y la evaluacin del estudiante no tiene porque ser un muestreo, sino que se puede basar en la informacin del estudiante que la aplicacin ha recogido. Podemos saber al instante, que parte del curso ha hecho, el tiempo que ha dedicado a cada parte, las veces que se ha equivocado, en cuantos intervalos ha hecho el curso, etc. Evaluacin del proceso de A su vez, una aplicacin multimedia, agregando los datos de todos los aprendizaje estudiantes, proporciona informacin para su evaluacin. Controlando qu pregunta no acierta nadie, o en que parte del "curso", inexplicablemente todo el mundo avanza ms lentamente de lo previsto, el profesor puede corregir y mejorar el contenido. La evaluacin de la actividad educativa es fundamental para la mejora del proceso Evaluacin continua Evaluacin durante todo el proceso de aprendizaje

4.2 Modelo de evaluacin GIM El modelo de evaluacin GIM incorpora algunos de los tipos de evaluacin descritos en el apartado anterior. En particular, en referencia a los programas de formacin universitaria de tercer ciclo (e.g. master) podemos encontrar caractersticas especficas de la evaluacin en la metodologa GIM (vase Tabla 2) El proceso de evaluacin continua GIM est basado en la propuesta de actividades que dan lugar a respuestas personalizadas. El seguimiento de las actividades de los alumnos intenta aumentar el porcentaje de xito acadmico, para ello no se recurre a la estrategia de bajar el nivel acadmico exigido sino a la de dar la mxima flexibilidad en el seguimiento del calendario, siempre que esto no repercuta negativamente en otras actividades acadmicas relacionadas. El nivel de suspensos en el programa master meb-winterthur se sita en torno al 30%. Tabla 2. Caractersticas de la evaluacin en la metodologa GIM. Fuente: Metodologa GIM. Tipo de evaluacin
Evaluacin Inicial Evaluacin durante el proceso Evaluacin final

Caractersticas GIM
Test de conocimientos previos para acceder a algn curso de nivelacin. La incorporacin de numerosos feedbacks en la correccin de los ejercicios de respuesta abierta y en las prcticas de laboratorio ayudan a reforzar contenidos formativos y orientan a los alumnos. El expediente final del alumno en los programas Master de GIM recoge aproximadamente 30 anotaciones de otras tantas actividades de aprendizaje que dan una buena muestra del aprendizaje del alumno. A lo largo del proceso existen puntos de encuentro entre tutores y alumnos (ingreso, encuentros presenciales, presentacin pblica o acadmica de proyectos) que sirven para la autentificacin de los alumnos. Se utiliza evaluacin sumativa cuando se da la calificacin de los ejercicios de respuesta abierta y de los ejercicios de laboratorio. El proveer a los alumnos de respuestas personalizadas a los ejercicios y les orienta en su proceso formativo. El expediente del alumno se sustenta en la evaluacin cuantitativa.

Evaluacin sumativa/formativa Evaluacin cuantitativa / cualitativa Evaluacin normativa / criterial / personalizada

Los profesores tienen en cuenta el nivel del grupo a la hora de asignar las calificaciones (evaluacin normativa) y analizan (con la referencia de un solucionario) la consecucin de los objetivos de aprendizaje propuestos (evaluacin criterial). Autoevaluacin Las preguntas de respuesta cerrada de correccin automtica permiten la autoevaluacin. Tcnicas de evaluacin en En la metodologa GIM se incorporan preguntas de respuesta cerrada, como: formato multimedia. Cierto/falso Respuesta mltiple Agrupacin Relacin Ordenacin Seguimiento del estudiante La evaluacin de seguimiento tiene su fundamento en la utilizacin de indicadores como los que se comentan ms adelante. Los datos obtenidos permiten la accin tutorial cuando se detecta una desatencin del alumno de sus actividades acadmicas. Evaluacin del proceso de Se dispone de un plan de pruebas supervisado por el Director de pruebas aprendizaje Brigos (2001). Se incorporan las aportaciones de los miembros de la comunidad educativa desde el rea de calidad.

Evaluacin continua

Se utilizan los datos de los indicadores relacionados con la calidad del proceso formativo. La informacin de seguimiento que proporcionan los indicadores, as como los resultados acadmicos permiten la evaluacin del proceso de aprendizaje. La metodologa GIM incorpora un seguimiento continuo de las actividades didcticas. El expediente de un alumno de Master incorpora 30 anotaciones correspondientes a la calificacin de sus actividades.

Se utilizan cuestionarios de respuesta cerrada. El objetivo de los cuestionarios es el de dar una referencia al alumno de su aprendizaje. Por tanto, el resultado de su resolucin en el primer intento, sin consultar los apuntes, puede servir de referencia de la asimilacin de contenidos. Adems, el sistema de respuesta mediante formulario on-line permite una correccin automtica. Es posible contestar los cuestionarios tantas veces como se desee hasta obtener su correcta resolucin. A efectos de la evaluacin continua de la asignatura, no se tendr en cuenta el nmero de intentos; se considerar si se ha resuelto, en qu momento, y cul ha sido el resultado. Se trata de preguntas pronosticables, es decir, que se deducen de los contenidos publicados. La no resolucin de los cuestionarios alerta al tutor de la poca participacin del alumnos en las tareas docentes. Las respuestas abiertas y las actividades de investigacin que fomentan la iniciativa de los alumnos se concretan en la resolucin de ejercicios y el proyecto de comunicacin del laboratorio. El resultado final es un sistema de evaluacin que incentiva la participacin y el seguimiento de las actividades acadmicas en el que tienen mucha incidencia las actividades de resolucin de ejercicios sobre casos y el trabajo en grupo. Tambin se incorporan preguntas de respuesta cerrada al finalizar las unidades didcticas o los mdulos. Se trata de preguntas de respuesta previsible, es decir, que se pueden contestar sin dificultad a partir de los contenidos de los materiales didcticos. Los tipos de preguntas de respuestas cerradas ms utilizados son: (1) ciertofalso, (2) respuesta mltiple 1 o ms correctas, (3) asociacin (concepto con definicin, entre imgenes, concepto con imagen), (4) agrupacin, (5) ordenacin (secuenciar procesos). Las preguntas permiten al alumno comprobar si aprende los contenidos y sirven para motivarlo. Adems, las preguntas se pueden introducir en la exposicin de los contenidos como un recurso narrativo o de motivacin, de manera que la respuesta permite desarrollar contenidos que el alumno estar en mejor disposicin de comprender por la reflexin previa que ha realizado.

5. Clasificacin preliminar
Usando los tipos de evaluacin que pueden ser realizados dentro de un entorno virtual como un punto de partida, se plantea un conjunto de indicadores inherentes y adyacentes de evaluacin y autenticacin del alumno. A continuacin, se presenta una clasificacin preliminar de dichos indicadores los cuales son autoexplicativos

La clasificacin propuesta para los indicadores inherentes y adyacentes se basa en la correlacin entre la formalidad y las perspectivas subjetiva y objetiva de la evaluacin y autenticacin del alumno (vase Tabla 3). Por una parte, la formalidad se caracteriza por los aspectos formales (i.e. aquellos que se basan en procedimientos predefinidos) e informales (i.e. aquellos que no se relacionan con cualquier tipo de procedimiento predefinido). Por otra parte, las perspectivas subjetiva y objetiva se caracterizan por la dependencia de interpretacin y la identificacin de datos concretos, respectivamente. Finalmente, se identifica que en el cruce entre los aspectos informales y la objetividad (celda gris de la Tabla 3) no hay correlacin debido a que los datos concretos son obtenidos a partir de procedimientos predefinidos. A esta clasificacin se aadirn reglas estructurales basadas en indicadores de evaluacin y autenticacin del alumno, un esquema taxonmico que evitar la insercin de elementos arbitrarios y criterios de validacin de dichos indicadores. A partir de la clasificacin preliminar presentada en la Tabla 3, se presenta a continuacin la propuesta del modelo de evaluacin y autenticacin del alumno en entornos virtuales de enseanza y aprendizaje que considera dicha clasificacin.

Tabla 3. Clasificacin de los indicadores respecto a la formalidad desde las perspectivas subjetiva y objetiva. Aspectos formales
1. 2. 3. 4. 5. 6. 7. Tiempo entre la publicacin de uno material didctico y el proceso de bajar hecho por el alumno El cumplimento del plazo para la entrega de los trabajos (diferencia de tiempos) Tiempo dedicado a cada parte Nmero de intervalos que ha hecho el curso Nmero de participaciones en foro de discusin (en directo) Nmero de intentos de resolucin de ejercicios Nmero de presencias en encuentros temticos Nmero de documentos visitados Participacin en actividades de laboratorio

Aspectos informales
10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. Nmero de accesos al site Distribucin del tiempo de acceso Tiempo de acceso Pgina visitada Tiempo de permanencia en la pgina Horario de conexin en das laborales Horario de conexin en fines de semana Participacin en lista de discusin Calidad de las intervenciones Calidad de los mensajes Calidad de las consultas Calidad de los trabajos Nmero de rplicas de la consulta Nmero de rplicas del mensaje Nmero de rplicas con la secretaria Nmero de rplicas con el tcnico Tiempo de contestacin de la consulta Tiempo de contestacin del mensaje Nmero de mensajes enviados Nmero de consultas enviadas Nmero de accesos abortados Nmero de reclamaciones Nmero de rplicas con la secretaria material Nmero de rplicas con la secretaria ambiente Nmero de retroalimentaciones Calidad de las retroalimentaciones Creatividad Iniciativa Participacin en proyectos optativos Nmero de intervenciones en foros

Subjetividad

8. 9.

40. 41. 42. 43. 44. 45.

Evaluacin - Tipo test Evaluacin - Tipo asociacin Evaluacin - Tipo agrupacin Evaluacin - Tipo ordenacin Evaluacin - Preguntas abiertas Evaluacin - Proyecto

5.1 Sistematizacin del proceso de evaluacin y autenticacin del alumno Usando la clasificacin preliminar presentada como un punto de partida, se propone un modelo que sistematice el proceso de evaluacin y autenticacin del alumno en entornos virtuales de enseanza y aprendizaje (vase Figura 3). Este proceso consiste de los siguientes sub-procesos: (1) la adquisicin de datos relacionados con las interrelaciones entre los actores involucrados en el entorno virtual, (2) la inferencia y anlisis de los datos, (3) el diseo de patrones de calificaciones, (4) la comparacin de los resultados obtenidos, (5) la determinacin de los pesos para cada indicador y (6) el clculo y presentacin de las calificaciones. 10

Objetividad

En la Figura 3 se presenta el esquema general del modelo de evaluacin y autenticacin del alumno. El proceso de verificacin de la retencin del contenido y de la participacin del alumno en las actividades en el entono virtual consiste en una evaluacin objetiva y una subjetiva. En la objetiva se utilizan datos concretos obtenidos a partir de un esquema de preguntas y respuestas predefinidos. En la subjetiva se pondera las instancias de los indicadores obtenidos de la adquisicin automtica de datos y se atribuye un valor discreto. Finalmente, se presenta la calificacin del alumno.
Materiales didacticos Zona de estudios
Entorno Virtual

Transferencia de informacin Alumno

P: Profesor T: Tutor

Interaccin

Verificacin de la retencin del contenido y de la participacin del alumno en las actividades

Interaccin

Evaluacin objetiva Estructura de la evaluacin

Evaluacin subjetiva Estructura de la ponderacin de indicadores

Respuestas

Influencias ponderadas

Valor cuantitativo

Valor cualitativo

Calificacin del alumno

Figura 3. Esquema general del modelo de evaluacin y autenticacin del alumno en entornos virtuales de enseanza y aprendizaje.

6. Programa de formacin basado en la metodologa GIM

El modelo GIM utiliza el campus, el laboratorio, la teledifusin y los encuentros presenciales como medios de comunicacin bsica. En menor medida, en actividades de gestin, se utiliza el telfono y el correo. El diseo del campus ha ido evolucionando en las sucesivas versiones (se actualiza cada 6 meses). Los tutores familiarizan a los alumnos al inicio del curso, durante una semana poniendo de manifiesto las 11

funcionalidades de la zona de estudios. En la utilizacin de sistemas informticos de usuario, los diseadores persiguen la facilidad de uso, las grandes prestaciones y la facilidad de aprendizaje. Con todo, estos tres objetivos no suelen confluir y, as, un sistema con grandes prestaciones puede ser difcil de utilizar y de aprender. Adems, los usuarios acceden al sistema con diferentes grados de familiarizacin en sistemas similares con lo que es necesario atender la diversidad de niveles. De aqu, la necesidad de tutorizar el proceso de adaptacin al sistema por ms orientado al alumno que sea. El sistema tiene muchas prestaciones y todos los alumnos acceden con un nivel de conocimiento diferente. Se dedica un esfuerzo ingente en la produccin de material propio con crecientes aportaciones multimedia. El laboratorio multimedia de la UPC (equipo de desarrollo de la metodologa GIM) realiza actividades de investigacin, desarrollo y formacin (e.g. Doctorado en Ingeniera Multimedia, Master en Comunicacin Digital y Graduado Superior en Diseo), entre las que destacan las metodologas de produccin de material didctico multimedia e interactivo aplicadas a los procesos de aprendizaje y la gestin de entornos virtuales de formacin. El equipo docente incorpora al proceso de aprendizaje profesores (i.e. especialistas en los contenidos) y tutores (i.e. especialistas en e-learning y conocedores de la metodologa GIM). Peridicamente se hace participar a los autores de contenidos, a los coordinadores de las asignaturas y a expertos en sesiones magistrales televisadas y en foros de debate. La presencialidad se articula a partir de los encuentros temticos (1 cada mes) y de la presentacin y defensa pblica de proyectos de comunicacin como colofn a las actividades acadmicas del programa de formacin. La metodologa GIM hace especial nfasis en los trabajos en grupo en el laboratorio para la concepcin y el desarrollo de proyectos de comunicacin en la red. Se utiliza la evaluacin continua como ayuda pedaggica planteando ejercicios de respuesta abierta que los profesores corrigen y que dan pie a comentarios personalizados. Se proveen ejercicios interactivos de evaluacin on-line para orientar al alumno en su seguimiento y los tutores proporcionan alternativas de seguimiento personalizado para adaptarse a las posibilidades reales de dedicacin de los alumnos. 6.1 La formacin a distancia como servicio La calidad en el servicio de formacin a distancia se fundamenta en fortalecer las relaciones entre los alumnos y el proceso formativo y se concreta en hacer comunidad. La creacin de comunidad consiste en promover la participacin de los alumnos en las actividades acadmicas y en promover espacios y medios para ello. Se busca incentivar al alumno en su participacin en la vida acadmica aportando actividades de trabajo colectivo y de participacin que complementen su trabajo personal. Para ello la metodologa GIM permite realizar trabajos en grupo y sustenta un gran nmero de actividades acadmicas que favorecen dicho trabajo. En los programas que incorporan el laboratorio 2/3 de las actividades son de grupo. 12

Otro elemento decisivo en la participacin del alumno es su participacin en los foros. La oferta de foros aumenta a medida que avanza el curso en contraposicin a la publicacin de nuevos contenidos tericos que es mayor cuanto ms cerca estamos del inicio del curso. Se trata de proveer de unos contenidos comunes y de unos elementos de discusin que den como resultado un alto grado de participacin y de contenido en las intervenciones. Los programas de formacin acaban con numerosos espacios de debate abiertos en los que participan profesores y alumnos. Estos foros cuentan con la participacin de autores de contenido o con expertos sectoriales y en ellos se analizan los enunciados y las estrategias de resolucin de los ejercicios, con lo que el modelo pedaggico adquiere ms coherencia. Es decir, se dispone de unos contenidos tericos que pueden ser debatidos con los autores, se proponen unos ejercicios en relacin con los contenidos y con casos reales que pueden ser debatidos con sus autores. Adems, en todo momento los profesores de las asignaturas pueden responder cuestiones relativas a dichos contenidos o redirigirlas a los autores o a los coordinadores de las asignaturas. Paralelamente, se realiza un balance del grado de seguimiento por parte de los alumnos de las actividades propuestas y se proponen alternativas personalizadas que faciliten la realizacin de las actividades (es la tarea bsica del tutor). 6.2 Calidad Se implica al alumno en la mejora del programa de formacin a partir de las reas de calidad. En ellas, los alumnos y los restantes miembros de la comunidad educativa proponen alternativas y prioridades en el desarrollo de las herramientas, de la metodologa y del programa de formacin. En el rea de calidad se recogen todas las incidencias y comentarios, se elaboran encuestas, se realizan propuestas y se adquieren compromisos para la mejora del sistema y del proceso de formacin. La participacin de los alumnos va desde la incorporacin de un mensaje al foro hasta la intervencin activa en comisiones que redactan las especificaciones de las nuevas funcionalidades del sistema. El programa de formacin se orienta totalmente al alumno y se recogen sus comentarios de mejora, de comn acuerdo con los diseadores del sistema. Los calendarios propuestos orientan respecto de la dedicacin de los alumnos y permiten el trabajo en comn. Existe la mxima flexibilidad en la entrega de materiales por parte del alumno atendiendo a los condicionantes personales y profesionales. La valoracin del sistema por parte del usuario tiene mucho que ver con las expectativas que se ha formado del programa de formacin y evoluciona con la atencin personalizada y con la capacidad de comunicacin y de respuesta del sistema a sus demandas. Por ello, la valoracin de los alumnos suele cambiar a lo largo del curso y deben percibir la mejora del proceso. El sistema est dotado de recursos de gestin para prevenir los errores y las 13

faltas de comunicacin entre alumnos y profesores. Una vez que el error se ha producido se debe subsanar con rapidez. Existen unos protocolos de actuacin que estn relacionados con el calendario acadmico para profesores y tutores. El objetivo es favorecer la atencin personalizada a los alumnos y fortalecer la relacin con ellos. 6.3 Anlisis del entorno virtual meb-winterthur Los modelos de formacin a distancia se sustentan en tres elementos bsicos: los materiales didcticos, la zona de estudios y la tutora. En todos ellos, el master e-business Winterthur2 presenta propuestas innovadoras. Los materiales didcticos se desarrollan con un mtodo que adapta la estructura y el tratamiento de los contenidos a las exigencias de los entornos interactivos y multimedia. La distribucin online (en lnea), a travs de la Zona de estudios, permite su mantenimiento y una constante actualizacin. Se usan materiales didcticos en formato multimedia como una herramienta y gua de los procesos de enseanza y aprendizaje, dirigidos a desarrollar las capacidades y los objetivos de las asignaturas. La comunidad educativa comparte una zona de comunicacin y de formacin que llamamos zona de estudios y en la que, junto a informacin acadmica de diversa naturaleza, los alumnos encuentran los recursos didcticos y los espacios web de comunicacin con los compaeros y el profesor. Dichos espacios consisten del aula virtual, del laboratorio y de los encuentros. Por ltimo, el aspecto ms decisivo, el factor humano. Un colectivo de personas con el objetivo de atender a los alumnos. Los profesores y tutores se organizan en diferentes espacios de docencia: Aulas de tutora. El tutor orienta sobre los aspectos acadmicos o administrativos en el recorrido del alumno a lo largo del master. Aulas de materias. Es el centro de adquisicin de conocimientos, es el espacio de encuentro formal entre estudiantes, profesores y expertos. Laboratorio. Permite la construccin y el mantenimiento de espacios WEB de comercio electrnico Encuentros. Los profesores consultores aportan su experiencia profesional como soporte al anlisis y al debate de casos reales de desarrollo comercial y corporativo en Internet. Otros aspectos relevantes de la metodologa son: La evaluacin continua como ayuda pedaggica, La participacin en foros y debates organizados para analizar casos reales de desarrollo de aplicaciones de comercio electrnico,

http://www.meb-Winterthur.com

14

Las sesiones regulares de trabajo y debate con expertos. El carcter multidisciplinar que combina los conocimientos tecnolgicos, econmicos y de organizacin que se requieren para disear, desarrollar y explotar entornos de comercio electrnico.

6.4 Evaluacin del master e-business Winterthur Para la evaluacin del master se aplicar el siguiente criterio:
Evaluacin final = ((ET1+ET2+ET3) / 3)*0,6 + EBP*0,4

Donde ET1, ET2, ET3 corresponden a las notas globales de cada trimestre y EBP corresponde a la nota del Business Plan de final de master. El 60% de la nota se obtiene a partir de les evaluaciones trimestrales y el 40% corresponde a la valoracin del Business Plan, realizado individualmente o en grupo. La evaluacin del primer trimestre (ET1) se obtiene de forma ponderada a partir de la siguiente frmula:
Evaluacin trimestral 1 = ET1 = (CT)0,3+(EC)*0,5 + (PPI)*0,2

Donde CT = (CT1+CT2+CT3)/3 corresponde a la nota de los cuestionarios de los contenidos tericos del aula, EC = (EC1+EC2+EC3)/3 corresponde a la nota de los 3 ejercicios basados en los casos y PPI es la nota obtenida en la propuesta de proyecto individual.El 30% de la nota se obtiene a partir de los cuestionarios de los contenidos tericos, el 50% a partir de la valoracin de los ejercicios basados en casos; y el 20% se basa en el trabajo del laboratorio. La evaluacin del segundo trimestre (ET2) se obtiene de forma ponderada a partir de la siguiente frmula:
Evaluacin trimestral 2 = ET2 = CT*0,3+EC*0,3 + BP*0,2+MPG*0,2

Donde CT = (CT1+CT2+CT3)/3 corresponden a las notas de los cuestionarios de los contenidos tericos del aula, EC = (EC1+EC2)/2, corresponden a las notas de los 2 ejercicios basados en los casos, BP es la nota obtenida en el Business plan individual y MPG es la nota obtenida en el desarrollo de la documentacin y de la maqueta creada en el grupo de trabajo.El 30% de la nota se obtiene a partir de los cuestionarios de los contenidos tericos. El 30% de la valoracin de los 2 ejercicios basados en casos; el 20% se basa en la nota obtenida en el Business plan individual y el 20% restante se obtiene de evaluar la maqueta del proyecto de grupo de trabajo. La evaluacin del tercer trimestre (ET3) se obtiene de forma ponderada a partir de la siguiente frmula:
Evaluacin trimestral 3 = ET3 = EC*0,5 + EP*0,5

En este trimestre no se realizan cuestionarios de los contenidos tericos. El 50% 15

de la valoracin de los 2 ejercicios basados en casos; el 50% se basa en la nota obtenida en el proceso de evaluacin de portales por parte de los alumnos, que consiste en la realizacin de la entrevista y de los cuestionarios. Donde EC = (EC1+EC2)/2, corresponden a las notas de los 2 ejercicios basados en los casos y EP es la nota obtenida en el proceso de evaluacin de portales (entrevista y cuestionario). 6.5 Resultados acadmicos meb-winterthur En esta seccin se presenta grficamente los resultados acadmicos del master ebusiness Winterthur. La Figura 4 presenta la distribucin de las calificaciones a lo largo de los tres trimestres y la evaluacin final. La Figura 5 presenta el seguimiento de la participacin de los alumnos en el master.
29
FINAL 17 36

94

19
T3 45 51

61

Excelente Notable Suficiente 104 Insuficiente

2
T2 34 36 58

92

T1 3 0 20

23 40

60

80

100

120

Figura 4. Distribucin de las calificaciones.

250

227

200

176

EMPIEZAN EL CURSO EMPIEZAN Y ACABAN EL CURSO SE INTEGRAN A OTRAS PROMOCIONES ABANDONAN EL CURSO

150

100

50

45 6

Figura 5. Seguimiento de la participacin en el master. 16

La informacin referente al (1) seguimiento acadmico de los contenidos tericos, (2) a los promedios de las notas considerando los cuestionarios y ejercicios solicitados, (3) a los foros del tercer trimestre, (4) a los proyectos realizados, (5) al seguimiento de la actividad de laboratorio y (6) a las calificaciones de los trabajos prcticos del alumno est disponible en el apndice del presente artculo. 6.6 Anlisis del proceso de evaluacin y autenticacin: algunas consideraciones Comparando la clasificacin preliminar propuesta con la actual evaluacin realizada en el master e-business Winterthur, han sido identificados algunos puntos crticos que son relevantes para la implementacin del modelo propuesto: Una de las implicaciones del modelo propuesto es el intento de convertir los indicadores clasificados como informales en subjetivos formales con el propsito de establecer el mayor nmero de procedimientos automticos durante el proceso de evaluacin y autenticacin. Los indicadores pueden minimizar el nmero de abandonos de las actividades por parte del alumno y sealar su desempeo acadmico, permitiendo su recuperacin. En los foros se mide el nmero de participaciones del alumno. Sin embargo, no existe un procedimiento que cuantifica el nmero de intervenciones (incluyendo su calidad) del alumno, sino que se realiza este anlisis de forma intuitiva. El indicador Evaluacin Preguntas abiertas (43) se clasifica como de aspecto formal objetivo porque representa un procedimiento automtico de pregunta y respuesta y se considera la respuesta un dato concreto, y su calificacin depende de un baremo propuesto por los profesores y tutores. En el proceso actual de evaluacin del master e-business Winterthur no se contempla los indicadores 1, 8, 9, 10, 11, 12, 13, 14, 15, 23, 24, 25, 26, 29, 30, 31, 32, 33 y 34 propuestos en la clasificacin perliminar.

7. Conclusiones y trabajos futuros

En este artculo, se ha presentado la versin preliminar de una clasificacin sobre los indicadores inherentes y adyacentes al entorno virtual de enseanza y aprendizaje que convierten los procesos de evaluacin y autenticacin del alumno ms fiables. En este contexto, se ha propuesto un modelo para la sistematizacin de dicho proceso, el cual consiste de la adquisicin de datos relacionados con las interrelaciones entre los actores involucrados en el entorno virtual, la inferencia y anlisis de los datos, el diseo de patrones de calificaciones, la comparacin de los resultados obtenidos, la determinacin de los pesos para cada indicador y el clculo y presentacin de las calificaciones. Simultaneamente, se considera el modelo Instructional Management System (IMS) como un estndar para identificar, seleccionar y clasificar los indicadores de evaluacin y autenticacin del alumno en el entorno virtual de enseanza y aprendizaje. En la actual fase de la investigacin, se ha realizado un anlisis comparativo entre los indicadores propuestos y los utilizados actualmente en el proceso de evaluacin y 17

autenticacin del master e-business Winterthur, el cual se caracteriza por ser el estudio de caso utilizado. Los indicadores propuestos, adems de garantizar una evaluacin del alumno ms precisa, contribuyen para el proceso de autentificacin ms fiable, considerando que el tutor dispone de un perfil on-line del desempeo acadmico del alumno. Esto se da por la interaccin del alumno con cada componente del entorno virtual. Es ms, en este perfil se presenta el nivel de coherencia entre los resultados obtenidos en el modelo de evaluacin propuesto y las evaluaciones de los aspectos formales objetivos. Como actividades futuras de investigacin, se pretende (1) desarrollar un esquema taxonmico que evitar la insercin de elementos arbitrarios y definicin de los criterios de validacin de dichos indicadores, (2) disear un baremo que se utilizar por los profesores y tutores para la evaluacin de los aspectos informales subjetivos (e.g. calidad de los mensajes y consultas) identificados en la participacin del alumno dentro del entorno virtual, y (3) implementar el modelo propuesto y aplicarlo a la prxima promocin del master e-business Winterthur.

Referencias bibliogrficas
Alessi, S. M. y Trollip, S-R. (2001). Multimedia for learning. Methods and Development. Third edition, Allyn and Bacon, Boston. Bou-Bauz, Guillem (2001). Informe comparativo UNED-UOC. Barcelona. Espaa. Brigos-Hermida, Miguel Angel (2001). Tcnicas de anlisis en el desarrollo de aplicaciones multimedia. Tesis doctoral, Universitat Politcnica de Catalunya, Barcelona, Noviembre Candor, Serge (2001). Distance Learning to Achieve a New Social Cohesion. Proceedings of the 20th World Conference on Open Learning and Distance Education, Dsseldorf, April. Chua, W. F. (1986). Radical Developments in Accounting Thought. The Accounting Review, v. 61, n. 4, p. 601-632. Gibson, Elizabeth; Brewer, Patrick W.; Dholakia, Ajay; Vouk, Mladen A. y Bitzer, Donald L. (1995). A Comparative Analysis of Web-Based Testing and Evaluation Systems. NCSU Computer Science, Technical Report, August. * httm://renoir.csc.ncsu.edu/MRA/Reports/WebBasedTesting.html Gisbert, M.; Adell, Jordi; Anaya, L. y Rallo, R (1997). Entornos de Formacin Presencial Virtual y a Distancia.Boletin RedIris, i. 40. * www.rediris.es/rediris/boletin/40/enfoque1.html Glaser, B. y Strauss, A. L. (1967). The Discovery of Grounded Theory. Aldine de Gruyter, Chicago. Jonassen, D. H. y Craig, T. G. (1992). Research ans Theory on Multi-media Learning Effects. In Interactive Multimedia Learning Environments; Human Factors and Technical Consideration on Design Issues, Eds. M. Giardina, Berlin: SpringerVerlag. Klein, H. K. y Myers, M. D. (1999). A Set Principles for Conducting and Evaluating Interpretative Fields Studies in Information Systems. MIS Quarterly, v. 23, n. 1, p. 67-94. Laurillard, D. (1994). Multimedia and the changing experience of the learner. 18

Proceedings of the APITITE 94, Ed. M. Ryan, APITITE Council: Milton, QLD. Orlikowski, W. J. y Baroudi, J. J. (1991). Studying Information Technology in Organizations: Research Approaches and Assumptions. Information Systems Research, v. 2, n. 1, p. 1-28. Pereira, Hernane Borges de Barros y Monguet, Josep Maria (2000). Modelo de Teste Semntico e Sinttico. 1 Conferncia Portuguesa de Sistemas de Informao, Guimares, Outubro. Pereira, Hernane Borges de Barros y Nogueira, Durval Lordelo (2000). Algunas consideraciones sobre la trada Credibilidad Institucional, Permisin Institucional vs. Reconocimiento Social en la Educacin a Distancia. II Jornades Multimedia Educatiu. Barcelona, Julio. Pereira, Hernane Borges de Barros; Molina, Luis Carlos y Nogueira, Durval Lordelo (2001). Credibilidad Institucional en la Educacin a Distancia: Consideraciones ticas. III Jornades Multimedia Educatiu. Barcelona, Julio. Reeves, T. (1997). Evaluating what really matters in computer-based education. * http://www.oltc.edu.au/cp/refs/reeves.html Richardson, Julie (2001). An evaluation of Virtual Learning Environment and their learners: do individual differences effect perception of virtual learning environment. Interactive Educational Multimedia, n. 3, p. 38-52. Richardson, Julie y Turner, Anthony (2000). A Large-scale local evaluation of students learning experiences using virtual learning environments. Educational Technology & Society, v. 3, n. 4, p. 108-125. Sherwood, Cathie y Rout, Terry (1998). A Structured Methodology for Multimedia Product and Systems Development. ASCILITE 98 - Flexibility: The next wave?, Wollongong, December, p.617-625 Strauss, A. L. y Corbin, J. M. (1990). Basics of Qualitative Research: Grounded Theory Procedures and Techniques. Sage Publications, Newbury Park. Ziga-Zrate, Ana Gabriela (2000). Uso de Internet en el Entorno Educativo: Modelos, Rendimiento y Evolucin. Tesis Doctoral, Universitat Politcnica de Catalunya, Barcelona, Septiembre.

19