1 LENGUAJE BSICO..........................................................................................................5 1.1 EVALUACIN, MEDICIN Y CALIFICACIN ............................................................................... 5 1.2 RECOMENDACIONES GENERALES PARA EL PROCESO DE EVALUACION......... 7 1.3 RECOMENDACIONES GENERALES PARA LA SELECCIN E INTERPRETACIONES DE LAS OBSERVACIONES Y DE LOS DATOS.......................................................................................... 8 2 PROPSITOS EVALUATIVOS Y PROPSITOS DE MEDICIN................10 2.1 PROPSITOS EVALUATIVOS .................................................................................................... 10 2.2 PROPSITOS DE MEDICIN..................................................................................................... 11 3 CARACTERSTICAS TCNICAS BSICAS DE LA MEDICIN, CRITERIOS Y TABLA DE ESPECIFICACIONES................................................15 3.1 CARACTERSTICAS TCNICAS DE LA MEDICIN..................................................................... 15 3.1.1 Pertinencia.................................................................................... 15 3.1.2 Confiabilidad ................................................................................. 15 3.1.3 Validez ......................................................................................... 17 3.2 CRITERIOS DE ANLISIS PARA LA MEDICIN........................................................ 19 3.2.1 Criterio 1: Propsito de medicin...................................................... 19 3.2.2 Criterio 2: Nmero de tems por dominios o categoras de aprendizajes. 20 3.2.3 Criterio 3: Rango de medicin.......................................................... 20 3.2.4 Criterio 4: Confiabilidad. ................................................................. 21 3.2.5 Criterio 5: Validez. ......................................................................... 21 3.2.6 Criterio 6: Datos comparativos......................................................... 23 3.3 TABLA DE ESPECIFICACIONES DE LOS INSTRUMENTOS O PROCEDIMIENTOS DE MEDICIN................................................................................ 23 3.3.1 Tabla de especificaciones para una medicin referida a la norma........... 24 3.3.2 Tabla de especificaciones para la evaluacin referida a criterio.............. 27 3.3.3 EJEMPLO DE TABLA DE ESPECIFICACIONES....................................... 30 3.4 RBRICA................................................................................................................................ 32 3.4.1 RECOMENDACIONES GENERALES PARA EL USO DE LA RBRICA........... 32 3.4.2 EJEMPLO DE RBRICA .................................................................... 33 4 TIPOS DE INSTRUMENTOS.......................................................................................43 4.1 Comunicacin Escrita: Cuestionarios. ................................................ 43 4.2 Comunicacin Oral. ............................................................................... 45 4.2.1 Entrevistas.................................................................................... 45 4.2.2 Grupos Focales .............................................................................. 46 4.2.3 Exmenes Orales ........................................................................... 47 4.3 Evaluacin Autntica. ..................................................................... 48 4.3.1 Anecdotarios. ................................................................................ 49 4.3.2 Autoevaluacin. ............................................................................. 50 4.3.3 Simulaciones. ................................................................................ 51 4.3.4 Prcticas Profesionales.................................................................... 52 4.4 Caso Especial: Portafolios................................................................ 54 5 COMENTARIO FINAL Y PAUTA DE ANLISIS.................................................58 6 BIBLIOGRAFIA................................................................................................................62 7 ANEXO CUESTIONARIO ASPECTOS DE LA EVALUACIN EDUCACIONAL .................................................................................................................64 PRESENTACIN
La evaluacin, como un medio para mejorar la toma de decisiones de diferentes usuarios, ha experimentado importantes cambios en las ltimas dcadas. La posicin del aprendizaje hacia el dominio, iniciada en la dcada de los sesentas, destacaron las limitaciones para determinar logros de aprendizajes y su certificacin por parte del modelo clsico basado en la distribucin normal de aprendizajes. Como respuesta a esas limitaciones, se desarroll y consolid el modelo de evaluacin referido a criterio y la teora de respuesta del tem.
El Proyecto Educativo de la Universidad de Santiago de Chile requiere que docentes, estudiantes, autoridades y la comunidad, en general, puedan tomar buenas decisiones respecto a las situaciones de ingreso, desarrollo y trmino del proceso formativo del estudiante. Para ello, se debe contar con una informacin evaluativa que sea defendible tcnicamente, creble, oportuna y prctica para diferentes usuarios. Es as como se requiere que se apliquen enfoques metodolgicos de medicin y evaluacin centrados en la calidad, en la certificacin de los aprendizajes y competencias, en el protagonismo del estudiante en sus propios aprendizajes, y que ellos estn libres de sesgos que atentan contra la equidad de la oferta educativa.
En particular, el Proyecto Educativo Institucional declara la importancia de poder certificar los rasgos del egresado. Se debe contar con un perfil de egreso verificable, esto implica la evaluacin del nivel de egreso de los estndares de competencias, conocimientos, actitudes y valores, a desarrollar en los estudiantes de programas de pregrado 1 . Ello implica, una transformacin de una cultura universitaria en que la evaluacin se hace sinnimo a la calificacin y nota. Se requiere abordar la evaluacin de aprendizajes y competencias utilizando un enfoque pertinente, y que satisfaga caractersticas tcnicas bsicas para la calidad y equidad de la labor docente.
La Vicerrectora Acadmica, con el fin de complementar el Manual de Rediseo y Revisin Curricular, y poder avanzar en mejorar las prcticas evaluativas institucionales, le encomend al Centro de Desarrollo, Experimentacin y Transferencia de Tecnologa Educativa (CEDETEC) 2 un documento que proporcione herramientas sobre evaluacin a los docentes, y un compendio de mtodos de evaluacin.
En este marco, el presente manual pretende contribuir con la tarea evaluadora de los docentes, pretendiendo otorgar elementos que permitan:
Reflexionar sobre las prcticas actuales de evaluacin, y sobre los cambios que se deben introducir para tomar decisiones fundadas en evidencias tcnicamente defendibles.
Proporcionar criterios de anlisis para identificar y sustentar las principales decisiones evaluativas, referidas a identificar el propsito de la evaluacin, el tipo de aprendizaje a evaluar, los instrumentos de evaluacin a utilizar, los participantes en el proceso de evaluacin, el tiempo y la frecuencia de las evaluaciones.
1 Proyecto Educativo Institucional 2005, Vicerrectora Acadmica, Universidad de Santiago de Chile, pgina N 9. 2 Manual confeccionado por equipo de trabajo de CEDETEC integrado por: Patricio Montero Lagos, Miguel Mndez Ferrada, Bernarda Hormazbal Morales, Pamela Urra Seplveda y Claudia Montero Liberona. 4 Proporcionar criterios para seleccionar y disear instrumentos para la evaluacin de conocimientos conceptuales, procedimentales y actitudinales, y el desempeo del estudiante en situaciones y contextos seleccionados.
Las reformas educacionales destacan que la evacuacin es inherente al proceso de enseanza aprendizaje. En particular, en aquellos objetivos prioritarios como son el autoaprendizaje, la meta cognicin y las valoraciones de s mismo.
Considerando los importantes cambios ocurridos en los ltimos aos respecto a evaluacin y medicin educacional, este compendio abarca categoras conceptuales e instrumentales que contribuyen a que cada docente pueda reflexionar y mejorar, sistemticamente, sus prcticas evaluativas en la universidad. Como una manera de orientar al lector de los principales aspectos a ser considerados en este proceso, se incluye en la ltima seccin una pauta de anlisis.
El compendio se organiz en cinco secciones principales. En la primera, se revisan conceptos pertenecientes a un lenguaje evaluativo y de medicin bsico. En la segunda, se aborda y relacionan los propsitos evaluativos con los de medicin. En la tercera, se tratan las caractersticas tcnicas esenciales que debe tener todo procedimiento o instrumento de medicin, para que reduzca el error en el proceso de toma de decisiones. En la cuarta, se describen varios tipos de instrumentos que, como medios, satisfacen determinados propsitos de medicin y que poseen ciertas ventajas y limitaciones para la toma de decisiones de profesores y estudiantes; para, finalmente, en la quinta y ltima seccin, presentar un breve comentario final junto a la pauta de anlisis mencionada.
Esperamos que estas ideas, en el marco de una gestin de calidad, junto con mejorar las decisiones docentes, contribuyan especialmente a que nuestra universidad ofrezca una efectiva docencia de excelencia y liderazgo.
5 1 LENGUAJE BSICO
1.1 Evaluacin, medicin y calificacin
La evaluacin, entendida en un sentido amplio, es un proceso que consiste en seleccionar y obtener informacin referida a personas, fenmenos y cosas; as como a sus interacciones, con el propsito de emitir juicios de valor orientados a la toma de decisiones (Reategui, 1996).
En el mbito educativo, es posible comprender a la evaluacin como un proceso que lleva a emitir un juicio respecto de uno o ms atributos de algo o alguien, fundamentado en informacin obtenida, procesada y analizada correctamente y contrastada con un referente claramente establecido, sustentado en un marco de referencia valrico y consistente con l, que est encaminado a mejorar los procesos educacionales y que produce efectos sobre sus participantes, para lo que se apoya en el dilogo y comprensin. Himmel, Olivares, Zabalza (1999). La figura siguiente representa, grficamente, la relacin entre los componentes principales de este proceso, que proporciona informacin valiosa al docente y le ayuda a tomar ptimas decisiones pedaggicas.
RELACIN ENTRE COMPONENTES DEL PROCESO DE EVALUACIN
En breve, la evaluacin est dirigida a obtener informacin creble y prctica que permita reducir el error en la toma de decisiones de diferentes usuarios, en particular de profesores, estudiantes, autoridades y miembros relacionados con la comunidad universitaria. Dichas decisiones sern referidas a diferentes dimensiones de desarrollo del estudiante y al inicio, desarrollo o al trmino del proceso formativo.
SELECCIN DE INFORMACIN EVALUATIVA CONSTRUCCIN DE INSTRUMENTOS DE RECOGIDA DE DATOS DEFINICIN DE CMO SE INTERPRETAN ORGANIZACIONES DE LOS DATOS RECOLECCIN DE LA INFORMACIN Y SU ANLISIS FORMULACIN DE PROPSITO EVALUATIVO INTERPRETACIN DE LOS DATOS Y J UICIO EVALUATIVO TOMA DE DECISIONES 6 Por su parte, la medicin se refiere a la obtencin de datos de la realidad que sustenten la informacin evaluativa que permita tomar buenas decisiones. La medicin es la obtencin de observaciones o datos de la realidad (letras, nmeros, palabras), que permitan establecer distinciones entre objetos, eventos, personas, ideas o fenmenos. Por ejemplo, se establecen distinciones entre las personas cuando se diferencian por su sexo (hombres o mujeres), por su prestigio social o por su nivel socioeconmico (alto, medio o bajo). Las distinciones se establecen mediante ciertas reglas lgicas, tales como presencia o ausencia de ciertos atributos (para sexo) o relaciones de orden para el prestigio social o nivel socioeconmico.
La representacin de la realidad es establecida a travs de observaciones o datos, cuyos sentidos est en funcin de una estructura conceptual o simblica vinculada a un propsito evaluativo. Por ejemplo, una foto de pasaporte contiene un conjunto de observaciones (puntos), que se estructuran y organizan en una imagen global de la cara de la persona; como tambin de subconjuntos de puntos que permiten interpretar las caractersticas de sus principales componentes, tales como los de la nariz, orejas, ojos y cejas. Las observaciones de la realidad responden a un propsito evaluativo (tener un medio de identificacin de una persona), y a un tipo de evidencias, cuya organizacin total y sus significados parciales contribuyen a identificar una persona y diferenciarla de otras, con alto grado de seguridad.
La medicin es un proceso de seleccin, estructuracin y organizacin de datos, que dejen patente una red de significados de acuerdo con un propsito evaluativo. De acuerdo con la informacin evaluativa que se requiere para tomar una buena decisin, la seleccin de los datos y sus significados pueden estar basados en hechos o representaciones. La observacin se refiere a hechos cuando orienta su atencin sobre las caractersticas del objeto que se toma en consideracin, sobre comportamientos o interacciones interpersonales. En cambio, la observacin es sobre representaciones cuando intenta recoger opiniones, diferentes modos de percibir las cosas o los comportamientos, de darles sentido o atribuirles una causa. Generalmente, la seleccin y estructura de los datos se realiza mediante categorizaciones que corresponden a clasificaciones, de acuerdo con referentes definidos previamente. En este caso, la seleccin y estructura de los datos de los aprendizajes esperados estn, normalmente, establecidas en los estndares de desempeo. En otros casos, se hace de acuerdo a una hiptesis preconcebida o segn los constructos tericos que describen y/o interpretan los aprendizajes ms complejos. Un constructo terico es un conjunto de variables y relaciones entre variables, que permiten en forma autosuficiente describir, explicar o predecir, un fenmeno o situacin. La calificacin corresponde a interpretar la informacin evaluativa de acuerdo a una escala arbitraria que se interpreta en juicios de valor para el desempeo de la persona. Por ejemplo, en el sistema educativo nacional se usa la escala 1.0 a 7.0; donde el 1.0 indica un muy mal desempeo, y un 7.0 un muy buen desempeo, pasando por un 4.0 como un nivel suficiente. En Estados Unidos se hace con las letras: A, B C y D; dependiendo del marco de referencia de la evaluacin, la calificacin 4.0 tiene interpretaciones diferentes. En el marco referido a la norma, la persona que obtuvo un cuatro, corresponde al juicio de un desempeo suficiente; que significa tener el promedio correspondiente a la distribucin normal de su grupo de referencia. En cambio, la calificacin 4.0 correspondiente a un desempeo suficiente en el marco 7 referido a criterio, significa que los puntajes evidencian que la persona posee todos los atributos del estndar de desempeo considerado para ser exitoso a un nivel mnimo, independiente de su grupo de referencia.
En suma, la evaluacin se centra en la informacin que permite reducir el error en la toma de decisiones de mltiples usuarios (profesores, estudiantes, autoridades, apoderados, etc). Por su parte, en la medicin el nfasis est puesto en los datos como distinciones de la realidad, basadas en reglas lgicas cuyas organizaciones contextualizadas proveen significados para la informacin evaluativa; en cambio, la calificacin corresponde a la interpretacin de la organizacin de los datos de acuerdo con una escala valorativa arbitraria.
1.2 RECOMENDACIONES GENERALES PARA EL PROCESO DE EVALUACION
La evaluacin se caracteriza por ser un proceso planificado y sistemtico, que involucra multiplicidad de toma de decisiones y a diversos agentes del entorno educativo. Entre las sugerencias generales a considerar en el proceso de la evaluacin y desarrollo de instrumentos, es posible destacar que:
El Proceso de Evaluacin debe Planificarse, con el propsito de definir y obtener la informacin evaluativa. La produccin de los instrumentos de evaluacin exige un riguroso diseo y una elaboracin, que permita dar validez y fiabilidad a los resultados. Esta elaboracin significa cumplir con las siguientes etapas y acciones:
* Planificacin. - Determinar el propsito de la evaluacin (diagnstico, formativo, sumativo). - Determinar objetivos por evaluar. - Determinar tipo de procedimiento evaluativo. - Especificar tipo de preguntas o situaciones de evaluacin. - Especificar el nmero de situaciones de evaluacin por objetivo. - Clarificar los criterios de aceptacin de logro de el/los objetivo (s). * Construccin. - Seleccionar material para la obtencin de las situaciones de evaluacin. - Elaborar situaciones de evaluacin. - Elaborar instrucciones para responder. - Elaborar formato de respuesta. - Organizar las preguntas de acuerdo a algn criterio-tipo. - Elaborar pauta de correccin. * Administracin. - Mantener las condiciones ambientales. - Mantener las condiciones de trabajo. - Cumplir con las instrucciones para responder. - Cumplir los tiempos asignados. - Aclarar posibles dudas. * Anlisis. - Corregir de acuerdo a una pauta de revisin. - Tabular resultados por pregunta y por objetivo. - Determinar ndices o indicadores de aceptacin de logro. - Interpretar los resultados en trminos de logro. * Certificacin - Asignar puntuaciones por objetivo logrado. 8 - Expresar resultados finales por logro de objetivos. - Convertir los resultados de logro a calificaciones.
La Evaluacin debe ser Sistemtica, porque se organiza y desarrolla por etapas dando resultados tcnicamente defendibles.
La Evaluacin debe Integrar a Todos los Agentes, ya que debe considerar a todos los actores que participan en el proceso educativo; adecundose a las caractersticas y necesidades de las personas, y del medio dnde se desarrolla. Cada uno de los actores, requiere de una informacin pertinente, creble y tica para su toma de decisiones. La Evaluacin debe ser Concebida como un Proceso Continuo, debido a que, permanentemente, se toman decisiones durante todo su proceso, en diversos momentos; no slo al finalizar la enseanza. La Evaluacin es Inherente a la Accin Educativa, porque es parte del proceso educativo; y no se separa de ste. Entre otros, debe:
- Reflejar las necesidades del mundo real, aumentando las habilidades de resolucin de problemas y de construccin de significados. - Mostrar cmo los estudiantes resuelven problemas; y no, solamente, atender al producto final de una tarea, ya que el razonamiento determina la habilidad para transferir aprendizaje. - No debe ser limitada a ejecucin individual; ya que, la vida requiere de la habilidad de trabajo en equipo. - Permitir contar con ms de una manera de hacer las cosas; ya que las situaciones de la vida real, raramente, tienen solamente una alternativa correcta. - Promover la transferencia presentan tareas que requieran que se use, inteligentemente, las herramientas de aprendizaje.
La Evaluacin debe Implicar la Comunicacin a los Estudiantes de las Expectativas de Desempeo y los Criterios de Evaluacin. Las personas se desempean mejor cuando saben cul es la meta, cuando ven los modelos y saben con qu criterios o estndares se juzgar su desempeo. Es necesario considerar que la motivacin, el esfuerzo y la autoestima influyen en el aprendizaje y el rendimiento.
1.3 Recomendaciones Generales para la Seleccin e Interpretaciones de las Observaciones y de los Datos.
Existen situaciones en las que no es posible iniciar la puesta en marcha con un consenso sobre los significados de los datos. Cuando hay controversia, se puede trabajar con categoras de significados opcionales, que respondan a hiptesis alternativas; y cuando no existen preconcepciones claras, se buscan categoras emergentes, presentes a travs de las regularidades de los datos y sus interpretaciones. Las redes de significados no estaran ausentes de nuestras creencias y preconcepciones acerca de la realidad. Ms precisamente, la seleccin de los significados corresponden a representaciones de la realidad que contienen modos de percibir las cosas o los comportamientos, o de darles sentido o atribuirles una causa. 9 Frecuentemente, los significados de las observaciones estn conectadas con la recoleccin de opiniones de las personas en las diferentes situaciones y contextos. En suma, las redes de significados estn relacionadas con procesos de seleccin y organizacin de los datos, que pueden no estar libres de las creencias o preconcepciones que cada persona tiene de la realidad. Para justificar la calidad de los significados de los datos para la toma de decisiones, se deben satisfacer algunas condiciones. Aunque algunas de ellas pueden requerir, ocasionalmente, procedimientos complejos, que superan las competencias profesionales consideradas en este documento; se entregan seis recomendaciones que permiten cautelar la calidad de la seleccin y organizacin de los datos en un grado razonable. Ellas son: a. Los significados de las observaciones o datos deben corresponder a una informacin evaluativa que sea pertinente para la toma de decisin. La seleccin de los datos debe ser realizada respecto a tareas o procesos que requieren utilizar los conocimientos, habilidades, destrezas y disposiciones requeridas en situaciones autnticas de desempeo en diferentes contextos. b. La seleccin de situaciones de observaciones deben estar contenidas en un marco terico o de referencia inicial. Ello permite reducir las posibilidades de escoger situaciones que sean privilegiadas, en trminos valricos. Es mayor la posibilidad de aplicar sesgos valricos cuando, a travs de las observaciones, se identifican regularidades o patrones de los datos que permiten construir las categoras interpretativas emergentes. c. Los datos que se seleccionen, deben tener una interpretacin nica. Datos que tienen ms de una interpretacin, presentan ambigedades que comprometen la validez de la informacin evaluativa. d. Deben evitarse en la seleccin, o considerarse con mucha precaucin, aquellos datos cuyos significados no representen consensos con otras personas. Esto afecta su credibilidad y confiabilidad para la toma de decisiones. e. Deben seleccionarse los datos cuyos significados son estables en el tiempo. Si los significados de los datos son ocasionales en el tiempo, entonces, son pocos confiables; impidiendo la generalizacin de sus consecuencias. f. La seleccin y significados de los datos deben ser libres de interpretaciones particulares de ciertos grupos sociales. Esto es, la seleccin de los datos y sus interpretaciones, no deben contener significados reducidos a ciertos grupos sociales, que afecten la igualdad de oportunidades. Por ejemplo, las situaciones de observacin pueden privilegiar a los varones y perjudicar a las damas, a los participantes urbanos respecto a los rurales.
2 PROPSITOS EVALUATIVOS Y PROPSITOS DE MEDICIN
Los propsitos evaluativos son diversos; tanto respecto a los tipos de decisiones que se requieren tomar, como tambin a quienes van a usar la informacin evaluativa. En esta seccin, se expondrn las decisiones que los docentes deben tomar respecto a la temporabilidad del proceso formativo, y a los diferentes atributos que deben ser evaluados. 2.1 Propsitos evaluativos
Con el propsito evaluativo, se pretende identificar la informacin evaluativa que le permita a la persona o personas tomar una buena decisin. Dependiendo del tipo de decisin que se debe tomar, se debe contar con una informacin que haga la diferencia para la toma de decisiones. Entre las componentes claves para la informacin evaluativa vinculadas a las decisiones, se tiene: a) Los tipos de atributos personales, sobre los cuales, hay que tomar la decisin.
La educacin universitaria pretende modificar varias dimensiones de la personas; afectando las formas de pensar, sentir y actuar de los estudiantes. Convencionalmente, se han distinguido atributos cognitivos, afectivos y psicomotores. Vinculadas a estas distinciones, se elaboraron taxonomas que permiten diferenciar grados de complejidad en la evolucin de estos dominios. Trabajos ms recientes, han distinguido varios tipos de comportamientos inteligentes; como los considerados por Gardner, quien distingue ocho tipos de inteligencias. Con el enfoque de competencias, en las situaciones de actuacin, los atributos personales se movilizan, combinan e integran; por lo que la informacin evaluativa que se requiere debe ser multidimensional.
b) El tipo de accin comprometida en la decisin.
Clasificar a las personas respecto a su grupo de referencia, o clasificarlos de acuerdo a su grado de maestra, en una determinada situacin de actuacin.
Opcin 1: Clasificar a las personas respecto a sus pares, o su grupo de referencia.
Contar con informacin evaluativa para decidir la ubicacin relativa de un sujeto, respecto a su grupo de referencia, de acuerdo a ciertos atributos personales. Por ejemplo, se pretende ordenar a los estudiantes de primer ao de la universidad, respecto a sus habilidades de comunicacin efectiva. Para este propsito, la informacin evaluativa de los estudiantes de primer ao debe distribuirse normalmente. Aproximadamente, el 27 % de los estudiantes tienen los puntajes ms bajos; el otro 27 % tienen los puntajes ms altos, y los restantes tienen puntajes intermedios. Las diferencias de puntajes sealan diferencias entre estudiantes respecto a sus habilidades sobre comunicacin efectiva, considerando variaciones entre los sujetos.
Opcin 2: Clasificar a los estudiantes respecto a su grado de maestra o nivel de actuacin.
Contar con informacin evaluativa para decidir el grado de maestra o pericia que posee cada estudiante de primer ao de la universidad. En esta situacin, se debe tener una informacin evaluativa que permita decidir, fundadamente, el nivel de desempeo que logra cada estudiante, respecto a determinados criterios o estndares de desempeo que justifican los niveles de maestra en la situacin de actuacin; independientemente del nivel de logro que obtienen sus compaeros.
c) Ubicacin de la decisin respecto al proceso formativo.
En el proceso formativo, se deben tomar decisiones al inicio, durante y a su trmino. En otras palabras, los propsitos evaluativos pueden ser de diagnstico (determinar el nivel de conocimientos previos), formativo (permiten mejorar los procesos facilitadores de los aprendizajes y competencias) y sumativa (permite certificar los resultados de aprendizajes y competencias).
Es importante destacar que las consideraciones anteriores no son excluyentes. Ms an, considerando el tipo de decisiones y los usuarios de la informacin evaluativa; estos tres aspectos deben ser integrados. La evaluacin de las personas debe hacerse respecto a ciertos atributos claramente identificados, considerando que la valoracin que se pretende hacer es respecto a un criterio o estndar especificado, o respecto al grupo de referencia de personas; considerando el momento de la evaluacin respecto al desarrollo del programa educativo.
2.2 Propsitos de medicin
El propsito de la medicin pretende especificar los tipos de datos y organizaciones parciales y totales de ellos, que sustenten la informacin evaluativa que se requiere para tomar una buena decisin. En otras palabras, el propsito de medicin debe hacer patente las redes de significados de combinaciones parciales y de la totalidad de los datos, que sustentan la informacin evaluativa. Por ejemplo, en el caso de tener una foto de pasaporte, los datos que se deberan obtener deben permitir interpretaciones que caractericen las principales componentes de la cara de una persona (boca, nariz, pestaas, ojos, pelo, entre otras), como tambin una representacin global de ella.
Consecuentemente, el propsito de medicin comprende un anlisis de la informacin evaluativa. Fruto de ese anlisis, deben identificarse los tipos de distinciones de acuerdo a sus atributos y reglas lgicas; que deberan ser obtenidas y combinadas para obtener la informacin evaluativa explicitada en el propsito evaluativo. En breve, el propsito de medicin debe proporcionar significaciones de los datos altamente consistentes con la informacin contenida en el propsito evaluativo.
A modo de ejemplo, se presenta parte del trabajo construido por Peters 2005 3 ; para ilustrar lo anterior:
3 Profesora Vernica Peters Valencia, perteneciente al Dpto de Fsica de la USACH; elaborado para el Mdulo V del DIPLOMADO DISEO CURRICULAR BASADO EN COMPETENCIAS, CEDETEC, USACH. 12 El propsito de la evaluacin, en la etapa diagnstica, es clasificar al estudiante respecto al estndar mnimo de desempeo; y, en ese sentido, el resultado de la aplicacin del instrumento se utiliza para tomar decisiones orientadas a que el estudiante alcance un dominio de las competencias previas necesarias para desenvolverse con xito en el desarrollo de la unidad. En la siguiente tabla, se resume la informacin evaluativa para la etapa de diagnstico, y se presenta el instrumento que comprende siete preguntas cerradas y dos preguntas abiertas. Propsito Evaluativo Informacin evaluativa: Interesa conocer si la/el estudiante Diagnstico - Identifica los Principios de Pascal y Arqumedes. - Interpreta aplicaciones de los Principios de Pascal y Arqumedes. - Transforma un sistema de fuerzas distribuidas aplicadas sobre un slido, en una fuerza resultante aplicada en un punto denominado centro de fuerza. Ejemplos de los tipos de datos, cuyas interpretaciones proporcionan la informacin evaluativa esperada. Informacin Evaluativa
D1. Identificar los Principios de Pascal y Arqumedes.
D2. Interpretar aplicaciones de los Principios de Pascal y Arqumedes
D3. Transformar un sistema de fuerzas distribuidas aplicadas sobre un slido, en una fuerza resultante aplicada en un punto denominado centro de fuerza.
Al final de cada afirmacin escriba si esta es verdadera o falsa. 1. Cualquier cambio de presin aplicado en un punto a un fluido contenido en un recipiente se transmite sin disminuir a travs de todo el fluido. 2. La presin en un lquido depende de la profundidad y de la forma del recipiente que lo contiene. 3. Sobre un objeto sumergido en un fluido se ejerce un a fuerza hacia arriba que es siempre igual al peso del objeto. 4. La fuerza del fluido sobre un objeto sumergido en cualquier punto es perpendicular a la superficie del objeto. 5. La presin de un fluido sobre una superficie horizontal es igual al peso del fluido sobre la superficie. 6. Dos estudiantes con el mismo peso ejercen igual presin sobre el piso calzando zapatillas o zapatos con taco. 7. Las personas confinadas a una cama son menos propensas a tener llagas si utilizan camas de agua en lugar de colchones tradicionales.
Dadas las distribuciones de fuerza de las figuras I y II, determine la fuerza resultante y la posicin del centro de fuerza respecto al origen O de la distribucin, si F mximo = 2N y X mximo = 3 m Figura I F
X Figura II F
X
Para los grupos de alumnos que no alcancen el nivel de suficiencia establecido en la Tarea Clave 1 - verificable en D1 y D2 - y en La Tarea Clave 2 verificable en D3; a) se seleccionaran 13 tareas que los orienten a alcanzar el objetivo; b) se les ofrecer un espacio de consulta para verificar individual o grupalmente la evidencia de lo avanzado.
A continuacin, se presenta parte del trabajo construido por Wats 2005 4 ; para ilustrar con otro ejemplo del rea de Humanidades lo anterior:
PROPSITO EVALUATIVO DIAGNSTICA
INFORMACIN EVALUATIVA
El profesor espera que el estudiante (lector), en esta instancia diagnstica, a lo menos: Desarrolle la capacidad de observacin de datos globales presentes en el texto (CONOCIMIENTO FACTUAL). Reconozca que, a partir de los elementos estructurales del texto, puede inferir informaciones que el facilitarn, posteriormente, el proceso de comprensin lectora (CONOCIMIENTO CONCEPTUAL).
TAREA CLAVE Estar en condiciones de informar, oralmente, acerca de la estructura global de un texto dado, leyendo previamente la informacin contenida en las contratapas, solapas, ndice, introduccin, conclusiones, bibliografa y grficos.
Caracterizacin de la evaluacin diagnstica segn Taxonoma de Bloom revisada: Dimensin de procesos cognitivos
TIPO DE CONOCIMIENTO 1 2 3 4 5 6 C. Factual X X C. Conceptual X X X C. Procedim. C. Metacogn. Reconocer y observar los datos globales del texto. Comprender e interpretar los datos globales observados. Informar acerca de los datos observados en la estructura global del texto.
4 Profesora Blgica Wats, perteneciente al rea de Lingstica Y Literatura de la Facultad de Humanidades de la USACH; elaborado para el Mdulo IV del DIPLOMADO DISEO CURRICULAR BASADO EN COMPETENCIAS, CEDETEC, USACH. Los tipos de datos que sustentara la informacin evaluativa de diagnstico, se presentan en la tabla siguiente:
EVALUACIN DIAGNSTICA
PROPSITO EVALUATIVO Y REAS DE DOMINIO FASES PROCESO LECTOR ESTRATEGIAS LECTORAS A OBSERVAR DATOS REQUERIDOS NIVEL MNIMO ESPERADO MEDICIN PROPUESTA OBSERVACIONES El estudiante
Desarrolle la capacidad de observacin de datos globales del texto.
(C.FACTUAL)
Reconozca que, a partir de los elementos estructurales del texto, puede inferir informaciones facilitadoras del proceso lector.
(C.CONCEPTUAL)
1 fase de lectura:
Lectura global (estructur a externa del texto).
El estudiante: -registra informacin global acerca del texto, revisando la estructura externa.
-infiere informacin general acerca del contenido y sustento terico del texto, leyendo, a lo menos: contratapas, solapas, ndice y bibliografa.
-informa oralmente al grupo-curso acerca de los datos registrados. - Informe oral referido a la informacin contenida a lo menos en 4 de los 7 elementos de la estructura global del texto: contratapas, solapas, ndice, bibliografa, introduccin, conclusiones, anexos. SUFICIENTE.
El estudiante estar en condiciones de explicar oralmente 4 de los elementos de la estructura global del texto : contratapas, solapas, ndice, bibliografa.. Por tratarse de una instancia diagnstica, no habr calificacin . En cambio, se asignar un concepto evaluativo orientador equivalente al nivel mnimo esperado. Por ejemplo:
SUFICIENTE (logrado).
BUENO (no logrado).
MUY BUENO (logrado meritorio). Aplicado al alumno inicial, el cual trae a favor, entre otros atributos: -fcil representacin grfica de temas de su experticia. -solidez de conocimientos referidos a su carrera. -precisin en el planteamiento de sus dudas. Actitud, en general, de respeto y cortesa.
En contra trae: -Cierta resistencia a una lectura activa y sostenida.
15 3 CARACTERSTICAS TCNICAS BSICAS DE LA MEDICIN, CRITERIOS Y TABLA DE ESPECIFICACIONES
3.1 Caractersticas tcnicas de la medicin
3.1.1 Pertinencia
La pertinencia de la medicin alude al concepto de atingencia o correspondencia que existe entre ciertos significados de la estructura de los datos observados o inferidos, y la informacin que requieren quienes deben tomar las decisiones. En pocas palabras, se refiere a la focalizacin de la informacin evaluativa, de modo que haga la diferencia para la toma de decisiones; ya que, al contar con la nueva informacin, el usuario cuenta con nuevas evidencias sobre aspectos propios de lo que se desea evaluar. Por ejemplo, para una foto de pasaporte no sera pertinente una imagen donde solo aparece el pelo de una persona, o la foto de un pie de ella. En ambos casos, no se contara con informacin o evidencias cuyos significados hagan una diferencia clave para identificar las caractersticas centrales utilizadas para identificar a la persona.
Desde una perspectiva complementaria, la pertinencia destaca la identificacin y seleccin de los indicadores que sustentarn las distinciones de la realidad; para que la informacin evaluativa haga la diferencia en la reduccin del error en la toma de decisiones. Un estndar de desempeo permite identificar el tipo de datos, sus contextos y los significados requeridos para contar con una informacin focalizada en lo necesario o central para decidir.
3.1.2 Confiabilidad
La confiabilidad o fiabilidad consiste en que si una tcnica particular, se aplica repetidamente al mismo objeto, bajo las mismas condiciones exactamente iguales, a lo largo del tiempo, se obtendr siempre el mismo resultado. En otras palabras, se relaciona con la estabilidad de los datos en el tiempo, y con la consistencia interna de las distinciones proporcionadas por las observaciones. En medicin educativa, al igual que en otras medidas del comportamiento, la confiabilidad depende tanto de la poblacin como del instrumento de medicin. En el ejemplo de la foto de pasaporte, si no cambian las condiciones del contexto, y en un pequeo lapsus de tiempo a la persona se le toman dos fotos; se espera que ambas presenten imgenes altamente consistentes. Si hay una asociacin o correlacin importante entre los rasgos de la persona (componentes de la imagen) y entre las representaciones totales, se dir que la confiabilidad es alta.
Complementariamente, los problemas que se relacionan con la confiabilidad tienen que ver con la exactitud del procedimiento de medicin o del instrumento que se construy para llevar a cabo la medicin. Existen varias formas para determinar el valor numrico que estima la confiabilidad de un instrumento:
Un mtodo es el Test-Retest, el cual, consiste en aplicar el mismo instrumento dos veces, en un intervalo de tiempo. Si no hay ninguna razn para esperar cambio, las 16 respuestas en ambas instancias deben ser altamente vinculadas o asociadas; de lo contrario, no hay confiabilidad. Un segundo mtodo, corresponde a la aplicacin de Test Paralelos, es decir, construir, al menos, dos test que satisfacen el mismo propsito y condiciones. Un tercer mtodo, corresponde a la Comparacin por Mitades, en el que se contrastan las respuestas de dos partes de un test, que pueden considerase como dos test paralelos. En esta opcin, ambas mitades del test estn constituidos por distribuciones de preguntas seleccionadas y organizadas en forma aleatoria.
La confiabilidad de un instrumento es afectada por varios factores, los que deberan tenerse en cuenta durante su proceso de construccin. Entre los factores que se destacan en la literatura, estn:
1. Mientras menor sean los rangos de dificultad del instrumento, mayor ser su confiabilidad.
2. El nmero de preguntas o temes.
3. La interdependencia entre los temes tiende a reducir la confiabilidad del instrumento.
4. Mientras ms objetivo es la asignacin de puntajes, mayor es la confiabilidad del test.
5. Asignacin de puntajes inexactos afectan la confiabilidad de la medicin.
6. El azar en la obtencin de las respuestas correctas afectan la confiabilidad de un test.
7. Mientras ms homogneas sean las preguntas o actividades, el test es ms confiable.
8. Mientras ms comn sean las experiencias del test para el grupo de sujetos, ms confiable es el test.
9. El lenguaje contenido en la forma de medicin, tales como las contenidas en las instrucciones, estructuras gramaticales complejas, expresiones; pueden ser emocionalmente mal interpretadas.
10. El uso de material nico, optativo o complementario de un test afecta la confiabilidad de la medicin.
11. Preguntas cerradas o de recuerdo generan mayor confiabilidad en la medicin que preguntas de inferencias o procesos nuevos.
12. Las instrucciones para contestar el instrumento. Falta de explicitacin de las instrucciones conduce a que las diferentes interpretaciones reduzcan la confiabilidad.
13. El incentivo al esfuerzo para responder bien el instrumento. Para algunos tipos de test, -como los de personalidad- este factor afecta su confiabilidad.
17 14. La exactitud del tiempo de aplicacin del instrumento es un factor que tiende a estabilizar la confiabilidad de la medicin.
15. Distractores de las condiciones de administracin del test, tales como incidentes ocasionales o accidentes, pueden afectar negativamente la confiabilidad de la medicin; y tambin, otros factores emocionales que afecten el clima de tranquilidad para contestar el cuestionario.
16. La copia de las respuestas afecta la confiabilidad del instrumento.
3.1.3 Validez
La validez se refiere, de acuerdo a su significado convencional, hasta dnde una medida emprica refleja adecuadamente el significado real del concepto que se estudia. Es decir, se refiere a la interpretacin o al significado de las observaciones. Centralmente, ella apunta a que los datos u observaciones deben ser interpretados, de modo que sus significados correspondan a lo que se pretende medir. Los datos pueden ser organizados de diferentes maneras. Por lo tanto, dependiendo de cmo estos se combinen, pueden proporcionar diferentes descripciones o interpretaciones de la realidad. La validez se sustenta en una combinacin de los datos u observaciones, de modo que la estructura de sus significados corresponda a lo que se quiere medir.
En el ejemplo de la foto de pasaporte, la foto es vlida en la medida que la interpretacin de sus puntos den una representacin inequvoca, tanto global como de los rasgos principales de la persona. La imagen global y las imgenes parciales, constituidas por las interpretaciones de los datos, deben permitir reconocer con consistencia las caractersticas distintivas de la boca, ojos, nariz, pelo, entre otros. En breve, de acuerdo a su propsito, en este caso descriptivo, la validez se refiere a los significados vinculados del conjunto de todos los puntos; como tambin a las interpretaciones parciales de subconjuntos de puntos.
En suma, la validez de la medicin se centra en la coherencia de la red de significados basados en la estructuracin u ordenamiento de datos. El grado de validez est en funcin de la interpretacin de los datos, en que stos midan lo que se pretende medir. Dependiendo del propsito de medicin, deben seleccionarse las organizaciones de los datos que den sentido apropiado a la representacin descriptiva o interpretativa de lo que se desea medir.
Al menos, todo procedimiento o instrumento de medicin debe tener una validez de contenido o aparente. Ella se refiere al grado en que la puntuacin o escala usada, representa el concepto acerca del cual se va a hacer generalizaciones. Con ella, se intenta juzgar el grado, en el cual, una escala entregue significados que estn en concordancia con el contenido, destrezas, habilidades, disposiciones, situaciones y/o objetos que se propone medir. Este tipo de validez es considerada como un medio para estimar hasta qu punto el contenido de la escala muestrea la conducta o el campo de contenido sobre los que se hacen inferencias.
El procedimiento ms usado para determinar la validez de contenido es recurrir al juicio de expertos acerca de la representatividad e interpretaciones de la muestra de los temes. En el ejemplo de nuestra foto de pasaporte, y en el caso que un polica tenga dudas sobre la relacin entre la imagen proporcionada por la foto de la persona y la persona misma, un procedimiento que se usa, frecuentemente, para dilucidar la 18 duda es pedirle la opinin a otras personas (en este caso, a otros policas tambin entrenados), sobre si representa o no a la persona, y por qu?. A partir de la variedad de posibles interpretaciones, se determina la validez de la foto mediante los grados de consenso de las interpretaciones sobre la foto respecto a la persona.
Esta situacin es similar a lo que sucede cuando un docente le consulta a otro acerca de lo que mide cada pregunta, y si un conjunto de preguntas miden lo que se pretende medir. Como la validez de contenido implica que alguien inspecciona los elementos, y decide si estn o no en concordancia con el contenido, destrezas, habilidades, disposiciones, situaciones y/o con las conductas del sujeto que se van a medir, se requiere, obviamente, una gran confianza en la capacidad del juicio humano al utilizar este tipo de validez.
La existencia de una explcita y clara descripcin del referente evaluativo hace ms riguroso el juicio de los expertos. La funcin que tienen los jueces es identificar la proporcin de elementos congruentes en las preguntas, respecto al propsito de medicin y el criterio evaluativo que orientaron el desarrollo y seleccin de las preguntas y los temes escogidos. Si los elementos no apuntan al objetivo previsto, o dicha descripcin es poco precisa, deben adoptar una decisin negativa sobre la validez del procedimiento o instrumento.
Generalmente, la seleccin y estructura de los datos se realiza mediante categorizaciones, que corresponden a clasificaciones de acuerdo con referentes establecidos previamente. Sin embargo, existen situaciones en las que no es posible partir con un consenso sobre los significados de los datos. Cuando hay controversia, se pueden trabajar categoras de significaciones opcionales que respondan a hiptesis alternativas. Cuando no existen preconcepciones claras, se buscan categoras emergentes presentes a travs de las regularidades de los datos y sus interpretaciones; con enfoques metodolgicos inductivos se obtienen antecedentes claves que permiten establecer las hiptesis, para luego avanzar con enfoques ms analticos, que permitan generalizar las relaciones establecidas en las hiptesis.
Adicionalmente, es importante sealar que existen otros tipos de validez: una de criterio externo y otra de constructo. La validez a un criterio externo, establece a priori N posibles asociaciones que, posteriormente, deben ser probadas. Entre las interpretaciones de dos o ms instrumentos o procedimientos de medicin es posible tener validez concurrente (los puntajes y sus interpretaciones estn altamente asociados o correlacionados) y validez discriminante (los puntajes y sus interpretaciones estn altamente no correlacionados). Por ejemplo, en el caso de nuestra foto, los rasgos de la cara pueden estar asociados a ciertos rasgos genticos (como son los raciales), y no correlacionados los rasgos con los intereses musicales.
Por su parte, la validez de constructo se refiere a un conjunto de elementos y relaciones tericas que, en forma autosuficiente, pueden describir, explicar o predecir una situacin, fenmeno o evento. Estas relaciones tericas constituyen un conjunto de hiptesis, cuya prueba emprica permite validar el constructo. Consecuentemente, la validez de un constructo descansa en la acumulacin de evidencias; y no es un ndice o nmero particular.
En el caso de nuestra foto, la validez de constructo podra ser aplicada a una situacin en que hubo un robo y las personas arrancaron. Una de las actividades que hace la polica es construir un retrato hablado de los ladrones, a partir de los datos e informacin proporcionadas por los testigos. Con ello, se va construyendo y ajustando 19 la representacin de la persona, de modo que contemple caractersticas claves y distintivas de la persona que se pretende buscar. Con el retrato hablado se puede seleccionar personas que cumplan esas caractersticas. Sin embargo, todas ellas podrn ser sospechosas; pero no culpables. Una persona sospechosa cambia a culpable cuando se cuente con una multiplicidad de evidencias sobre las hiptesis, que permitan sustentar una interpretacin en un intervalo de confianza ausente de otras significaciones. Este procedimiento de construir un constructo terico y validarlo, es un procedimiento de gran utilidad para evaluar competencias, y que supera el objetivo de este documento 5 .
3.2 CRITERIOS DE ANLISIS PARA LA MEDICIN
Para determinar la calidad de los instrumentos o procedimientos de medicin, existen una serie de criterios claves a utilizar. Estos son: 3.2.1 Criterio 1: Propsito de medicin.
De acuerdo con el tipo de informacin que se requiere para tomar decisiones, el propsito de medicin establece: qu va a ser medido, a quien(es) se va a aplicar, cmo se van a interpretar los puntajes y cmo se va a usar el o los instrumento(s) o procedimiento(s). De acuerdo con lo presentado, en el propsito de medicin deben quedar explcitos los atributos de los diferentes dominios que sern medidos, y el marco de referencia evaluativo que ser utilizado; en caso que sea respecto a la norma o al criterio.
Si es referido a la norma, para analizar un instrumento o procedimiento de medicin, este criterio concierne a determinar si la descripcin del test, para la clasificacin de los estudiantes, se ajusta al dominio de aprendizaje que se quiere medir; si la norma est relacionada con el grupo de referencia de sus estudiantes, y si la interpretacin de los puntajes normalizados son concordantes con los requerimientos de validez, practicidad y credibilidad para tomar las decisiones en forma adecuada.
En tanto, para la medicin referida a criterio, el propsito debe considerar dos aspectos centrales. Tpicamente, la medicin referida a criterio usa como marco interpretativo de referencia un dominio de contenido o atributos; en vez de una poblacin especfica de personas, como lo ha sido la evaluacin referida a la norma. El segundo aspecto, el foco de la medicin, est en los atributos personales que se espera desarrollen con la enseanza. Las interpretaciones de los puntajes corresponden a un porcentaje de logro absoluto de los conocimientos, habilidades, destrezas, actitudes, emociones, valores y disposiciones que se requiere satisfacer para ser exitoso.
Luego, el propsito de medicin debe establecer, inequvocamente, el nivel de generalidad de los criterios evaluativos que van a ser medidos. Para algunos especialistas, el propsito de medicin es descriptivo; a modo de poder cubrir, slidamente, con las inferencias de los tems, el desempeo del estudiante en las variables que componen el criterio evaluativo y los respectivos estndares de
5 Para profundizar respecto al enfoque de desarrollo y validacin de constructos, se recomienda la lectura de Montero, Patricio (1994): El Desarrollo y la Validacin de Constructos. Un Enfoque para Mejorar la Calidad de la Educacin, Programas Educacionales Chile, EDU-CHILE. 20 desempeo. Tambin, es importante considerar en el propsito de medicin a quienes se les aplicar el instrumento, bajo qu condiciones, y quines seran los usuarios de la informacin.
3.2.2 Criterio 2: Nmero de tems por dominios o categoras de aprendizajes.
El nmero de tems, preguntas u observaciones afectan la confiabilidad y validez de la medicin. El puntaje total de un test, que cubre un determinado conte- nido, es una combinacin de los puntajes de agrupaciones de tems, que corresponden a subtest o tipos de aprendizajes. El nmero de tems por categoras refleja el peso que se les asigna a las diferentes categoras en la interpretacin de los puntajes globales de la medicin.
En el caso de la evaluacin referida a la norma, el nmero de temes totales y por categoras deben posibilitar una medicin pertinente y vlida para satisfacer los requerimientos del propsito clasificatorio de los sujetos, basados en el modelo de la distribucin normal.
En cambio, en la evaluacin referida a criterios o estndares de desempeo, se pretende establecer una correspondencia entre el nmero de los tems con los requerimientos de descripcin de un nivel aceptable de actuacin. La cantidad de tems y sus posibles combinaciones afectan la estabilidad, consistencia y significatividad de los puntajes totales y parciales del procedimiento de medicin.
3.2.3 Criterio 3: Rango de medicin.
El rango de medicin interacta con los dos criterios anteriores. Se refiere a la amplitud de dominios a ser medidos. Puede ser un instrumento que pretende medir "todo el conocimiento", o bien, pude ser especfico a una unidad temtica. Experiencias pasadas enfatizaron una gran especificidad de los test, haciendo que muchos de los esfuerzos midieran aspectos muy triviales o pocos relevantes del proceso de enseanza.
El rango de medicin debe posibilitar una medicin sensible respecto al o los dominios de aprendizajes; respecto a los cuales, se pretende clasificar a las personas. Claramente, el rango de medicin est relacionado con el propsito de medicin, y una gran cantidad de conocimiento no puede ser medido, directamente, con una sola situacin de medicin.
En la evaluacin referida a la norma, el rango de medicin debe ser lo suficientemente amplio para clasificar a los sujetos, respecto a lo que se pretende medir. En cambio, el rango, en la evaluacin referida a criterio, debe ser lo suficientemente amplio para tener distinciones sobre todos aquellos conocimientos, habilidades, destrezas y disposiciones que sustenten los determinados niveles de desempeo, que distinguen los grados de maestra, respecto a lo que se pretende medir.
La especificidad de la medicin debe ser concordante con la amplitud de los criterios evaluativos de los objetivos de aprendizaje establecidos en el currculum: no se debe determinar, entre rangos muy amplios difciles de ensear, y otros muy especficos, que pueden ser irrelevantes o trivializados. El rango de la medicin 21 depende de la fragmentacin del proceso de enseanza, y de la forma en que se especifiquen los estndares de desempeo de los objetivos de la enseanza.
3.2.4 Criterio 4: Confiabilidad.
La confiabilidad es una condicin necesaria para la validez de una medicin. Como fue mencionado, tiene que ver con la estabilidad y consistencia interna de las mediciones; y se destacaron varias precauciones para lograr un buen ndice de confiabilidad. Los datos empricos de la confiabilidad de la medicin y las condiciones de administracin del instrumento son aspectos centrales a ser considerados para velar por el error de medicin asociado a la medicin; y, consecuentemente, al margen de seguridad o riesgo en la toma de decisiones. Estas consideraciones son vlidas tanto para un instrumento referido a la norma o al criterio.
Sin embargo, en la evaluacin referida a criterio, la estabilidad determinada por Test-Retest es de gran importancia. Como ello no es siempre posible, es recomendable tener un indicador de confiabilidad basado en el coeficiente de confiabilidad, obtenido mediante dos o ms formas equivalentes del test. En general, se recomienda satisfacer ambos criterios (estabilidad y equivalencia); para lo cual, primero se aplica una forma, luego se deja pasar un tiempo, y posteriormente, se aplica la otra forma equivalente. Cuando ello no es posible, se pueden calcular coeficientes de confiabilidad mediante mtodos alternativos como es la biparticin.
3.2.5 Criterio 5: Validez.
Considerando que la validez se refiere a la interpretacin de los puntajes del test, y a la relacin que el instrumento mida lo que realmente se quiere medir; en este criterio, es fundamental analizar la naturaleza de los temes, los significados de las observaciones y los de las combinaciones de los temes que sustentan mediciones de ciertas categoras o del total del test.
En la evaluacin referida a la norma para analizar la validez de un instrumento o procedimientos de medicin, se deben considerar los niveles de dificultad y de discriminacin de los tems, y sus combinaciones en los puntajes totales. Los niveles de dificultad de los tems deben ser de lo simple a lo complejo, de acuerdo a una distribucin normal de puntajes (un tem es fcil cuando un alto % de estudiantes de la poblacin lo tienen correcto). La discriminacin del tem debe permitir diferenciar a los estudiantes, que tienen bajos resultados (aproximadamente 27 % inferior), respecto a los que obtienen altos puntajes en el instrumento o procedimiento (aproximadamente 27 % de los puntajes superiores). Un tem de alta discriminacin proporciona una clara distincin entre los puntajes altos respecto a los bajos.
Por su parte, para la validez en la evaluacin referida a criterio, es esencial establecer cun exacta es la organizacin de los puntajes, para describir el dominio de atributos o el estndar de desempeo que se pretende medir. La validez de un test referido a criterio enfatiza la homogeneidad de los tems, para generar redes de significados compatibles con la descripcin de los criterios evaluativos. Desde la perspectiva de una validacin con los sujetos que utilizarn el test, es pertinente considerar la validacin del instrumento mediante las distinciones que permiten establecer la medicin respecto a los dos grupos siguientes: grupo sin enseanza (que 22 no han tenido experiencia en el dominio de aprendizajes), versus los que han recibido la enseanza y que, por juicios de expertos, satisfacen el estndar de desempeo. 23 3.2.6 Criterio 6: Datos comparativos.
La calidad de una evaluacin referida a la norma descansa, fuertemente, en la calidad y cantidad de datos comparativos que sustentan la interpretacin de los puntajes de un instrumento o test. Si Juan obtiene un percentil de 67, significa que Pedro iguala o excede el desempeo del 67 % de los examinados de ese grupo. Si el grupo utilizado en el proceso de normalizacin de los puntajes del instrumento fue grande y cuidadosamente ensamblado, entonces, tenemos un alto grado de seguridad en la interpretacin del percentil 67 de Pedro. En aquellos casos en que el grupo normal sea pequeo y no bien estructurado, la interpretacin del percentil tiene poco sentido.
Por su parte, en la evaluacin referida a criterio, las investigaciones de estas ltimas dcadas han enfatizado la importancia de estudiar el patrn de las respuestas; ms que la distribucin terica de la organizacin de los puntajes del test para sus inferencias, aunque los temes en cuestin tengan un puntaje continuo o pseudo continuo. La Teora de Respuesta al tem ha contribuido a diferenciar, de la psicometra clsica basada en la calidad del instrumento, que se pueda abordar la calidad del tem mediante procesos de calibracin. Los niveles de dificultad y discriminacin de cada tem, proporcionan evidencias sobre niveles de capacidad vinculadas a atributos o movilizaciones de atributos especficos, comprometidos en las expectativas de desempeo. En suma, los datos comparativos del instrumento permiten verificar la pertinencia, validez y practicidad del instrumento o procedimiento evaluativo.
3.3 TABLA DE ESPECIFICACIONES DE LOS INSTRUMENTOS O PROCEDIMIENTOS DE MEDICIN
El diseo de todo instrumento requiere tomar decisiones coherentes con el propsito de medicin. Entre las principales, se encuentran: qu es lo que va a ser medido, a quin se le va a aplicar, qu uso se va a hacer de los puntajes obtenidos, y cules sern los criterios que se utilizarn para validar los temes y el test completo.
En el diseo de un test deben, al menos, estar presentes los aspectos siguientes:
a) El contenido del test (la materia que ser medida y el tipo de habilidad que requerir el test);
b) Peso que se les asignar a las diferentes categoras del test;
c) El largo aproximado del test (una estimacin del nmero de temes que se incluirn en la forma final relacionado con la confiabilidad deseada y el tiempo disponible);
d) Lmite de tiempo (relacionado con la velocidad con que se contestar el test);
e) El tipo de temes (de seleccin mltiple, verdadero o falso, respuesta corta, u otro tipo que ser usado. Para tems de seleccin mltiple, debe especificarse el nmero de distractores que sern usados);
24 f) Dificultad del tem (el nmero de temes en cada nivel de dificultad y, este ltimo, deber ser especificado para cada categora de temes); y,
g) Puntuacin del test (los procedimientos que sern usados para asignar puntajes significativos y precisos a cada estudiante. Preguntas como estas, deberan ser consideradas: ser el puntaje totalmente objetivo?, se aplicar correccin para el azar?, se usar algn sistema de ponderacin?).
Para contar con decisiones coherentes en el diseo del instrumento, se utilizan tablas de especificaciones. A continuacin, se aborda una para la evaluacin referida a la norma y, posteriormente, otra referida a la medicin por criterio.
3.3.1 Tabla de especificaciones para una medicin referida a la norma.
La tabla de especificaciones es una herramienta o medio que permite conciliar los puntajes el contenido del test con el modelo de distribucin normal. En el contenido, se ha asumido que la medicin se ha centrado en una dimensin de desarrollo de la persona; y, ms precisamente, en un aspecto particular del comportamiento humano.
Los diferentes tests confeccionados, tanto para mediciones cognitivas como para las afectivas, sociales y psicomotoras, han sido elaborados bajo la idea que son mediciones referidas a una caracterstica precisa y, explcitamente, definida como nica. Estas caractersticas, han sido referidas a los objetivos de enseanza o a los resultados de aprendizajes esperados.
Independiente del o los aspectos de la conducta humana que se desee medir, se debe estudiar aquellas categoras que colaboran a definir un perfil de conducta para la descripcin de un sujeto, o para la comparacin entre sujetos. La manera en que se han de interpretar correctamente los resultados de un test, est en estrecha relacin con la manera real en que se organizan las respuestas de los distintos tems, definiendo categoras que sean interpretables.
Luego, la tabla de especificaciones permite determinar el contenido (tanto global o parcial), aprendizajes, resultados o dominios de atributos en los que se pretenden establecer las distinciones para las comparaciones con el grupo de referencia.
Por su parte, respecto a los requerimientos de normalidad, la tabla de especificaciones contribuye a determinar un continuo basado en los aportes de cada tem. En otras palabras, el nivel de dificultad de cada tem contribuye a obtener puntajes que se distribuyen normalmente.
En la figura siguiente, se observa cmo los diferentes tems pueden ir contribuyendo, de una manera diferencial, a los puntajes totales. En las columnas, s1, s2, s3, s4, s5,... se representan los diferentes sujetos (uno, dos, tres, cuatro, cinco, y as sucesivamente), que contestaron el tem. En las filas, i1, i2, i3,i4, i5, i6,i7, se representan los tems, preguntas u observaciones (tem 1, tem2,....); y las C o I, reflejan si las respuestas fueron correctas (C) o incorrectas (I). En tanto, la ltima columna, muestra el % de respuestas correctas en cada tem; lo que corresponde a su 25 nivel de dificultad. Note, por ejemplo, que en el tem 1 hay un 99% de correctas; mientras que en el tem 6, hay solo un 1%. Es posible tener una distribucin normal?
s1 s2 s3 s4 s5 s6 s7 s8 s9 s10 % correctas i1 C C C C C C C 99 % i2 I I C C C C C 97 % i3 I I I I C C C 84 % i4 I I I I I C C 50 % i5 I I I I I I I C 16 % i6 I I I I I I I C 2 %
Tambin, observe que el sujeto 1 contribuir con bajos puntajes; y que un sujeto que tenga correctas la casi totalidad de los tems, tendrn un alto puntaje.
Al poner atencin a las columnas por sujetos, se puede observar que los puntajes totales de los sujetos son variables. Por ejemplo, el sujeto 1 contribuye con un bajsimo puntaje, porque en la gran mayora de los tems sus respuestas son correctas; mientras que, el sujeto 7 contribuye con un altsimo puntaje debido a que la totalidad de sus respuestas son correctas.
La tabla de especificaciones permite hacer un diseo distribuido de los tems, en forma proporcional a los dos criterios (contenidos/objetivos y niveles de dificultad). Para ello, es frecuente ubicar en las filas los contenidos, tpicos u objetivos que conforman el dominio de atributos, en los cuales, se pretende hacer la comparacin; y en las columnas, los niveles de dificultad expresados en alguna taxonoma. Para la distribucin de los tems, se requiere definir, primeramente, el nmero de contenidos u objetivos que correspondern a categoras de tems y a sus pesos relativos. Por ejemplo, se supone que se han seleccionado cinco, de los cuales, sus pesos relativos son 10%, 20%, 25%, 25%, 25% y 20%, respectivamente.
Si el test fuese de 60 preguntas, entonces, por contenido, se tendran los siguientes nmeros de tems: 6 tems para el contenido 1 (10% de 60); 12 tems para el contenido 2 (20% de 60); 15 tems para el contenido 3 (25% de 60); 15 tems para el contenido 4 (25% de 60); y 12 tems para el contenido 5 (20% de 60). Verifique que el total de tems sea 60.
Cmo tratar los niveles de dificultad en los tems? Para tener una distribucin normal, de acuerdo con los grados de dificultad, es posible basar el diseo usando las taxonomas de aprendizaje. Por ejemplo, si usar la taxonoma del autor Bloom, se tiene que, el nivel ms simple es el conocimiento; luego, la comprensin, la aplicacin, el anlisis, la sntesis y, finalmente, la evaluacin.
26 La segunda entrada en la tabla de especificaciones corresponde a los niveles taxonmicos, y a la ponderacin que se establezca de los niveles que permitan acercarse a tener una distribucin normal. Por ejemplo, suponga que la ponderacin planteada en el test sea de: 10% para conocimiento, 20% para comprensin, 25% para aplicacin, 25% para anlisis, 10% para sntesis, y 10% para evaluacin. En el test de 60 preguntas, significa que habrn en total: 6 preguntas de conocimiento, 12 de comprensin, 15 de aplicacin, 15 de anlisis, 6 de sntesis, y 6 de evaluacin.
Para obtener el nmero de tems en cada celda, se multiplican los respectivos marginales, y se dividen por el total de tems del instrumento. Por ejemplo, para determinar el nmero de tems del contenido 1 y del nivel taxonmico de conocimiento; se multiplica 6 (nmero total de temes del contenido 1) por el nmero 6 (correspondiente al total de temes del nivel de conocimiento), y el resultado de la multiplicacin se divide por el nmero total de temes del instrumento. Compruebe el resultado con el de 0,6. Tambin, compruebe los otros resultados para el resto de los contenidos al nivel taxonmico de conocimiento. Verifique sus resultados con los que aparece en la tabla siguiente:
La tabla de especificaciones es una hiptesis de trabajo que debe ser completada con la elaboracin de los temes, preguntas, reactivos u estmulos para las distinciones. Con la estructura de la tabla de especificaciones, es posible elaborar una primera versin del instrumento con validez de contenido o aparente y sus condiciones de administracin. En otras palabras, la tabla de especificaciones ayuda a identificar, elaborar y seleccionar los temes que deberan conformar el instrumento; como tambin, tener evidencias de juicios de otros expertos (por ej., otros profesores) para asegurar la validez de contenido del instrumento.
27 3.3.2 Tabla de especificaciones para la evaluacin referida a criterio.
En la evaluacin referida a criterio, la tabla de especificaciones debe permitir describir un universo de tems, que permitan muestrear el nivel de desempeo esperado de acuerdo a un nivel de generalidad de lo que se pretende medir. A diferencia del marco referido a la norma, en esta opcin no se pretende obtener una distribucin normal de puntajes; sino que variaciones de puntajes respecto a determinados grados de maestra, de acuerdo a ciertos criterios que han sido definidos previamente.
Generalmente, los grados de maestra o niveles de desempeo se expresan en rbricas. Para juzgar la calidad de las respuestas de un estudiante, la rbrica expresa criterios descriptivos de calidad acerca de lo que constituye una respuesta slida o dbil, por parte de los estudiantes. La rbrica puede ser usada en forma holstica o analtica. En forma holstica, cuando la interpretacin de las observaciones es global; y analtica, cuando est focalizada a ciertas capacidades, habilidades, destrezas o disposiciones en determinados contextos.
Convencionalmente, las evaluaciones pueden estar dirigidas a obtener informacin en diferentes tipos de conocimientos y con determinados niveles taxonmicos. En una educacin que responda a la globalizacin y sociedad del conocimiento, se reconocen saberes vinculados a un saber conocer, a un saber hacer, a un saber convivir y a un saber ser. En otras palabras, las expectativas de desempeos de un programa formativo deben contribuir a cambios en las personas, en su manejo de los conocimientos factuales (de datos y hechos), y en los conceptuales, denominados conocimientos declarativos; en los conocimientos procedimentales, con los cuales, la persona utilizada sus habilidades y destrezas en acciones organizadas de mtodos y tcnicas disciplinarias requeridas para culminar con determinados productos; en el uso de habilidades sociales, que compromete la aplicacin de normas sociales y formas para relacionarse inter-personalmente; y, en la internalizacin de determinado patrn valrico, que constituyen principios que orientan y regulan las opciones y comportamientos de las personas.
La tabla de especificaciones puede ser respecto a un tipo de conocimiento, o respecto a varios tipos de conocimientos o saberes. En el marco de una actuacin competente, desde la persona en s misma hasta contar con familias de situaciones contextualizadas; generalmente, quien es exitoso requiere movilizar, combinar y aplicar variedad de recursos internos (conocimientos, habilidades, destrezas y disposiciones) junto con varios dominios, como tambin otros externos.
Consecuentemente, el primer anlisis vinculado a la tabla de especificaciones de una evaluacin referida a criterio, consistir en focalizar la informacin evaluativa y los tipos de observaciones sobre los atributos que deben ser medidos. Ello ha de considerarse para cada tipo de conocimiento: declarativo o terico, basados en datos y conceptos; procedimental, referido a un saber hacer mediante la aplicacin de habilidades y destrezas; y, de las disposiciones y valores de un saber convivir y saber ser, conformados por las actitudes, emociones, valores y disposiciones en general. Para cada una de estas tres dimensiones, es posible establecer diferentes niveles y estndares de desempeos; que corresponden a definir grados de maestra o logro respecto a las expectativas de desempeo.
En otras palabras, considerando el conjunto de condiciones de realizacin de la situacin de actuacin contenidos en un criterio de desempeo, es posible concordar 28 tipos de evidencias sobre los atributos, que posibiliten emitir un juicio evaluativo y documentado de las personas en la situacin de desempeo. Las distinciones de logros entre personas, en la situacin de desempeo, se observan mediante diferencias cualitativas y/o cuantitativas en los conocimientos habilidades, destrezas y disposiciones, vinculadas a las condiciones de realizacin, que sustentan el desempeo.
Luego, el muestreo de tems del instrumento debe dar cuenta de los diferentes niveles de logro mediante distinciones cualitativas o cuantitativas en los atributos personales. Para cada nivel de desempeo, se fijan estndares de desempeo de acuerdo con combinaciones cualitativas y/o cuantitativas, que expresen crecientes niveles de dificultad, concordantes con grados de maestra en la situacin. En la tabla siguiente, se ilustra, genricamente, una rbrica muestra las distinciones cualitativas y/o cuantitativas en los diferentes tipos de conocimientos, que son sustentadoras de los estndares que explican las variaciones de experticia entre los niveles de desempeo.
29 TABLA: VARIACIONES DE ATRIBUTOS PERSONALES QUE JUSTIFICAN DIFERENNTES NIVELES DE DESEMPEO O GRADOS DE EXPERIENCIA
NIVELES Y ESTANDARES DE DESEMPEO MOVILIZACIN Y USO DETIPOS DE CONOCIMIENTOS MNIMO O SUFICIENTE BUENO SOBRESALIENTE DECLARATIVOS O TERICOS (Saber decir qu y por qu) Datos, Hechos: a 1
Conceptos: a 2
Relaciones entre conceptos: a 3
a 1
a 2
a 3
a 1
a 2
a 3
PROCEDIMENTALES (Saber Hacer) Habilidades: b 1
Destreza: b 2
b 1
b 2
b 1
b 2
INTRA E INTERPERSONAL (Saber Convivir con Otros y Saber Ser en lo personal) Actitudes, Sentimientos y Disposiciones: c 1
Creencias y Valores: c 2
c 1
c 2
c 1
c 2
30 3.3.3 EJEMPLO DE TABLA DE ESPECIFICACIONES
A continuacin, se presenta parte del trabajo construido por Peters 2005 6 .
En la tabla, se consideran las tareas claves o situaciones de desempeo que el/la estudiante deber estar en condiciones de realizar, exitosamente, antes de estudiar el equilibrio de slidos en medios lquidos. Adems, se presentan las condiciones de realizacin asociadas al tipo de conocimiento o dimensin de desarrollo del estudiante, y el estndar de desempeo establecido para diferenciar el estudiante inicial esperado, que satisface las condiciones para comenzar con posibilidades de xito la unidad o sub unidad, respecto al que no rene las condiciones mnimas.
6 Profesora Vernica Peters Valencia, perteneciente al Dpto de Fsica de la USACH; elaborado para el Mdulo V del DIPLOMADO DISEO CURRICULAR BASADO EN COMPETENCIAS, CEDETEC, USACH. NIVELES Y ESTANDARES DE DESEMPEO TAREAS CLAVES TIPOS DE CONOCIMIENTO
MNIMO O SUFICIENTE BUENO SOBRESALIENTE Las alumnas y alumnos debern tener las siguientes competencias previas:
TAREA 1.
Identificar las caractersticas que presentan las fuerzas que se ejercen sobre un cuerpo sumergido en un medio fluido en reposo.
Factual
Conceptual
Conceptual
Procedimental
Metacognitivo
Reconociendo el origen de los principios de Pascal. Identificando el principio de Arqumedes. Interpretando aplicaciones del Principio de Pascal. Reconociendo el origen de los principios de Pascal. Identificando el principio de Arqumedes. Interpretando aplicaciones del Principio de Pascal. Interpretando aplicaciones del Principio de Arqumedes. Reconociendo el origen de los principios de Pascal. Identificando el principio de Arqumedes. Interpretando aplicaciones del Principio de Pascal. Interpretando aplicaciones del Principio de Arqumides. Representando en un diagrama de cuerpo libre las fuerzas ejercidas por el lquido sobre un slido.
31
TAREAS CLAVES TIPOS DE CONOCIMIENTOS NIVELES Y ESTANDARES DE DESEMPEO
MNIMO O SUFICIENTE BUENO SOBRESALIENTE
TAREA 2
Reducir un sistema de fuerzas paralelas a una fuerza nica localizada en un centro de fuerza.
Factual
Conceptual
Procedimental
Demostrando destreza para calcular la fuerza resultante por mtodos geomtricos y analticos. Localizando el punto donde acta la fuerza resultante, por mtodos geomtricos y analticos.
Identificando los valores mnimo y mximo de las fuerzas en distintos ejemplos distribuciones de fuerzas Demostrando destreza para calcular la fuerza resultante por mtodos geomtricos y analticos. Localizando el punto donde acta la fuerza resultante, por mtodos geomtricos y analticos.
Identificando los valores mnimo y mximo de las fuerzas en distintos ejemplos distribuciones de fuerzas. Demostrando destreza para calcular la fuerza resultante por mtodos geomtricos y analticos. Localizando el punto donde acta la fuerza resultante, por mtodos geomtricos y analticos. Aplicando los conceptos de fuerza resultante y centro de fuerza al equilibrio de slidos para una distribucin uniforme de fuerzas. Aplicando los conceptos de fuerza resultante y centro de fuerza al equilibrio de slidos para una distribucin lineal de fuerzas.
32 3.4 RBRICA
DESCRIPCIN
Una rbrica describe los referentes que permiten diferenciar los grados de pericia o maestra de una persona en una situacin de actuacin. Es un descriptor cualitativo que establece la naturaleza de un desempeo, apoyndose sobre perspectivas de criterio ms que de referencia a norma (Simon y Forgett-Giroux, 2001). Utiliza los criterios con una escala para caracterizar los niveles de ejecucin o efectividad, a fin de juzgar la calidad de la tarea realizada por los estudiantes. Es perfectible, ya que se puede validar en la prctica con multiplicidad de evidencias.
PROPSITO
Determinar el nivel de dominio (fortalezas o limitaciones) que demuestra el estudiante en determinadas situaciones de actuacin o desempeo. Permite apreciar y/o evaluar competencias en situaciones de desempeo de diferentes tipos y diversos contextos; usando distinciones que han sido consensuadas previamente.
3.4.1 RECOMENDACIONES GENERALES PARA EL USO DE LA RBRICA
La construccin de una rbrica depende del tipo de situacin de actuacin o de desempeo, de acuerdo a un conjunto de condiciones de realizacin y de los niveles de experticia, correspondientes a una progresin que va de lo ms simple a lo ms complejo. A modo de elaborar una rbrica, se proponen los siguientes pasos:
1. Definir la situacin de actuacin o tarea clave, a travs de la cual, se observar el desempeo de los estudiantes. 2. Formular las condiciones de realizacin que determinan y describen las caractersticas de ejecucin y la calidad del desempeo en la tarea clave o situacin de actuacin seleccionada previamente. 3. Chequear que las condiciones de realizacin contengan indicadores que permitan obtener evidencias; y no juicios. 4. Organizar las descripciones en una tabla, estableciendo en trminos de dominio, una direccionalidad de menor a mayor maestra. 5. Revisar que cada celdilla contenga las acciones o productos que se ajustan, en forma ms apropiada, a la conducta o producto, indicios o seales, que permitan verificar si el alumno ha satisfecho un criterio vinculado a un determinado nivel de maestra o pericia. 6. Decidir un puntaje total para la tarea; considerando variaciones dentro de la escala y para cada criterio. El uso de la escala implica puntuar, interpretar y juzgar. La interpretacin, por su parte, consiste en localizar la columna que mejor describe el nivel de dominio de la destreza. El juicio, finalmente, corresponde a comparar el nivel de rendimiento observado con un estndar predeterminado. 7. Asignar los criterios especficos de calificacin de cada categora principal, en el paso 5. 8. Validar los criterios de calificacin de cada categora, a travs del juicio de expertos. 9. Distribuir la rbrica a los alumnos cuando les explique la tarea que ser evaluada.
33
3.4.2 EJEMPLO DE RBRICA
Rbrica de Energa Elctrica
Aporte del: Council of Chief State School Officers (CCSSO/SCASS)
TAREA: Los estudiantes llevarn a cabo un experimento para observar cmo diferentes tipos de cable conducen calor cuando se les aplica voltaje. Los estudiantes usarn los resultados de sus experimentos para considerar cmo el calibre y tipo de cable, afectan la cantidad de calor emitida. Luego, usarn lo aprendido en el experimento para resolver una situacin o problema prctico.
DESCRIPICIN DE LA PRUEBA: Una de las variables que cambian, en este evento, es el calibre asociado a diferentes dimetros de cable. A medida que el nmero de calibre del cable aumenta, el tamao o dimetro disminuye. As, un cable de calibre 32 tiene un dimetro mayor que uno calibre 36. El dimetro y la seccin de rea afectan, entonces, la capacidad del cable para conducir o restringir el paso de corriente y calor.
PREGUNTAS:
1. Explique los resultados de su experimento. Incluya, en su respuesta, una discusin de cmo el calibre y tipo de cable afectan la cantidad de calor que se transmite. 2. Cul de los cables usara para reparar la brecha en los cables del calentador? Asegrese de justificar su respuesta usando los datos recogidos.
RBRICA DE PUNTAJE CRITERIO A:
1) (Pregunta 1 o 2) el estudiante describe como el cable de cobre calibre 32 conduce ms calor o tiene el dimetro menor, o 2) El estudiante describe como el cable calibre 32 de cobre, nquel- cromo, o acero conducen menos calor o que tienen un dimetro mayor que el calibre 36 de cobre, o 3) El estudiante describe como a medida que el calibre aumenta, el dimetro del cable disminuye o si el calibre del cable disminuye, el dimetro aumenta; o 4) el estudiante describe como la conduccin de calor aumenta si el calibre aumenta o como disminuye si el calibre del cable disminuye. CRITERIO B:
1) (Pregunta 1 o 2) el estudiante describe como un cable conduce ms calor que otro debido al tipo de material (cobre o nquel- cromo), evidenciando una mayor resistencia al flujo de corriente; o 2) El estudiante describe como uno de los cables conduce menos calor que otro debido al tipo de material (cobre o acero), evidenciando una menor resistencia al flujo de corriente o no conduciendo bien el calor, o 3) El estudiante describe como la masa o densidad de un material afecta la conductividad o resistencia de un cable.
34 CRITERIO C:
1) (Pregunta 1 o 2) el estudiante describe como un cable irradia ms calor a medida que el enrojecimiento o brillo del mismo aumenta, o 2) El estudiante describe como un cable que tiene ms resistencia al flujo de corriente se siente ms tibio o que el cable no se calienta como otro de menor resistencia al flujo de corriente, o 3) El estudiante describe como un cable de mayor calibre, pasa a travs del crayn ms rpido que un cable de calibre menor.
CRITERIO D:
1) (Pregunta 2) el estudiante escoge un tipo de cable cuyo calibre es consistente con sus resultados experimentales o discusin de tipos de calibre. Ejemplo: cable de nquel-cromo. Esto es suficientemente largo siempre que se haya resaltado el tiempo ms corto en la tabla de datos, o 2) El estudiante describe una forma de arreglar la falla en el calentador que implique un cambio de densidad, dimetro, largo o temperatura del cable. Ejemplo: Si usted re-empaca el cable roto con uno de cobre calibre 36 y uno de nquel-cromo calibre 32, entonces cuando uno se rompa el otro mantendr el paso de calor, o reemplace el cable roto con uno de nquel cromo.
ASIGNACIN DE PUNTAJES: CRITERIOS 0 1 2 3 4 A El estudiante no identifica ninguna caracterstica de los tipos de calibre de los cables. El estudiante no identifica cmo el calibre del cable se relaciona con el dimetro y cmo ello afecta la transmisin de calor. El estudiante no identifica cmo el calibre del cable se relaciona con el dimetro y cmo ello afecta la transmisin de calor. El estudiante identifica que el calibre del cable se relaciona con el dimetro y cmo ello afecta la transmisin de calor. El estudiante relaciona que el calibre del cable con el dimetro y cmo ello afecta la transmisin de calor. B El estudiante no compara tipos de cable ni densidad. El estudiante no identifica cmo el tipo de material afecta la transmisin de calor. El estudiante no identifica cmo el tipo de material afecta la transmisin de calor. El estudiante identifica que el tipo de material la transmisin de calor; pero no lo relaciona con el calibre. El estudiante identifica que el tipo de material y el calibre afectan la transmisin de calor. C El estudiante no utiliza las propiedades fsicas de los tipos de cable para explicar la transmisin de calor. El estudiante no utiliza las cualidades fsicas de los tipos de cable para explicar el efecto de transmisin de calor sobre el crayn. El estudiante describe el efecto del paso del calor en los diferentes tipos de cable a travs del crayn. El estudiante utiliza las cualidades fsicas de los cables para describir y comparar la transmisin de calor en cada uno de ellos. El estudiante utiliza las cualidades fsicas de los cables para describir y comparar la transmisin de calor en cada uno de ellos. D No identifica el El estudiante La eleccin del La eleccin del La eleccin del 35 tipo de cable que transmite mejor el calor. logra identificar cul tipo de cable transmite mejor el calor. cable est fundada en los datos. cable est fundada en los datos. cable est fundada en los datos.
Adicionalmente al anlisis de las rbricas o niveles de desempeo, la tabla de especificaciones debe posibilitar el diseo de un instrumento -o de procedimientos de medicin-; que permitan tomar, coherentemente, decisiones claves para satisfacer sus caractersticas tcnicas bsicas. Usando como base una tabla de especificaciones -como la que se presenta a continuacin-, se abordan decisiones claves compatibles con la satisfaccin de las caractersticas bsicas de la medicin referida a criterio.
TABLA DE ESPECIFICACIONES
TAREAS CLAVES CONDICIONES DE REALIZACIN (Criterio Evaluacin) NIVEL O ESTNDAR DE DESEMPEO CATEGORIA SUB ESCALAS TIPO Y N DE ITEMES PUNTAJES
Las tareas claves comprenden las situaciones de desempeos que van a ser evaluadas con el instrumento. Todas ellas, sustentan una mirada holstica de los resultados del instrumento. Generalmente, se espera que un estudiante que tiene un desempeo mnimamente aceptable sea, al menos, exitoso satisfaciendo el estndar mnimo de desempeo en cada una de las situaciones. En resumen, permiten determinar el contenido del instrumento.
Cada tarea clave contiene en sus condiciones de realizacin (criterio de desempeo) distintos tipos de conocimientos (declarativos, procedimentales y valricos sociales). Las condiciones de realizacin contienen los indicadores que deberan ser usados para obtener evidencias sobre cada una de los tipos de conocimientos. Los indicadores establecen el tipo de distinciones que deben ser utilizados para obtener datos que sustenten una informacin evaluativa pertinente.
Los niveles de desempeo corresponden a los grados de experticia o maestra que se deben medir en cada situacin de desempeo. Dependiendo de los niveles de logro que se esperan medir con el instrumento, se explicitan, para cada nivel de maestra, el nmero de indicadores del criterio con sus condiciones cualitativas, las cuales, debieran estar presentes para contar con una informacin evaluativa til para la toma de decisiones.
Las categoras corresponden a los dominios o tipos de conocimientos. Una categora se refiere a un elemento diferente: cognitivo, afectivo emocional, psicomotor y afectivo emocional. Estas distinciones permiten agrupar indicadores de la misma clase, que pueden ser observados de una manera similar. Por ejemplo, los conocimientos factuales y conceptuales se pueden observar de una manera similar; en cambio, los indicadores que recogen disposiciones, deben hacerlo de una manera distinta a lo factual. En el diseo del instrumento, deben quedar explicitados los tipos de indicadores de medicin que se deben obtener y sus pesos relativos.
36 Las sub-escalas corresponden a agrupaciones de observaciones, de ciertos tipos, que comparten una misma escala de medicin. Las escalas de medicin se refieren a las reglas lgicas, con las cuales, se restablecen las distinciones de la realidad. Ellas pueden ser nominales (si solo indican presencia o ausencia del atributo); ordinales (si establecen una relacin de orden entre los atributos), de intervalo (si establecen relaciones de orden con una diferencia constante), y de razn (si establecen relaciones de proporcionalidad respecto a un neutro). Las sub-escalas proporcionarn informacin especfica, basada en la interpretacin de una combinacin parcial de observaciones del instrumento. Con las sub-escalas, no slo se revisan los pesos relativos en el instrumento; sino que tambin se hace una primera revisin analtica de lo que se pretende medir. Ello ayuda a tener una primera idea de la extensin del instrumento, basada en consideraciones respecto a los diferentes tipos de dominios de medicin. Por ejemplo, una variedad de escalas se presentan en el cuestionario sobre evaluacin realizado en el CEDETEC, y que se incluye en el anexo 1.
Los tipos y nmeros de tems permiten determinar si las observaciones pueden ser determinadas mediante preguntas de respuestas abiertas o cerradas. Si en las preguntas cerradas los temes son de verdadero o falso, de seleccin mltiple, pareadas o de completacin; o bien, si son escalas dicotmicas (presencia o ausencia), ordinales como una escala likert o un diferencial semntico. Estos tipos de tems, permiten determinar la extensin del test y velarn por la confiabilidad del instrumento o procedimientos de medicin, que deberan utilizarse para obtener informacin de las diferentes sub-escalas y escalas. En el caso de las preguntas abiertas, junto con su formulacin, se analiza su pauta de correccin y significativas de las puntuaciones. Junto con velar por aspectos de pertinencia, confiabilidad y validez de los tems; se velar por sus posibles restricciones prcticas.
La revisin de los puntajes parciales y totales, con sus respectivas interpretaciones, permiten determinar la extensin del instrumento y sus caractersticas tcnicas. En esta fase, se toma, en definitiva, las decisiones sobre el muestreo de los temes que conformarn el instrumento, su extensin y requerimientos para su utilidad y credibilidad, de acuerdo al propsito de medicin.
En suma, las tablas de especificaciones son una til y prctica herramienta; tanto para analizar un instrumento ya elaborado, como para construir un instrumento de acuerdo a un propsito de medicin. Las decisiones tomadas o por tomar, deben satisfacer los seis criterios presentados en esta seccin, para contar con instrumentos o formas de medicin que permitan, efectivamente, tomar buenas decisiones con mrgenes de seguridad controlados. Las tablas de especificaciones, tambin permiten decidir de acuerdo con el propsito de medicin el o los tipos de instrumentos que de mejora manera podran satisfacer los requerimientos de medicin, para una determinada informacin evaluativa. Cada forma de medicin o instrumento tiene ventajas y limitaciones. En la prxima seccin, se entrega una breve recopilacin de ventajas y limitaciones que presentan algunos instrumentos y formas de medicin.
EJEMPLO DE TABLA DE ESPECIFICACIONES: A continuacin, se presenta parte del trabajo construido por Ossandn 7 , para ejemplificar lo anterior.
TIPO DE EVALUACIN: SUMATIVA PROPSITO EVALUATIVO: Evaluar la capacidad de anlisis y de elaborar estrategias que le permitan a los/las estudiantes disear y construir un prototipo que flote en equilibrio estable aplicando el mtodo
7 Profesora Barbara Ossandn perteneciente al Dpto. de Fsica de la USACH elaborado para el Modulo V del DIPLOMADO DISEO CURRICULAR BASADO EN COMPETENCIAS, CEDETEC, USACH. 37 cientfico y el pensamiento hipottico deductivo. En particular, aplicarn las leyes de Newton, el principio de Arqumedes y las condiciones de estabilidad para cuerpos parcialmente sumergidos que entrega la distancia metacntrica junto con su capacidad para trabajar en equipo. La evaluacin sumativa se realizar a travs de cinco instrumentos: 1. PUZZLE para evaluar principalmente conocimiento factual relacionado con estabilidad de cuerpos parcialmente sumergidos en fluidos. 2. PRUEBA ESCRITA para evaluar conocimiento conceptual y procedimental 3. PROTOTIPO para evaluar conocimiento conceptual y procedimental 4. AUTOEVALUACION para que el estudiante monitoree su propio aprendizaje 5. COEVALUACION para que el estudiante aprenda a efectuar juicios fundamentados acerca del desempeo de sus pares.
38
A continuacin, se presentan con sus pautas de correccin.
Tareas claves Nivel o Estndar de desempeo Categoras Pauta de correccin Puntajes I PUZZLE
Resolver primero individualmente este puzzle y para ello dispondr de 15 minutos y luego entregar su aporte al grupo de trabajo (conformado por un mximo de 3 estudiantes) para comparar y/o completar el puzzle analizando sus respuestas. Debe entregar slo el puzzle del trabajo grupal indicando los nombres y apellidos de cada uno.
HORIZONTALES 1. Punto importante para conocer la estabilidad de cuerpos parcialmente sumergidos. 2. Cuerpo al interior de un fluido 3. En las playas se usan para delimitar zonas 4. Regala 5. Los hay aerostticos, de ltex, entre otros 6. Se refiere a la fuerza vertical que un fluido ejerce sobre un cuerpo sumergido o parcialmente sumergido. 7. En la luna es menor 8. Fue importante para la hidrosttica 9. Algunas flotan, otras estn en el espacio 10. Dicen que es la causa del movimiento acelerado. 11. Para que se d esta condicin, la suma de las fuerzas que actan sobre el cuerpo debe ser cero y la distancia metacntrica mayor que cero. 12. Se refiere solo a una parte VERTICALES 13. Al menor torque pasa a estable 14. Pronombre 15. Famoso to 16. Punto de aplicacin de la fuerza de empuje 17. Nota musical 18. Completamente 19. La pronunci Arqumedes 20. Condicin bsica de los barcos. 21. Una pelota de playa tiene este tipo de equilibrio
FraseFinal: (Redacteunao dos frases querelacionetodos los conceptos del puzzle).
(Logrado con Excelencia) Las del nivel Bien Logrado y la frese final que une los conceptos de estabilidad del puzzle (Nivel Bien Logrado) El puzzle completo
Dominio Cognitivo Y Metacognitivo Afectivo- emocional
Valrico - social
Categoras Mide conocimiento factual de los siguientes conceptos: - Empuje - Fuerza - Metacentro - Centro de Empuje - Equilibrio Estable, Inestable, indiferente. - Principio de Arqumedes Mide capacidad para trabajar en grupo,respetar la opinin de otros, y hacer respetar su propia opinin (autoestima).
La resolucin del puzzle indicado y la/s frase/s debe/n incluir al menos: el principio de Arqumedes, empuje, peso, metacentro y condiciones para equilibrio estable, indiferente e inestable 13 i 15 n 14 s 16 17 18 1 m e t a c m t 2 s u m e r g i d o t n t 3 b o y a t 4 d a 19 b r l e 5 g l o b o 6 e m p u j e e - e r d n e 7 g r a v e d a d t k 20 - e 21 a e e i 8 a r q u i m e d e s 9 n a v e u p d i 10 f u e r z a i l j f i 11 e s t a b l e b r r e 12 p a r c i a l m e n t e n o t e
-------
39
Tareas claves Nivel o Estndar de desempeo Categoras Pauta de correccin Puntajes II PRUEBA ESCRITA
Una pruebaescritarespondida individualmente por los/las estudiantes en dos horas. Consta de dos partes, la primera son diez preguntas cerradas de seleccin mltiple para evaluar conocimiento conceptual referido a densidad, empuje, presin esttica, unidades de medidas de presin, ley fundamental de la hidrosttica, principio de Arqumedes y condiciones de estabilidad de cuerpos parcialmente sumergidos y la segunda parte considera la resolucin de dos problemas para evaluar conocimiento procedimental referido a la forma de medir la densidad absoluta de un lquido experimentalmente y conocer la estabilidad de un cuerpo parcialmente sumergido conocida su masa y su volumen sumergido. Instrucciones: La prueba se responde individualmente y tiene una duracin de una hora y cuarenta y cinco minutos. Consta de dos partes: la primera, son diez preguntas cerradas, cada una de ellas se le asigna un puntaje de 0.24 puntos, corresponde al 40% de la nota final y no se eliminan las incorrectas; la segunda parte consta de dos problemas, a cada uno se le asigna un puntaje de 1.8 puntos y corresponde al 60% de la prueba. Se debe responder siguiendo una pauta que se le entrega al estudiante en la misma prueba y dice as: Esta es una prueba experimental escrita y consta de dos situaciones - problemas por tanto, sus respuestas deben contemplar los siguientes aspectos: Objetivos Hiptesis Fundamentos tericos Materiales, Esquema o Montaje Experimental Procedimiento experimental (explicacin de los pasos a seguir) Conclusiones (Anlisis de datos, comparacin con hiptesis propuesta, valor esperado, fuentes de error).
. (Logrado con Excelencia) Todas (TOTAL Puntaje: Entre 5.48 y 7.0)
(Nivel Bien Logrado) Mnimo y 1) 6) 7) 8). ( Puntaje: Entre 4.52 y 5.24) (Nivel Mnimo Logrado) Parte A. Correctas 3) y 10) (0.24 puntos c/u) Parte B. Problema I y II (hasta 1.4 puntos c/u) (Total Min: Entre 4.0 y 4.28 puntos ) DOMINIO
Cognitivo Y Metacognitivo
Mide conocimiento conceptual relacionado con.: Densidad Empuje Unidades de presin Presin esttica Ley Fundamental de la hidrosttica Principio de Arqumedes Estabilidad de cuerpos parcialmente sumergidos Metacentro Centro de Empuje Mide conocimiento conceptual y procedimental relacionados con: Densidad Estabilidad Diez preguntas cerradas Y Dos preguntas abiertas
Parte A
Parte B La pautadecorreccinde la ParteB de la PruebaEscrita es la siguiente: Problema I: Objetivo: Describir un mtodo experimental para medir la densidad absoluta de un lquido. Hiptesis: La densidad es proporcional a la masa e inversamente proporcional a su volumen siempre que no cambie su temperatura Fundamentos tericos Materiales, Esquema o Montaje Experimental Procedimiento experimental (explicacin de los pasos a seguir) Conclusiones (Anlisis de datos, comparacin con hiptesis propuesta, valor esperado, fuentes de error).
Problema II: Objetivos Hiptesis Fundamentos tericos Materiales, Esquema o Montaje Experimental Procedimiento experimental (explicacin de los pasos a seguir) Conclusiones (Anlisis de datos, comparacin con hiptesis propuesta, valor esperado, fuentes de error).
1 2 3 4 5 6 7 8 9 10 a b c d e
Parte A. 0.24 puntos cada pregunta cerrada Total parte A: 2.4
Parte B 1.8 puntos cada problema
Total Parte B 3.6 puntos
Punto de base Total 7.0
40
Tareas claves Nivel o Estndar de desempeo Categoras Pauta de correccin Puntajes
III
PROTOTIPO El prototipoconstruido en grupo para evaluar el saber hacer se trata de un conocimiento procedimental que mide habilidades manuales y psicomotoras, creatividad, capacidad para aplicar conocimiento relacionado con leyes de Newton, Principio de Arqumedes, condiciones de estabilidad y disposicin para trabajar en grupo. Instrucciones: Usted debe conformar un grupo de trabajo a su eleccin (mximo tres estudiantes) y en un plazo de quince das debern construir un prototipo de un objeto de su eleccin que se sumerja en un lquido (tambin de su eleccin) y se mantenga en equilibrio estable en l.
Diseando en grupo un objeto parcialmente sumergido en un lquido de su eleccin. - Construyendo un prototipo que contemple el objeto escogido, la lnea de flotacin, el eje de flotacin y el centro de gravedad del objeto. - Calculando el centroide del volumen sumergido. - Indicando en el prototipo el centroide calculado. - Girando el objeto para encontrar su metacentro. - Calculando a distancia metacntrica en el prototipo. - Calculando a distancia metacntrica a travs de la condicin de estabilidad conocido el volumen sumergido, el momento de inercia de rea, la distancia entre el centro de gravedad y el centroide de dicho volumen. - Comparando los valores de las distancias metacntricas obtenidas a travs del prototipo y la condicin de estabilidad que indica que la distancia metacntrica debe ser mayor que cero. - Comprobando en el lquido escogido la estabilidad del objeto. - Analizando la condicin de equilibrio estable a la luz de los resultados. - Analizando posibles fuentes de error. - Presentando oralmente el prototipo a sus compaeros/as. - Proponiendo optimizaciones al diseo de l prototipo a la luz de lo observado. - Comparando con los prototipos de otros grupos. (Logrado con Excelencia) Todas
(Nivel Bien Logrado) Mnimo y g) h) j)
(Nivel Mnimo Logrado) a) b) c) d) e) f) i) l)
DOMINIO
Cognitivo Y Metacognitivo
Afectivo- emocional
Valrico - social
CATEGORIAS Capacidad para integrar y relacionar los conocimientos estratgicos y procedimentalesrelacionados con la estabilidad de los cuerpos parcialmente sumergidos., tales como: - 2 ley de Newton para cuerpos en equilibrio. - Principio de Arqumedes. - Condicin de estabilidad. - Procedimiento para calcular la distancia metacntrica.
Capacidad psicomotorapara construir el prototipo.
Capacidad para trabajar en equipoen el saber hacer.
dema estndares de desempeo
-------
41 Tareas claves Nivel o Estndar de desempeo Categoras Pauta de correccin Puntajes
IVAUTO EVALUACION Una autoevaluacinpara que cada estudiante se evale a si misma/o. Evale su propio desempeo y desarrollo de competencias a travs de una pauta que se seala a continuacin y contempla aspectos relacionados con:
su preocupacin y disposicin hacia la unidad ( a) b) c) f) i) ) la disposicin para trabajar en grupo ( j) k) l) m) ) desarrollo de capacidades intelectuales cognitivas ( d) e) i) g) ) desarrollo de capacidades psicomotoras ( g) h) )
Instrucciones: El / la estudiante debe responder estas aseveraciones, marcando con un SI o NO en cada una de ellas.
a. Mantuve ordenados y al da mis apuntes y portafolio en relacin a los temas tratados b. La asistencia a las clases y/o experiencias realizadas en esta unidad fue superior al 80 %. c. Me caracteric por llegar puntualmente a clase y/o laboratorio. d. Me preocup de revisar Pruebas y Controles para aprender del error e. Desarroll mi capacidad para elaborar estrategias intelectuales para abordar los desafos propuestos f. Me preocup de buscar informacin adicional respecto de los temas involucrados. g. Particip activamente en las actividades experimentales. h. Desarroll la motricidad fina, psicomotora para construir el prototipo solicitado i. Me esforc al mximo de mis capacidades. j. La disposicin para trabajar en grupo existi siempre. k. Mi participacin en grupo aport en relacin a los conocimientos factuales y conceptuales de la fsica como son la densidad, presin, fuerza de empuje, equilibrio y estabilidad. l. Mi participacin en grupo aport en relacin a los conocimientos procedimentales de la fsica como son la medicin de la densidad, y las condiciones de estabilidad de un cuerpo que flota.
(Logrado con Excelencia) Todas
(Nivel Bien Logrado) Mnimo y a) e) g)
(Nivel Mnimo Logrado)
b) c) d) i) j) k) m)
DOMINIO
Metacognitivo
Afectivo- emocional
Valrico - social
CATEGORIA Mide autopercepcin del aprendizaje de conocimiento factual, conceptual y procedimental, conocimiento de s mismo, capacidad de aprender del error, capacidad para trabajar y aportar en un grupo.
dema estndares de desempeo
-------
42
Tareas claves Nivel o Estndar de desempeo Categoras Pauta de correccin Puntajes VCO EVALUACION
Una coevaluacincon el objeto que el grupo de trabajo evala la participacin y el desempeo de cada integrante de su grupo de trabajo, en base a la pauta que se indica a continuacin y contempla aspectos relacionados con: El aporte a la cohesin del grupo de trabajo ( a) c) e) i) ) El aporte de cada uno al desarrollo de competencias en el dominio cognitivo ( b) d) f) ) El aporte de cada uno para el desarrollo de competencias procedimentales ( b) h) j) ) El aporte de cada uno en aspectos ticos ( c) g) i) k) )
a. Asisti regularmente al trabajo en equipo. b. Realiz aportes significativos al grupo. c. Aport en relacin a la cohesin del grupo respetando y valorando la opinin y participacin de otros. d. Demostr capacidad para trabajar solo/a. e. Demostr disposicin para trabajar en grupo. f. Se destac por sus conocimientos de la fsica involucrada en los temas propuestos. g. Se destac por sus valores ticos. h. Se destac por su creatividad. i. Se destac por su liderazgo positivo. j. Se destac por su capacidad psicomotora. k. Cumplimiento del compromiso adquirido. (Logrado con Excelencia) Todas
(Nivel Bien Logrado) Mnimo y b) f) j)
(Nivel Mnimo Logrado) a) c) e) g) k)
DOMINIO Metacognitivo
Afectivo- emocional
Valrico - social
CATEGORIA
Mide capacidad para valorar el trabajo de otrospara el propio aprendizaje. La disposicin para trabajar en equipo, creatividad, liderazgo, valores y compromiso con el grupo.
dem a estndares de desempeo
-----
5) Desempeo de la situacin final del estudiante de acuerdo a las tareas claves y sus estndares de desempeo En suma, evaluado la/el estudiante mediante estos cinco instrumentos en la unidad: Estabilidad de Cuerpos Parcialmente Sumergidos en un Fluido, se puede concluir que el/ella obtuvo un desempeo:
INSUFICIENTE: Si en los cinco instrumentos no logra el estndar mnimo de desempeo APRENDIZ / NOVICIO: Si en la PRUEBA ESCRITA, en el PROTOTIPO, en la AUTOEVALUACIN y en la COEVALUACIN obtiene el estndar mnimo de desempeo. PERITO: Si en la PRUEBA ESCRITA, en el PROTOTIPO, en la AUTOEVALUACIN y en la COEVALUACIN obtiene el estndar BIEN LOGRADO y en el PUZZLE el estndar mnimo de desempeo.
DE EXCELENCIA: Si en la PRUEBA ESCRITA, en el PROTOTIPO, en la AUTOEVALUACIN y en la COEVALUACIN obtiene el estndar EXCELENCIA y en el PUZZLE el estndar BIEN LOGRADO o LOGRADO CON EXCELENCIA.
43 4 TIPOS DE INSTRUMENTOS.
Las preguntas evaluativas, en este proceso, corresponden a: cmo evaluar?, cmo seleccionar y disear instrumentos que sean pertinentes a los objetivos de aprendizaje, y que puedan dar cuenta de su adquisicin?. Dada la condicin de extensin que se ha indicado para el requerimiento de este compendio, a continuacin se presentan algunos procedimientos e instrumentos que constituyen algunos ejemplos de cmo abordar este etapa en el proceso evaluativo.
En este punto, se hace necesario distinguir entre procedimiento e instrumento de evaluacin. Mientras el procedimiento indica el mtodo o la forma en que se obtiene la informacin para evaluar; el instrumento de evaluacin es el recurso, el medio concreto que ser utilizado para ello. Por lo tanto, el instrumento es parte del procedimiento. Para facilitar su comprensin, los instrumentos han sido organizados de acuerdo a las tres categoras complementarias siguientes: a) comunicacin escrita; b) comunicacin oral; y, c) situaciones autnticas.
4.1 Comunicacin Escrita: Cuestionarios.
Propsito: Instrumento de investigacin descriptiva o prueba escrita acadmica, destinada a la recoleccin de datos e informacin primarios focalizados relativos a un gran nmero de personas en diversos contextos.
Descripcin: Instrumentos de comunicacin escritos y masivos -es decir, dirigidos a un gran nmero de personas-, consistentes en un dilogo preestablecido mediante preguntas estructuradas, tanto en su secuencia como en su verbalizacin.
Su formato considera el grado de libertad de los encuestados al contestar las preguntas. Estas pueden ser de dos tipos: a) Abiertas, en las cuales el estudiante o encuestado intenta registrar la respuesta de la mejor forma posible, por iniciativa propia o mediante clasificaciones precodificadas; y, b) Cerradas, en donde se presentan las respuestas a ser consideradas por el estudiante o encuestado, quien solo debe seleccionar y marcar una opcin o alternativa.
Los cuestionarios de respuesta abierta estn orientados a un conocimiento procedimental, que compromete demostrar un saber hacer. En vez de focalizarse en una gran cantidad de tareas o situaciones presente en los test de respuestas cerradas, en este tipo de instrumentos el foco est en un limitado nmero de tareas y de alta complejidad para el estudiante. Con las preguntas de respuestas abiertas, el estudiante debe producir un nuevo conocimiento o expresar sus propias percepciones, creencias u opiniones; sin ninguna clave externa. La mayor desventaja de este tipo de cuestionario es la seleccin de las preguntas claves y su pauta de correccin; de modo que se puedan cautelar las caractersticas tcnicas bsicas de la medicin.
Los instrumentos de respuestas cerradas son muy apropiados para medir conocimientos declarativos, reproductivos y situaciones de anlisis; as como para determinar opiniones, juicios de apreciacin, actitudes y disposiciones de las personas. Para las mediciones de desempeo y, generalmente, cognitivas, las preguntas cerradas pueden ser dicotmicas (dos opciones: verdaderas o falsas), de seleccin mltiple (generalmente, de cinco opciones) y de trminos pareados. Entre las principales ventajas de los tems de dos opciones, estn que permiten cubrir una gran cantidad del contenido en poco tiempo; en tanto, entre sus principales limitaciones estn 44 aquellos que se refieren a la alta probabilidad de error asociada al azar en la respuesta correcta (50%).
Este ltimo aspecto, se reduce enormemente al considerar los tems de seleccin mltiple. En ellos, los distractores incluyen respuestas plausibles por parte de los estudiantes, y estn vinculados a posibles errores que ellos cometen en sus aprendizajes, o que corresponden a carencias respecto al del nivel de habilidad requerido. La gran dificultad de este tipo de tems es que el estudiante est obligado a reconocer la respuesta correcta, y a no generarla.
Por su parte, los tems de trminos pareados requieren que el estudiante relacione dos palabras o frases de una lista, respecto a las existentes en otra. La entrada de la primera lista corresponde a las premisas; en tanto que, la descrita en la segunda lista, corresponde a las respuestas. Entre las ventajas de estos tipos de tems est que se puede cubrir una gran cantidad de contenido, sin tomar mucho espacio; mientras que, su principal desventaja es que tiende a fortalecer un aprendizaje memorstico. Si bien tambin ocupan escalas dicotmicas, que permiten distinguir entre presencia o ausencia de determinados atributos, generalmente, se utilizan escalas ordinales, que permiten determinar jerarquas en los grados de presencia de ciertos atributos, de los juicios evaluativos y apreciaciones valorativas. Los cuestionarios ms usados en este tipo de medicin corresponden a inventarios, cuestionarios de opiniones, lista de chequeos o cotejos.
Ventajas: - Buen instrumento cuando el universo es amplio. - Permite recolectar una gran cantidad de datos o informacin acerca de un estudiante o entrevistado individual, tales como: a) profundidad y alcance de conocimiento; b) actitudes, intereses y opiniones; c) comportamientos: pasado, presente o pretendido; d) variables de clasificacin como medidas demogrficas y socioeconmicas de la edad, ingreso, ocupacin o lugar de residencia. - De gran versatilidad; ya que, permite su aplicacin en casi cualquier contexto, y son adaptables a los objetivos curriculares y/o de investigacin. - Su buen diseo es una excelente inversin; ya que, facilita establecer una clara relacin entre las expectativas de aprendizaje y los grados de dominios de los estudiantes.
Limitaciones:
- Poseen baja flexibilidad, al no contar con una variedad de tcnicas para el estudiante o encuestado. - Existe controversia por la cantidad de informacin que puede recolectar un cuestionario.
Recomendaciones:
- A modo de construir un cuestionario adecuado y pertinente, previamente se ha de: a) definir qu se va a medir; b) identificar la informacin evaluativa para tomar una buena decisin; c) elaborar una tabla de especificaciones concordante con el propsito de medicin; d) formular las preguntas o tems para obtener la informacin requerida; e) decidir sobre el orden y el esquema fsico del cuestionario; f) validar las preguntas con juicios de expertos; g) probar el cuestionario en una pequea muestra, a modo de prever omisiones o futuros problemas con el instrumento; y, h) corregir los problemas y someterlo nuevamente a prueba, en caso que sea necesario.
- Es importante considerar la disposicin que han de tener los estudiantes o encuestados, y el contexto, en el cual, son consultados. Las personas, por lo general, estn dispuestas a colaborar si el tema es de su inters o existe una identificacin positiva hacia l.
45
4.2 Comunicacin Oral.
Existen varias opciones para recoger, sistemticamente, informacin evaluativa comunicada u obtenida oralmente; tanto al inicio, desarrollo y al trmino del proceso formativo. Dependiendo del propsito de medicin, estas opciones pueden ser usadas en forma aislada o combinada. Entre las principales opciones, se encuentran: las entrevistas, grupos focales, exmenes orales y demostraciones. Cada una de ellas, permite responder a un propsito determinado, de acuerdo a sus caractersticas tcnicas.
4.2.1 Entrevistas.
Propsito: Instrumento de indagacin descriptiva, que permite obtener informacin focalizada mediante una pauta de preguntas que responde al propsito de medicin.
Descripcin: Tcnica que corresponde a personas individuales, consiste en una conversacin dirigida, concebida como un instrumento adecuado para obtener informacin cualitativa, individual y de un nmero limitado de sujetos.
Cuenta con un entrevistador, quin acta como instrumento. La conversacin tiene algn grado de libertad, para ser adecuada a las caractersticas del entrevistado. El orden preciso en que se desarrolla depende, en gran medida, de cmo se lleve a cabo la conversacin con cada persona.
La pauta de direccin puede ser abierta, en cuyo caso se trata de una entrevista exploratoria; o bien, estructurada, en cuyo caso hay temas obligatorios considerados en la conversacin. En particular, se definen como:
a) Entrevista exploratoria, cuando la informacin que se espera recoger es muy abierta ya que, no est definido el tema preciso que se intenta cubrir-. En estos casos el entrevistado ayuda a identificar los aspectos ms relevantes de la temtica o problema. b) Entrevista en profundidad, cuando el entrevistador tiene bien precisados los temas sobre los cuales le interesa recoger informacin. En este caso, el problema est previamente bien definido y el entrevistador sabe, exactamente, qu informacin es relevante para esa temtica.
Ventajas:
- Es altamente flexible y dinmica, ya que no posee una estructura rgida en su pauta de preguntas. - Los entrevistados son retratados y percibidos por el entrevistador con toda naturalidad y con mayor fidelidad; considerndose sus formas de expresarse, conocimientos, experiencias, etc. - Los entrevistados poseen el tiempo necesario para describir y explicar detalladamente sus conocimientos, ideas, creencias y opiniones. - El entrevistador puede ayudarse con recursos visuales, tales como tarjetas que contengan alternativas de respuestas.
Limitaciones:
- Como son una forma de conversacin, en ellas pueden producirse falsificaciones, exageraciones, engaos y distorsiones que caracterizan el intercambio verbal entre cualquier tipo de personas. 46 Para ello, el entrevistador debe ser crtico acerca de la validez fctica de las declaraciones de los entrevistados. - Las personas dicen y hacen cosas diferentes en distintas situaciones. Una entrevista es una situacin, y como tal, provoca una respuesta que puede variar de una a otra circunstancia. Muchas veces, la entrevista ceidamente controlada produce respuestas irreales. - Como los docentes o entrevistadores no observan a las personas en su vida cotidiana; no conocen el contexto necesario para comprender muchas de las perspectivas en las que estn interesados. El docente o entrevistador puede hacer supuestos sobre cosas que podran haber sido observadas, y algunos de esos supuestos ser incorrectos. - El docente o entrevistador tiene limitaciones de tiempo, que dependern de la conversacin y sus propsitos.
Recomendaciones:
- El docente o entrevistador debe establecer rapport (confianza) con el entrevistado. - Se deben establecer "controles cruzados" sobre las historias de los entrevistados, esto es, examinar la coherencia de los dichos en diferentes relatos del mismo acontecimiento o experiencia. - El docente o entrevistador debe cubrir todos los tpicos que espera que sean objeto de la conversacin y registrar en sus apuntes las opiniones del entrevistado (descartando informacin perifrica que, normalmente, las personas agregan al conversar). - El docente o entrevistador debe ser capaz de enrielar la conversacin; y al menos mostrar una mnima familiaridad con los temas de conversacin. - El docente o entrevistador debe permitir que el entrevistado hable, y prestarle atencin.
4.2.2 Grupos Focales
Propsito: Obtener informacin cualitativa, y no necesariamente consensuada, sobre temticas o problemticas mediante la promocin, expresin y anlisis de diferentes puntos de vista de un grupo de sujetos, quienes comparten caractersticas comunes y relevantes para el propsito de medicin.
Descripcin: Conversacin grupal o protagonizada por varios hablantes previamente seleccionados de acuerdo a algunos criterios; guiados por la presencia de un moderador, quien es el nico que conoce el tema de antemano. Se utiliza la tcnica de la entrevista, pero aplicada colectivamente a un grupo; con una misma pauta de preguntas para todos los diferentes grupos de participantes.
El moderador debe hacer que la conversacin pase a un nuevo tpico cuando observa que se cierra un crculo en la conversacin, es decir, cuando las opiniones empiezan a repetirse. Cuando esto se generaliza, se complet el habla de este grupo en el tema y se termina la sesin.
El tamao ideal del grupo es entre 8 a 10 participantes; y la conversacin tiene una duracin aproximada de una a dos horas.
Ventajas:
- Permite indagar o sondear aspectos ligados al tema de conversacin en forma distendida y espontnea. - Al estar las personas en un grupo, la opinin de los otros sirve para reforzar o moderar las opiniones propias; e identifica los puntos donde hay un gran grado de consenso (o no lo hay). As, 47 en un grupo puede darse al mismo tiempo una dinmica de convergencia de opiniones como de diferenciacin de opiniones. - Posee un bajo costo. - Los resultados son rpidos, por repeticin de la misma pauta de conversacin con diferentes grupos.
Limitaciones:
- Es mayor el riesgo de perder el control sobre la conversacin, al ser grupal. - Los datos son algunas veces difciles de analizar, por el contexto. - No todos los grupos pueden funcionar armnicamente. Debe evitarse el monopolio de la conversacin por parte de algunos, ya que todos deben participar. - No siempre todos los participantes son honestos frente a otras personas.
Recomendaciones:
- Se ha de establecer un ambiente cmodo para el grupo. Para ello, usualmente, se invita a los participantes a una reunin-almuerzo, a una atmsfera de caf, etc. - El moderador debe ser una persona respetuosa, amable (pero con firmeza), que fomente la participacin de los participantes.
4.2.3 Exmenes Orales
Propsito: Indagar oralmente sobre el grado de conocimiento que posee un estudiante, respecto a las expectativas de aprendizaje definidas previamente.
Descripcin: Los exmenes orales se focalizan en un conjunto de preguntas, generalmente, formuladas previamente. Ellas pretenden, para cada alumno, muestrear sobre las expectativas de aprendizaje, mediante descripciones, interpretaciones, explicaciones o fundamentaciones, entre otras, a travs de respuestas dadas por el estudiante a preguntas abiertas.
Ventajas:
- Requiere menor tiempo que lo escrito. - Permite explorar, con mayor profundidad, los conocimientos expresados. - La prueba se convierte en una conversacin en la que ambos interlocutores pueden aportar ideas e intercambiar pareceres. - Permite observar la sinceridad de la respuesta, y cun convencido se muestra de ello el alumno. - Permite evaluar otras dimensiones, tambin importantes, tales como: facilidad para expresarse, para sustentar o justificar respuestas, etc.
Limitaciones:
- Su preparacin y ejecucin requiere tiempo y dedicacin, cuando se trata de una situacin de examen. - No permite abarcar todos los contenidos del curso. - Validez a menudo cuestionable; ya que puede preguntrsele al alumno slo temas que no domina. 48 - Posible debilidad en su confiabilidad; puesto que los resultados pueden verse influidos por la percepcin subjetiva del docente. - Requiere de autocontrol para hablar en pblico; puede ser una situacin que cree ansiedad en el alumno.
Recomendaciones:
- Las preguntas deben ser claras, breves y con un lenguaje comprensible para el estudiante. - Evitar preguntas que conduzcan a respuestas estereotipadas. - Velar por un nmero de preguntas, que permitan verificar una validez de contenido defendible. - Generar un ambiente de tranquilidad con los alumnos, que favorezca una buena comunicacin con ellos.
4.3 Evaluacin Autntica.
La evaluacin debe centrarse, fundamentalmente, en recoger evidencias sobre el proceso de aprendizaje; sin constituir slo un fin en s mismo destinado a comprobar resultados. Por el contrario, debe transformarse en un medio que permita asegurar que las estrategias elegidas para aprender son las adecuadas; considerando propsitos formativos y disciplinarios que correspondan, respetando caractersticas propias de los estudiantes y promoviendo que el propio estudiante sea quien asuma la responsabilidad de aprender. Cuando se considera cmo determinar si un estudiante ha alcanzado el nivel deseado de dominio en una materia, tpico o rea del conocimiento; una de las primeras opciones es realizarle un examen, es decir, una evaluacin tradicional. Estas, en cualquiera de sus tipos, seleccin mltiple, verdadero/falso, respuestas cortas o ensayos, pueden ser usadas de manera exitosa, cuando se disean y administran, considerando las caractersticas tcnicas descritas en el captulo anterior. Sin embargo, existen otras formas alternativas de evaluacin para medir el progreso del estudiante; distinta a los exmenes tradicionales, correspondiente al enfoque de la Evaluacin Autntica. La evaluacin autntica se fundamenta en que existe un espectro mucho ms amplio de desempeos que el estudiante puede mostrar; y que se diferencia del conocimiento limitado que se evidencia con un examen estandarizado de respuestas cortas. Este espectro, ms amplio, debe incluir situaciones de aprendizaje de la vida real y problemas significativos de naturaleza compleja; que no se solucionan con respuestas sencillas seleccionadas de un men de escogencia mltiple, destacando la importancia de los proceso cognitivos que el estudiante va aponer en juego en el proceso de aprender. Asimismo, este enfoque concibe a la evaluacin como un proceso colaborativo y multidireccional, a travs del cual, los estudiantes se autoevalan, o son co- evaluados por sus pares, quienes le entregan informacin sobre sus logros. Este enfoque propone recopilar informacin sobre el desempeo de los estudiantes, basndose en distintas fuentes de evidencia que simulen roles y situaciones complejas que ocurren en el mundo real, y que ayudan a los estudiantes a ensayar las ambigedades complejas de la vida adulta y profesional. Ese tipo de evaluacin enfatiza la transferencia de habilidades a situaciones poco familiares, ms all de clases; y presenta un conjunto completo de expectativas relacionadas con una tarea, que se espera involucre en una serie de actividades significativas relacionadas con sta. 49 En este texto, slo se har referencia a la caracterizacin que se ha hecho respecto a las tareas de evaluacin autntica. Wiggins (1989), ha caracterizado las tareas de evaluacin autntica de la siguiente manera:
1. No se pide que se realice la tarea en un tiempo poco realista o artificial. 2. Ofrecen tareas o preguntas conocidas. 3. Requieren de algn tipo de colaboracin. 4. Son recurrentes, valen la pena de practicar y retomar. 5. Son esenciales, miden cosas importantes; y no buscan sorprender al alumno. 6. Son contextualizados, complejas, intelectualmente desafiantes. No miden conocimientos aislados. 7. Representan desafos para que el alumno profundice su comprensin. 8. Generan preguntas que los alumnos contestan a travs de la investigacin. 9. Promueven el inters y persistencia de los alumnos. 10. Incentivan el uso del pensamiento divergente y los riesgos (intelectuales). 11. Son factibles y seguras. 12. Son equitativas. No utilizan comparaciones injustas o que bajan la moral de los alumnos. 13. Pueden ser realizadas por todos los alumnos; algunos pueden requerir ms andamiaje que otros. 14. Entregan suficiente estructura y definicin. Las instrucciones son claras. 15. Entregan al alumno retroalimentacin, y le permiten revisar su trabajo. 16. Otorgan al alumno algn grado de eleccin sobre el producto final de su trabajo y el proceso. 17. Los criterios con que se evaluar la calidad del proceso y el producto, estn claramente definidos y son conocidos por los alumnos antes de comenzar la tarea. Idealmente, ha sido elaborada con algn grado de participacin de los alumnos. 18. Involucran algn elemento de auto- evaluacin. 19. La pauta de puntuacin es multifactica y fcil de aplicar.
4.3.1 Anecdotarios.
Propsito: Recopilar y registrar evidencias emergentes de acuerdo al propsito de medicin en su contexto natural. Descripcin: Es un instrumento que permite recoger actitudes y comportamientos diferentes y espontneos del alumno, durante un perodo de tiempo. Este registro resulta til como informacin cualitativa, al momento de integrar datos para emitir juicios de valor. Los datos recogidos pueden ayudar a encontrar la clave de un problema o las razones, por las cuales, un estudiante acta de determinada forma.
Ventajas:
- Identifica observaciones, datos e informacin emergentes del ambiente natural. - Recopila antecedentes y evidencias en un contexto autntico. - Su registro proporciona temporabilidad a los eventos o situaciones ocurridos.
Limitaciones:
- Depende de la focalizacin del docente o investigador; por lo que la confiabilidad y validez descansa en su experiencia. 50 - Sus registros no poseen una planificacin sistemtica previa.
Recomendaciones:
- Definir criterios para seleccionar la informacin susceptible de ser observada y registrada. - Resguardar la confiabilidad, validez y objetividad de las observaciones.
4.3.2 Autoevaluacin.
Propsito: Otorgar instancias para recoger y sistematizar datos e informacin sustantiva a partir de eventos, contextos, ideas, creencias y opiniones sobre la propia experiencia; a modo de contribuir a la metacognicin y asegurar un proceso de enseanza-aprendizaje de calidad. Puede ser efectuado por cualquier miembro de la comunidad universitaria (docentes, alumnos).
Descripcin: Proceso que implica una revisin global y sistemtica de todos los elementos y actividades fundamentales que conforman el desempeo de un docente o estudiante; permitiendo que quien lo realice tome conciencia de lo presentado, evaluando fortalezas y debilidades.
Para estudiantes y docentes, es til para que revisen su trabajo, reflexionen sobre lo aprendido, y establezcan cules son las reas en las que an les falta claridad y evaluar su progreso de modo de facilitar su protagonismo en su rol de estudiante o docente.
Ventajas: - Permite diagnosticar un evento o situacin, y evaluar internamente sus procesos y logros. - Supone la participacin activa y genera mayor compromiso de quien la realiza. - Permite conseguir coherencia y consenso entre lo realizado y lo que se proyecta. - Brinda informacin relevante para elaborar planes de mejoramiento en lo evaluado. - Incentiva transparencia en las tareas educativas al permitir reconocer y proyectar avances y dificultades. - Permite fundamentar los juicios de docentes y estudiantes. Limitaciones:
- Requiere de una actitud de apertura como punto inicial, que no siempre est presente. - No posee una duracin definida; ya que comprende tiempos personales en muchos casos.
Recomendaciones:
- Establecer criterios claros, para facilitar su comprensin y realizacin. - Para que la reflexin tenga significado, se necesita de prctica. - Utilizar algunas preguntas como guas, a modo de incentivar su realizacin. Interrogantes como: qu aprend hoy?, qu hice bien?, en qu tengo confusin?, en qu necesito ayuda?, sobre qu quiero saber ms?, cul ser mi prximo trabajo?; pueden ser utilizadas tanto por docentes como por alumnos. - La autoevaluacin puede tomar diversas formas, que incluyen: discusiones con la participacin de otros actores en pequeos grupos; cuadernos o diarios de reflexin; autoevaluaciones semanales; listas de chequeo e inventarios de autoevaluacin; entrevistas maestroestudiante, 51 consistentes en reuniones individuales entre ambos a modo de guiar el proceso de enseanza- aprendizaje. 4.3.3 Simulaciones.
Propsito: Permite explorar, experimentar y manipular variables crticas en situaciones complejas; para focalizar la atencin, experimentar y controlar, gradualmente, ciertas variables, a modo de reducir tasas de errores y riesgos para quien las utiliza y su entorno.
Descripcin: Es un modelo de eventos o procesos que existen o podran existir. La naturaleza de las simulaciones es dinmica por esencia; puesto que representan el modelo de un sistema operando.
Permite a quien la utiliza ver, no slo un punto del sistema en el tiempo; sino que sus cambios a partir de diversos parmetros. Se debe considerar que la simulacin no es una representacin completa del evento, sino que se focaliza en aspectos significativos de tal evento. Algunas simulaciones requieren integrar las variaciones, que de forma natural, se dan en el mundo real (por ejemplo, sistemas biolgicos); por ello, una simulacin se considera autntica cuando incorpora grados de aleatoriedad e incertidumbre que reflejen lo que se experimentar en la realidad, permitiendo desarrollar capacidades para enfrentar lo inesperado.
Se busca observar las complejas interrelaciones entre las variables del modelo y, en vista que ello, representa una seleccin. La potencia de la simulacin est en explorar las diversas variables que permiten el modelo y los resultados de esa manipulacin.
Ventajas: - Permite reproducir, las veces que sea necesario, la situacin para observar el desempeo y su evolucin. - Permite acercar a quien la utiliza a contextos reales. - Permite graduar el nivel de dificultad de las situaciones, posibilitando el manejo progresivo de las variables.
Limitaciones: - Compromiso y disposicin para considerar la simulacin con la seriedad de una situacin real. - A veces es difcil el nivel de transferencia de las habilidades adquiridas mediante la simulacin a una situacin real. - Falta de modelos realistas dentro de la simulacin, que dificulten el logro de las capacidades.
Recomendaciones:
- Entregar la retroalimentacin apropiada al usuario requiere que la simulacin entregue alguna forma de evaluacin, respecto al desempeo del estudiante. Es importante para ste comprender dnde y cmo tuvo xito o fall; y reorientar su actuacin de acuerdo a esa informacin. - La simulacin debe permitir una prctica reiterada. Ello es clave para el dominio de las habilidades o destrezas que se requiere formar. La repeticin involucra cambios en el nivel de dificultad de la tarea, de forma que la experiencia de aprendizaje se adapte a las caractersticas de quien aprende. - La simulacin debe facilitar el logro de diversos niveles de maestra. Es muy recomendable que la situacin simulada permita escalar el logro de niveles de maestra, con el fin de proveer un desafo complejo y abordable. 52 - Debido a que muchas tareas u objetivos de aprendizaje utilizan modelos de simulacin abiertos, es decir, que permiten mltiples soluciones y formas de resolver problemas, se requiere el uso de enfoques metodolgicos variados que se integren en la simulacin. - Es importante que la simulacin declare, en forma explcita, a qu capacidades o conjunto de atributos estar ayudando a desarrollar; como tambin de las condiciones de realizacin y estndares de desempeo requeridos para tener xito en la tarea. - Algunas simulaciones requieren del desarrollo de nuevas habilidades para interactuar con su tecnologa. Por ello, es necesario calibrar la forma en que este tipo de simulaciones sern usadas.
4.3.4 Prcticas Profesionales
Evaluacin prcticas profesionales
Las prcticas profesionales pueden ser situaciones de evaluacin muy potentes, constituyen un ejercicio guiado y supervisado donde se ponen en juego los conocimientos adquiridos durante el proceso formativo del estudiante. Permiten concretizar teoras aplicndolas a situaciones problemticas reales. Asimismo, posibilitan que los estudiantes se integren y movilicen los atributos de las competencias para resolver situaciones problemticas complejas; provenientes del ejercicio de la profesin, en contextos reales, favoreciendo la reflexin sobre la accin y la evaluacin autntica del desempeo.
Considerando su complejidad, es necesario manejar una variedad de instrumentos que permitan recoger e integrar evidencias sobre el desempeo y desarrollo de las competencias de los estudiantes. A modo ilustrativo, se pueden ocupar los siguientes instrumentos (Tejada, 2005):
Protocolos de observacin: Suelen ser complementados por la jerarqua de proximidad (jefe de taller, responsable de equipo, director del proyecto,), y es recomendable que su aportacin se realice con un espritu y unas modalidades de coevaluacin. Aparte de los requisitos generales que han de cumplir este tipo de protocolos, deben contemplarse algunas peculiaridades en la observacin de la competencia de accin profesional como: a) las referencias de los criterios de realizacin de las actividades profesionales, b) las evidencias de desempeo directo y de producto, y c) el nivel de maestra o de actuacin que concierne a las actividades profesionales a observar. Situaciones de prueba: Todas las actividades realizadas durante el perodo de formacin (realizacin de proyectos, estudio de casos,..etc.) pueden ser consideradas como tales, aunque se suelen elaborar especficamente para evaluar el logro de los objetivos esenciales del plan, al permitir valorar hasta qu grado se han integrado los saberes potenciados y la capacidad de combinacin y movilizacin de las personas para actuar con competencia.
Para ello, debe estar: a) enfocada a los objetivos formulados, b) orientada a la resolucin de problemas o proyectos a realizar, c) configurada de tal manera que requiera la combinacin y puesta en prctica de todos los componentes de la accin 53 profesional, d) construida de forma lo ms similar posible a situaciones de trabajo reales, e) condicionada por ciertas exigencias, restricciones y recursos que se presentan con frecuencia en la prctica profesional, y f) concretada al mximo en cuanto a los resultados observables a alcanzar.
Evaluacin 360: No es tanto una evaluacin final; sino ms bien un incentivo para la reflexin personal sobre la evolucin del desarrollo de la profesionalidad, siempre que esta tcnica se utilice en determinadas condiciones. Suelen implicarse los superiores jerrquicos, los colaboradores, los subordinados y el propio afectado por la evaluacin del desempeo (autoevaluacin). Por encima de todo, requiere un contexto no amenazador ni conflictivo. Es preciso un ambiente de confianza asegurado por la publicacin de las reglas con una carta de explicacin personalizada, por la confidencialidad a nivel individual y la transparencia a nivel colectivo. Entrevistas de balance: Estas son esenciales a lo largo de todo el proceso de desarrollo de la competencia de accin profesional; pero, especialmente, al final. Esta se debe preparar, desarrollar y finalizar con sumo esmero, tanto por parte de los monitores, como del tutor. Por ello, conviene realizarlas tal como Le Boterf (2001) aconseja proceder en los momentos previos, durante y despus de la entrevista anual. En este balance final, se debe recapitular cuanta informacin puedan necesitar las personas para el reconocimiento pblico e institucionalizado de su competencia de accin, a travs de los certificados de profesionalidad.
A todo ello, es posible aadir otros instrumentos que pueden implicarse en la evaluacin, tales como: cuestionarios de opinin, simulaciones, portafolio, diarios, anlisis de realizaciones o productos, que implican otras fuentes de informacin.
54 4.4 Caso Especial: Portafolios.
Propsito: Evaluar trayectorias de aprendizaje basadas en ejecuciones y logros obtenidos por los estudiantes en dichas trayectorias; que adems incorpora el valor aadido de su potencial de aprendizaje. Permite evaluar el logro de las competencias de los alumnos, considerando e integrando, en cada uno de sus componentes conceptos, procedimientos, actitudes; y posibilita monitorear el proceso de aprendizaje por el docente y por el mismo estudiante, de manera de introducir cambios durante el mismo.
Descripcin: Es una tcnica de evaluacin, en la cual, el estudiante elabora una carpeta de evidencias de su aprendizaje organizando, sistemticamente, con la orientacin del docente, un repertorio de su desempeo mediante diferentes tipos de productos en una o diversas reas, en un periodo de tiempo acadmico determinado. Tanto el docente como el alumno, pueden elaborar un registro sobre el progreso, esfuerzo, logros y habilidades del estudiante; al mismo tiempo que le da bases para evaluar la calidad del logro acadmico mediante la utilizacin de rbricas de calidad.
La participacin activa del estudiante en la recopilacin, compilacin y coleccin evolutiva de sus logros, lo sita en la necesaria reflexin crtica de su propio trabajo; posibilitando evaluar su desempeo desde el momento en que comienza a seleccionar los trabajos que incluir en el portafolio. Los portafolios pueden estar presentes a lo largo de todas las etapas educativas y del desarrollo profesional de los estudiantes, tanto en el proceso de construccin de aprendizaje como en los hitos del proceso de promocin y evaluacin.
Ventajas vinculadas al Estudiante:
- Permite que desarrollen capacidades creativas, auto-reflexivas, crticas y evaluativas de sus propios trabajos. - Promueve su participacin, al posibilitarle el monitoreo y la evaluacin de su propio aprendizaje. - Permite que identifiquen sus fortalezas y debilidades en sus propios aprendizajes. - Posibilita la adaptacin a diversas necesidades, intereses y habilidades de cada estudiante. - Mejora la autoevaluacin de los estudiantes. - Demanda del estudiante la necesidad de planificar su elaboracin y requerir retroalimentacin de otras personas para valorar su desempeo. - Estimula su capacidad de experimentacin, reflexin e investigacin. - Los portafolios, en los cuales, los estudiantes seleccionan los productos; probablemente, representan su mejor trabajo (ms que uno tpico). - Contribuye a su organizacin y planificacin al decidir qu productos colocar en el portafolio, cmo describir lo que el producto representa, y relacionarlo de manera dinmica con el conocimiento. - Las producciones pueden ser usadas para motivar discusiones entre los propios estudiantes o con el profesor.
Ventajas vinculadas al Docente:
- Certifica la competencia del alumno, basando la evaluacin en trabajos autnticos. - Permite recoger informacin sobre procesos y productos (resultados) de aprendizaje. - Permite reunir informacin respecto a las experiencias y tipos de tareas asignadas a los estudiantes. - Permite una evaluacin personalizada. 55 - Permite una visin ms amplia y profunda de lo que el alumno sabe y puede hacer. - Permite el seguimiento continuo del alumno, al ser una tcnica de larga duracin. - Puede usarse para observar el aprendizaje y el desarrollo del estudiante en forma longitudinal, posibilitando la ilustracin de tendencias longitudinales. - Permite identificar las debilidades del estudiante, para propsitos remediales. - Permite evaluar diferentes tipos de conocimientos de los estudiantes. - El proceso de revisar y evaluar portafolios brinda una oportunidad excelente a los acadmicos para intercambiar y desarrollar discusiones sobre las metas del currculo, sus objetivos, criterios de evaluacin y retroalimentar el programa. - Los acadmicos obtienen mayor control sobre el sentido, interpretacin y uso de los resultados de los estudiantes. - Los resultados tienden a ser significativos para todos los actores (estudiantes, clase, programa, institucin), y pueden usarse para diagnosticar o recomendar acciones. - Facilita una imagen ms exacta de sus habilidades y conocimientos, por sobre una prueba tradicional de respuestas cerradas y abiertas; permitiendo una interpretacin de mayor validez sobre lo que el estudiante puede o no puede hacer. - Permite reflejar mejor el desempeo de los estudiantes, al demandar la necesidad de planificar su elaboracin; se busca retroalimentacin de otras personas y se preparan contextos de trabajo comunes.
Limitaciones: - Las respuestas construidas por los estudiantes pueden resultar difciles de evaluar. - El lmite del portafolio es la calidad de los productos contenidos en l. - Son costosos; ya que, requieren de tiempo para convertir la evidencia en datos significativos y para ser evaluados. - El manejo de la coleccin y el proceso de evaluacin, que incluye la generacin de criterios validos y confiables, son muy desafiantes. - Pueden existir dudas acerca de la autenticidad de los ejemplos que entregan los estudiantes o de los criterios de medicin que se les aplican. - Se debe atender al problema de la confiabilidad mediante inter-evaluadores.
Recomendaciones: - Para que los portafolios representen con precisin la evolucin de un estudiante, y para fomentar la capacidad de autoevaluacin -que es crtica para esta tcnica-, los estudiantes deben percibirlo como una coleccin de su propio trabajo; y no como meros contenedores de productos que sern calificados por el profesor. Los trabajos que seleccionen los estudiantes sern ms satisfactorios si son comparados con el criterio establecido.
- Al emplear la tcnica de portafolio, se deben considerar las siguientes etapas: 1. Determinar el propsito.
- Delimitar la amplitud de los objetivos y metas de aprendizaje del programa a ser evaluados mediante el portafolio. - Determinar qu tipo de portafolio requieren crear los estudiantes, acorde a la delimitacin de los objetivos previos. - Use portafolios de una muestra representativa de estudiantes; en vez de pedirles a todos que participen (esto puede ahorrar, en forma considerable, tiempo, esfuerzo y costos; pero puede ser problemtico en otros aspectos). 56
2. Seleccionar el contenido y la estructura del portafolio.
- Considerar la representatividad de las tareas como una muestra vlida de las habilidades y conocimientos de todos los procesos y productos procesados del rea. - Listar el tipo de trabajo que los estudiantes podran incluir para demostrar el logro de los objetivos. - Decidir qu tipo de ejemplo de trabajo se recoger. Varios tipos de trabajo pueden presentarse en un portafolio; esto depender del contenido y del tipo de curso. En general, es mejor contar con una variedad de productos, que un limitado nmero de ellas. El profesor, idealmente, junto a los estudiantes, pueden determinar colaborativamente lo que incluira el portafolio. - Decidir cmo se va a manejar y conservar el portafolio. - Definir el mejor contenedor del trabajo, y la forma ms apropiada de almacenarlo. Eventualmente, el profesor puede requerir reunirse individualmente con los estudiantes, para ayudarles a decidir qu ejemplo de trabajo incorporar en el portafolio.
3. Comunicar los objetivos a los estudiantes.
- Determinar cmo y cuando se les presentar el requerimiento de la tarea de realizar el portafolio. - Explicar a los estudiantes el propsito y sentido de la utilizacin de los portafolios. - Declarar expectativas claras sobre el propsito y la responsabilidad de los estudiantes en la recoleccin de la evidencia, que les ayudar a tener xito en el uso del mtodo. - Sealar a los estudiantes que se espera que escriban como introduccin o ensayo reflexivo para el portafolio. - Sealar a los estudiantes que se espera que discutan cada ejemplo del trabajo incluido en el portafolio. - Motivar a los estudiantes y sealarles que son responsables de crear el portafolio. - Indicar a los estudiantes que rotulen cada parte del portafolio, de acuerdo al objetivo de aprendizaje que est siendo demostrado.
4. Establecer los criterios de evaluacin y evaluar el contenido.
- Escribir las instrucciones de cmo se crea un portafolio y de cmo ser usado. - Desarrollar una rbrica para calificar el portafolio. - Incluir la rbrica, junto con las instrucciones para los estudiantes. - Determinar los criterios, sobre los cuales, se evaluaran los trabajos del portafolio. - Desarrollar criterios especficos de medicin para observar y evaluar, describindolos con total claridad. - Trabajar colaborativamente con los estudiantes, construyendo un grupo de criterios para que tanto docentes y alumnos puedan juzgar la calidad de los productos del portafolio. - Coordinar con los docentes del Departamento, la planificacin de la evaluacin de los portafolios, su implementacin y revisin. - Desarrollar rbricas para mejorar la consistencia entre evaluadores. - Disponer de ms de un evaluador por portafolio y establecer confiabilidad inter-evaluadores, a travs del diseo piloto, para afinar el criterio de evaluacin. - Capacitar a los evaluadores y determinar la confiabilidad inter-evaluadores. - Fijar el desempeo esperado, y recoger y examinar la evidencia a travs de la carrera del estudiante (as los portafolios evidenciarn el desarrollo de los estudiantes a travs del tiempo). - Considerar la entrega del portafolio como parte de los requerimientos del curso; especialmente, si es una actividad clave al final del programa. 57 - Validar, en forma cruzada, los portafolios a travs de evaluaciones del estudiante controladas para aumentar la validez. - Calificar el portafolio utilizando la rbrica previamente diseada.
5. Seguimiento y apertura de portafolio.
- El xito del portafolio puede mejorarse cuando los estudiantes reflexionen acerca de cmo los productos, en conjunto, expresan su aprendizaje o se ajustan a los propsitos del Departamento. - Solicitar a los estudiantes que evalen, continuamente, los productos de su portafolio. Para utilizar criterios de evaluacin, hay que asegurarse que los estudiantes evalen su propio trabajo; realizndolo holsticamente y analticamente, o una combinacin entre ambos. Esta autoevaluacin puede convertirse en una rutina en que los estudiantes llenen una ficha; identificando las principales fortalezas y debilidades de un producto y sugerir cmo mejorarlo. Los estudiantes deben registrar la fecha de sus autoevaluaciones, para realizar un seguimiento de ellas. Cada evaluacin debe ser registrada y conservada en el portafolio. - Programar y llevar a cabo sesiones de anlisis del portafolio entre estudiantes y docentes; focalizndose, no solo en evaluar el trabajo de los estudiantes, sino tambin en mejorar sus capacidades de autoevaluacin. Es recomendable llevar a cabo la mayor cantidad de sesiones posibles, y planificar el anlisis recogiendo las inquietudes de los estudiantes.
6. Comunicar los resultados a los alumnos.
58 5 COMENTARIO FINAL Y PAUTA DE ANLISIS
La evaluacin es central para la toma de decisiones de diferentes miembros de la comunidad universitaria. En una preocupacin por concretar una gestin de calidad de la docencia la informacin evaluativa debe posibilitar reducir el error en las decisiones de profesores, estudiantes y otros miembros vinculados a la labor docente de nuestra universidad. En la literatura reciente se destaca que la evaluacin es inherente a la labor de los docentes y al aprendizaje de los estudiantes.
Este compendio fue elaborado con el propsito de ayudar a los acadmicos de nuestra universidad a considerar, reflexionar, expresar e intercambiar ideas y opiniones, sobre algunos conceptos y formas de evaluar; que no siempre son incluidos ni utilizados en los procesos de evaluacin de enseanza-aprendizaje propios de nuestra cultura universitaria.
En una preocupacin por concretar una gestin de calidad de la docencia, la informacin evaluativa debe posibilitar reducir el error en las decisiones de profesores, estudiantes y otros miembros, vinculados a la labor docente de nuestra universidad. Sin embargo, los logros y avances que todos deseamos compartir deben ser parte de un esfuerzo conjunto por mejorar las condiciones administrativas, que condicionan las formas de evaluar y medir los diferentes procesos de enseanza-aprendizaje de cada rea.
Slo en la medida en que los diferentes actores, pertenecientes a la comunidad universitaria, trabajen en aplicar nuevos conceptos y procedimientos compatibles con la medicin y evaluacin, y el uso de las tecnologas de informacin; los docentes podrn encontrar nuevas prcticas y formas de crear, acordes a las actuales necesidades educacionales. Incorporar situaciones de evaluacin no tradicionales con el apoyo de tecnologas, requiere de un cambio conjunto en diversas reas, a modo que se generen nuevas oportunidades y condiciones para reflexionar y construir sobre los profesionales que distingan a nuestra universidad.
Esperamos que este trabajo sea un til y provechoso recurso para todos quienes participan en la tarea formativa. Como compendio puede ser abordado flexiblemente desde distintas temticas o preocupaciones evaluativas de los acadmicos. Asimismo, la pauta que se presenta a continuacin, pretende ser una ayuda para revisar aspectos centrales de la evaluacin docente, que contribuyan a su mejoramiento.
59
PAUTA DE ANLISIS
INSTRUCCIONES:
Seleccione uno de los cursos que usted realiza, y que sea de su particular inters redefinir y mejorar la evaluacin del mismo. Frente a cada proposicin que encontrar a continuacin, marque una o ms opciones segn representen estas su respuesta en cada caso.
1. El propsito de las instancias evaluativas de mi curso estn:
Declarados explcitamente en el programa del curso. Comunicados en forma comprensible para los estudiantes. Explicados a los estudiantes al inicio del curso.
2. Realiza un diagnstico previo al iniciar mi curso para: Identificar el nivel de dominio de los aprendizajes previos de los estudiantes. Reformular los objetivos del curso acorde a los resultados del diagnstico. Adecuar las estrategias metodolgicas acorde a los resultados del diagnstico. No realizo evaluaciones diagnsticos en mi curso. Asumo que debo partir de un nivel por lo que no realizo evaluacin diagnstica. Clasificar a mis estudiantes respecto al nivel de logro de sus compaeros. 3. Realizo evaluaciones peridicas durante mi curso para: Identificar el nivel de progreso de los estudiantes con respecto al objetivo de aprendizaje. Cumplir con el nmero de calificaciones requeridas para todo curso en cada semestre. Incorporar estrategias metodolgicas no contempladas en la planificacin del curso y que permiten aproximar el desempeo real de los estudiantes al desempeo ideal esperado. Adecuar estrategias metodolgicas para profundizar en el nivel de aprendizajes esperados en el curso.
4. Los instrumentos que utiliza para evaluar los aprendizajes de los estudiantes permiten recoger informacin sobre: Reproduccin de hechos, datos, conceptos y teoras. Aplicacin de teoras. Aplicacin de conceptos. Desarrollo de habilidades. Desarrollo de capacidades. Desarrollo de destrezas. Desarrollo de actitudes. Aplicacin de su escala de valores. Sntesis de conocimientos y teoras. Justificacin de la seleccin de teoras o mtodos para resolver problemas. Aplicar criterios para juzgar crticamente el valor de teoras o mtodos. Desarrollo de producciones originales y el pensamiento creativo. Evolucin de competencias. Otras: Especifique _______________________
60 5. Para resguardar la articulacin de los objetivos de mi curso con las evaluaciones que realizo utilizo: El modelo de la distribucin normal. Definicin de criterios de evaluacin. Definicin de tarea clave o tipo de desempeo que ser evaluado. Tablas de especificaciones. Definicin de estndares y niveles de desempeo de los estudiantes. Rbricas. 6. Los procedimientos e instrumentos de evaluacin que principalmente utilizo en mi curso son: Cuestionarios. Pruebas de ensayo. Pruebas de seleccin mltiple. Exmenes orales. Anecdotario. Portafolios. Listas de cotejo.
Simulaciones. Grupos Focales. Entrevistas. Autoevaluacin. Coevaluacin. Otras: Especifique _______________________
7. Los instrumentos de evaluacin que diseo resguardan: Confiabilidad Validez Pertinencia Practicidad Aspectos ticos 8. Con el fin de determinar el cumplimiento del logro de los objetivos del curso utilizo: Definicin de tareas claves. Definicin criterio de desempeo. Delimitacin de estndares de desempeo. Promedio de las notas de las distintas pruebas. Rbricas.
9. Analizo y discuto los resultados de las evaluaciones de mis estudiantes con:
Otros acadmicos del departamento. Estudiantes. Director de Departamento o Escuela. Por razones de tiempo y carga acadmica no me es posible analizar y discutir los resultados. Nadie, ya que creo en la libertad de ctedra.
61 10. Durante la realizacin de mi curso comunico a los estudiantes: Criterios de Evaluacin para cada tarea o producto a evaluar. Los niveles de desempeo esperados para cada tarea o producto a evaluar. Los resultados finales de las evaluaciones de los estudiantes. Los resultados parciales de las evaluaciones de los estudiantes. Los errores ms frecuentes en los que incurren los estudiantes en sus evaluaciones. Por razones de tiempo en la carga acadmica slo publico los resultados en el fichero. Rbricas.
11. Las decisiones ms habituales que usted toma a partir de los resultados de las evaluaciones involucran: Aprobacin o Reprobacin de los estudiantes. Adecuacin de los objetivos del curso. Adecuacin de las estrategias metodolgicas del curso. Afinar los instrumentos de evaluacin. Incorporar otros instrumentos de evaluacin para recoger informacin adicional acerca del aprendizaje de los estudiantes. Analizar el propio desempeo como docente. Otras: Especifique _______________________
12. Utiliza sus evaluaciones para: Contar con informacin evaluativa para decidir la ubicacin de un estudiante, respecto a su grupo de pares, de acuerdo a sus resultados de aprendizajes. Contar con informacin evaluativa para decidir el grado de maestra o pericia que posee cada estudiante, de acuerdo a determinados criterios o estndares de desempeo. Mejorar decisiones docentes. Mejorar el currculo de la carrera. Certificar aprendizajes o competencias. Otras: Especifique _______________________
62 6 BIBLIOGRAFIA
AHUMADA PEDRO (2002):La Evaluacin en una concepcin de Aprendizaje Significativo Chile: Ediciones Universitarias de Valparaso. Universidad Catlica de Valparaso.
AAKER, DAVID A. y DAY, GEORGE (1988): Investigacin de mercados, McGraw-Hill, Mxico.
ANDER EGG, E. (1995): Tcnicas de Investigacin Social, Editorial Humanitas, Buenos Aires, Argentina.
BABBIE, EARL R. (1996): Manual para la prctica de la investigacin social, Bilbao Descle de Brower.
BAILEY, KENNETH D. (1994): Methods of social research, The Free Press, New York.
BRIONES, G. (1998): Mtodos y tcnicas de investigacin para las ciencias sociales, Trillas, Mxico.
CEDETEC, DIPLOMADO DESARROLLO CURRICULAR BASADO EN COMPETENCIAS: Evaluacin y sus Procedimientos de Medicin Temtica II Caractersticas tcnicas de la medicin y tabla de especificaciones. Mdulo IV (2003)
CEDETEC, DIPLOMADO DESARROLLO CURRICULAR BASADO EN COMPETENCIAS: Evaluacin y sus Procedimientos de Medicin Temtica III Diseo de un instrumento o procedimiento de medicin, Mdulo IV (2003).
CEDETEC, DIPLOMADO DESARROLLO CURRICULAR BASADO EN COMPETENCIAS: Cuestionario Aspectos de La Evaluacin Educacional, Mdulo IV (2003).
COOK, T.D., REICHARDT CH., (1997): Mtodos Cualitativos y Cuantitativos en Investigacin Cualitativa, Tercera Edicin, Morata, Madrid, Espaa.
COUNCIL OF CHIEF STATE SCHOOL OFFICERS (CCSSO/SCASS): Rbrica de energa elctrica. Disponible en http://pals.sri.com/tasks/9-12/Electrical/ (visitado Noviembre 2007).
GARCA DE LA FUENTE, O., (1994): Metodologa de la Investigacin Cientfica, Ediciones Cees, Madrid, Espaa.
GARCA FERRANDO, M.; JESS IBEZ Y ALVIRA, F. (comps.) (1986): El anlisis de la realidad social: mtodos y tcnicas de investigacin, Alianza, Madrid.
GUILFORD, J.P. (1984): Estadstica Aplicada a la Psicologa y la Educacin, Mc Graw-Hill, Bogota, Colombia.
JENSEN, K. B., y JANKOWSKI, N., W., (1993): Metodologas Cualitativas de Investigaciones en Comunicacin de Masas, Editorial Bosch, Barcelona, Espaa.
KERLINGER, FRED NICHOLS (1988): Investigacin del comportamiento, McGraw-Hill, Mxico.
MAGEE, MICHAEL (2006): Simulation in Education. Alberta Online Learning Consortium. State of the Field Review. Disponible en http://www.ccl-cca.ca/NR/rdonlyres/C8CB4C08-F7D3-4915- BDAA-C41250A43516/0/SFRSimulationinEducationJul06REV.pdf (visitado Noviembre 2007).
MONTERO, PATRICIO (1994): El Desarrollo y la Validacin de Constructos. Un Enfoque para Mejorar la Calidad de la Educacin, Programas Educacionales Chile, EDU-CHILE.
63 NACHMIAS, DAVID y NACHMIAS CHAVA F. (1992): Research methods in the social sciences, St. Martin's Press, New York/London.
PADUA, J., (1979): Tcnicas de Investigacin Aplicadas a las Ciencias Sociales, Fondo de Cultura Econmica, Mxico.
PINTO, M., GLVEZ, C., (1996): Anlisis Documental de Contenido, Editorial Sntesis, Espaa.
POPHAM W. JAMES. (1999) Classroom Assessment: What Teachers Need to Know, Editorial Allyn and Bacon, 2 Edicin, Estados Unidos de Amrica.
POPHAM W. JAMES. (1990): Modern Educational Measurement: A Practitioner's Perspectiva. Editorial, 2 Edicin, Englewood Cliffs, NJ: Prentice Hall. Estados Unidos de Amrica.
ROJAS, S., (1998): Gua para Realizar Investigaciones Sociales, Plaza y Valds Editores, Mxico.
SAMPIERI, R., FERNNDEZ COLLADO, Y OTROS (1998): Metodologa de la Investigacin, Segunda Edicin, Editorial Mc Graw Hill, Mxico.
TAMAYO, M., y TAMAYO, (1998): El Proceso de la Investigacin Cientfica, Noriega Editores, Mxico.
TAYLOR, STEVENY BODGAN, ROBERT (1986): Introduccin a los Mtodos Cualitativos de Investigacin, Paids, Buenos Aires.
64
7 ANEXO CUESTIONARIO ASPECTOS DE LA EVALUACIN EDUCACIONAL
Patricio Montero L. 2006
Con este cuestionario se indaga sobre su nivel de logros y respecto a sus creencias sobre algunos aspectos de la evaluacin educacional. El cuestionario consta de 6 secciones independientes. Por favor, conteste todas las secciones del cuestionario. En algunas de esas secciones no hay respuestas correctas o incorrectas. Sus respuestas sern usadas, confidencialmente, y contribuirn a mejorar aspectos de este mdulo.
--- Menor o igual a 5 aos --- Ms de 5 y hasta 10 aos --- Ms de 10 y hasta 20 aos --- Ms de 20 aos
65 II. Lea cada una de las siguientes proposiciones. Para cada proposicin Verdadera, escriba una V; y si es Falsa una F, en la lnea punteada anterior a cada proposicin.
___ 2.1 Para calificar primero se debe medir. ___ 2.2 La evaluacin y la calificacin son sinnimos. ___ 2.3 Los niveles de desempeo corresponden a los criterios evaluativos. ___ 2.4 Son conceptos distintos: los niveles de desempeo y los estndares de desempeo. ___ 2.5 La interpretacin de distintas ideas cientficas tienen los mismos criterios evaluativos. ___ 2.6 Para diferenciar autopercepciones acadmicos es pertinente el dato de la percepcin de fracasos escolares. ___ 2.7 Con una escala ordinal se puede determinar la presencia o ausencia de un atributo en una persona.
III. Para cada una de las preguntas siguientes seleccione la alternativa correcta. Omita las respuestas cuando no est seguro ya que las respuestas erradas descuentan puntos.
3.1 Con la evaluacin se pretende:
a) Medir atributos entre las personas. b) Medir caractersticas de una persona. c) Calificar a una persona o situacin. d) Mejorar la toma de decisiones de las personas. e) Ninguna de las anteriores.
3.2 El criterio de desempeo o evaluativo es equivalente a:
a) Al propsito evaluativo. b) Las condiciones de realizacin de una tarea. c) Los niveles de desempeo de una tarea d) Los estndares de desempeo de una tarea e) Ninguna de las anteriores.
3.3 Para determinar la presencia o ausencia de un atributo de una persona es apropiado usar:
a) Una escala nominal. b) Una escala ordinal. c) Una escala de intervalo. d) Una escala de razn. e) Cualquiera de las anteriores.
3.4 Entre los procedimientos que debe aplicar un estudiante se encuentran:
I. Procedimientos para la adquisicin de informacin. II. Procedimientos para realizar inferencias de la informacin. III. Procedimientos para la comunicacin de la informacin.
Los criterios evaluativos son los mismos para: 66
a) I y II b) II y III c) I y III d) I, II y III e) Ninguna de las anteriores.
3.5 Para diferenciar los aprendizajes disciplinarios entre los estudiantes universitarios es apropiado usar:
a. Una escala nominal. b. Una escala ordinal. c. Una escala de intervalo. d. Una escala de razn. e. Depende de los aprendizajes. IV. Seale en el espacio indicado para cada descripcin de la columna izquierda, el nombre del hecho o concepto de la columna derecha que se ajusta a la descripcin. Cada hecho o concepto de la lista puede ser usado slo una vez.
Descripcin Hecho/concepto
1. ______ Se establecen distinciones entre personas situaciones o cosas.
A. Evaluar
2.______ Comprende todas las condiciones de realizacin de una tarea.
B. Medir
3. ______ Se establece el desempeo mnimo para ser exitoso.
C. Estndar de Desempeo
4. ______ Es el alumno ms alto del curso. D. Criterio Evaluativo
E. Observacin
F. Escala de medicin
V. Marque con una cruz (X) aquellas alternativas que mejor lo identifiquen, y complete la informacin que se solicita.
1. Su rendimiento en los mdulos lo considera:
_____ Muy Bueno _____ Regular _____ Malo
2. A qu atribuye su rendimiento? (Por qu cree que tiene ese resultado?). Escriba la causa principal:
67
3. La causa principal de su rendimiento est ubicada:
_____ En Ud. _____ Fuera de Ud.
4. La causa de su rendimiento, es ms bien:
_____ Permanente _____ Variable en el Tiempo
5. La causa principal de su rendimiento es:
_____ Controlable por Ud. _____ Incontrolable por Ud.
6. Con respecto a los acadmicos participantes en los mdulos, le ha ido:
_____ Similar que a la mayora de ellos
_____ Mejor que a la mayora de ellos
_____ Peor que la mayora de ellos
7. Con respecto a los otros tres mdulos, en este cuarto mdulo le ha ido:
_____ Peor _____ Similar _____ Mejor
8. Respecto a los anteriores, mi rendimiento en el cuarto mdulo ser:
_____ Peor _____ Similar _____ Mejor
9. Mi rendimiento en el diplomado ser:
_____ Muy Bueno _____ Regular _____ Malo
68
VI. A continuacin se presentan 12 proposiciones sobre lo que piensa o siente sobre algunos aspectos de la evaluacin. Cada proposicin ha sido provista de una escala ordinal: TA= Totalmente de Acuerdo, A= De Acuerdo, D= En desacuerdo, TD= En total desacuerdo. Marque en cada una de ellas la alternativa que responde mejor a lo que Ud. cree o siente. No omita ninguna respuesta.
5.1 Soy capaz de formular estndares de desempeo para mis estudiantes. TA A D TD 5.2 Estoy entre los acadmicos ms competentes de la universidad para explicar las diferencias entre los niveles de desempeo de una tarea. TA A D TD 5.3 Me siento cmodo escribiendo los estndares evaluativos de los objetivos fundamentales para mis estudiantes. TA A D TD 5.4 Estoy entre los acadmicos ms competentes de la universidad para realizar evaluaciones de buena calidad. TA A D TD 5.5 Puedo diferenciar las reglas lgicas de las escalas de medicin. TA A D TD 5.6 Estoy entre los acadmicos ms competentes de la universidad para formular los criterios evaluativos. TA A D TD 5.7 Sirvo para formular estndares de desempeo para mis estudiantes. TA A D TD 5.8 Estoy entre los mejores profesores de la universidad para formular estndares de desempeo. TA A D TD 5.9 Soy mejor que la mayora de mis colegas para aplicar las escalas de medicin. TA A D TD 5.10 Soy capaz de disear evaluaciones de buena calidad. TA A D TD 5.11 Me cuesta diferenciar las reglas lgicas de las escalas de medicin. TA A D TD