Desarrollo de rbricas para evaluar las investigaciones que hacen los estudiantes

Julio E. Rodrguez Torres UPR-RP Facultad de Educacin

Objetivos
Familiarizar a los participantes con aspectos relevantes sobre construccin de rubricas. Desarrollar una rbrica para medir una investigacin realizada por el estudiante.

Marco de referencia
El marco de referencia para esta presentacin se apoya en lo siguiente:
En

la revisin de la literatura del rea de desarrollo de rbricas. En lo que indican las teoras sicomtricas sobre la construccin de instrumentos.

Ciclo evaluativo
Se planifica

Se mejora

Se implanta

Avalo

La rbrica es una matriz de valoracin en la cual se establecen los criterios y estndares por niveles de competencia mediante la disposicin de escalas para determinar la calidad de la ejecucin de los estudiantes en unas tareas especficas dentro de un continuo. Permite obtener una medida aproximada, tanto del producto como del proceso.

Generalmente se conocen dos tipos de rbricas la global (comprensiva) y la analtica. En la Comprensiva se evala la totalidad del proceso o producto sin juzgar por separado las partes que lo componen. En contraposicin, con la Matriz de Valoracin Analtica se evala inicialmente, por separado, las diferentes partes del producto o desempeo y luego se suma el puntaje de estas para obtener una calificacin total (Moskal, 2000; Nitko, 2001)

El uso de las Rbricas de Valoracin Comprensiva para calificar, puede resultar en un proceso ms rpido que utilizar las Rbricas Analticas con el mismo fin. Como en estos casos lo que se busca es la valoracin general, casi siempre se usan cuando el propsito de la valoracin es por su naturaleza sumativo. Con este tipo de valoracin no se provee mucha retroalimentacin al estudiante. .

Las matrices analticas se prefieren cuando requiere un proceso o respuesta enfocada. Se evalan individualmente diferentes habilidades o caractersticas que requieren que se examine el producto varias veces. Los estudiantes reciben retroalimentacin en cada uno de los aspectos o caractersticas evaluados , lo que no sucede con el enfoque comprensivo. Lo anterior hace posible crear un "perfil" de las fortalezas y debilidades especficas de cada estudiante con el fin de establecer un curso de accin para mejorar stas ltimas. Es decir, las matrices de valoracin analtica promueven una valoracin formativa.

Ejemplo: reas evaluadas en una composicin

Tema y Estructura Introduccin Desarrollo Conclusin Dominio de las Estructuras Sintcticas Estructura Sintctica Concordancia Claridad Dominio Lxico Riqueza Lxica Precisin y Concisin Correccin Acentuacin Uso de Maysculas

Tarea #1

Generar aspectos a evaluar en una posible investigacin a ser realizada por el estudiante.

Posibles dimensiones
Introduccin Metodologa Fuentes de informacin Recopilacin de datos/Anlsis de los datos Conclusiones/Recomendaciones

Elementos de la rbrica

Criterios caracterizan la conducta esperada o requerida para completar la tarea. Niveles indican el grado de competencia que categoriza la ejecucin de los estudiantes basada en los criterios. Escala indica los valores o puntuaciones mediante los cuales cuantificamos la ejecucin de los estudiantes para, de este modo, facilitar una medicin ms precisa y objetiva.

Modelo de rbrica
Niveles/Escala

CMO DESARROLLAR UNA RBRICA O MATRIZ DE VALORACIN

1.

Busque un buen Modelo e identifique las caractersticas que definen un buen trabajo. Permita que los estudiantes se familiaricen con l. Establezca con claridad dentro de esa actividad qu va a evaluar: un (unos) objetivo(s) , desempeo(s), comportamiento(s), competencia(s) o actividad(es). Determine cules va a evaluar. (validez) Describa lo ms claramente posible, los criterios de desempeo especficos que va a utilizar para llevar a cabo la evaluacin de esas reas. (validez) Disee una escala de calidad para calificarlas, esto es, establezca los niveles de desempeo que puede alcanzar el estudiante. Puede aadirle una escala numrica. Revise lo que ha plasmado en la matriz de valoracin o rbrica para asegurarse de que no le falta nada. (validez) Practique el modelo o matriz valorativa (rbrica) para desarrollar consistencia en la evaluacin. (confiabilidad)

2.

3.

4.

5. 6.

Cuando haya clarificado los pasos anteriores comience a construir la rbrica teniendo en cuenta lo siguiente:

Por lo general, la escala de calidad para calificar los diversos aspectos a evaluar, se ubica en la fila horizontal superior, con una gradacin que va de mejor a peor. Es muy importante que la gradacin de esta escala sea obvia y precisa para que exista diferencia en los distintos grados que se pueden lograr en el aprendizaje propuesto. En la primera columna vertical se ubican los aspectos o elementos que se han seleccionado para evaluar. En las celdas centrales se describe, de la forma ms clara y concisa posible, los criterios que se van a utilizar para evaluar esos aspectos. Recuerde que estas celdas centrales explican cules son las caractersticas de un trabajo excelente, de uno deficiente y las variaciones intermedias entre el uno y el otro.

Niveles (tpicos) de la escala de calidad Dos niveles

Satisfactorio,

No satisfactorio

Tres niveles
En

desarrollo, Aceptable, Ejemplar No aceptable, Competente, Logrado

Cuatro niveles
En

inicio, En desarrollo, Proficiente, Experto No aceptable, Marginal, Cumple las espectativas, Excede las espectativas

Niveles (tpicos)

Cinco niveles
Deficiente,

Iniciado, Aceptable, Excede las expectativas, Excelente

Seis niveles
No

satisfactorio, Poco satisfactorio, Satisfactorio, Muy satisfactorio, Bueno, Excelente La junta de directores de la Asociacin Americana de
Colegios y Universidades sugiere cuatro niveles: (Bajo el bsico, Bsico, Proficiente , Avanzado)

Tarea #2

Establecer los criterios para el aspecto asignado. Trabajar los criterios para una ejecucin Excelente y el extremo opuesto a Excelente.

Criterios (Introduccin)

Establecer el problema de investigacin. Describir el propsito de la investigacin. Presentar la justificacin (significado tericoprctico). Plantear las preguntas o hiptesis. Identificar las variables. Presentar el diseo de investigacin. Definir conceptualmente las variables. Definir operacionalmente las variables.

Metodologa

Indicar el tipo de investigacin. Describir el diseo. Adecuacidad del diseo con respecto al problema. Describir la poblacin. Describir la muestra. Describir los instrumentos. Establecer la validez y la confiabilidad.

Rbrica (investigacin)
Aspecto a evaluar
Introduccin

Experto

Proficiente

En progreso

Iniciado

Plantea claramente el problema y propsito de la investigacin. El mismo es relevante. Se sustenta la justificacin o su significado tericoprctico. Las preguntas o hiptesis estn planteadas de manera clara y se relacionan con el problema. Se identifican todas las variables del estudio. Las variables fueron definidas conceptual y operacionalmente. Contribuye de forma clara al conocimiento de la disciplina.

Se plantea el problema y el propsito de la investigacin pero la justificacin o significado tericoprctico no est claramente sustentada. Las preguntas o hiptesis se relacionan con el problema. Algunas variables fueron definidas conceptual y operacionalmente. Contribuye al conocimiento de la disciplina.

Se plantea el problema y el propsito pero es poco relevante. Presenta confusin en la justificacin en trminos de su significado tericoprctico. Las preguntas o hiptesis necesitan mejorarse (aunque fueron planteadas no son claras). Las variables no fueron definidas operacionalmente. Su contribucin al conocimientode la disciplina es limitado.

El problema presentado causa confusin, no est claro su planteamieto. La justificacin no est bien sustentada. Las preguntas o las hiptesis causan confusin y no se relacionan con el problema. No se identifican las variables y no existe su definicin conceptual y operacional. Contribuye muy poco al conocimiento de la disciplina.

Rbrica (investigacin)
Aspecto a evaluar
Metodologa

Experto

Proficiente

En progreso

Iniciado

Se describe de manera detallada el diseo. El diseo es adecuado para contestar las preguntas o hiptesis. La poblacin del estudio y la muestra fueron identificadas. El mtodo de muestreo fue descrito con claridad. Los instrumentos son adecuados para recopilar los datos. Se establece la validez y la confiabilidad. Se describe de manera clara cmo se recopilarn los datos. Se indica cmo se analizarn los datos y su enfoque es cnsono con las preguntas o hiptesis.

Se describe el diseo parcialmente. El diseo es adecuado para contestar las preguntas o hiptesis. Se identifica la muestra pero no la poblacin. Se presenta el mtodo de muestreo. Los instrumentos son adecuados para recopilar los datos pero no se presenta evidencia de su validez aunque s de su confiabilidad. Se describe cmo se recopilarn los datos. Describe cmo se analizarn los datos.

Se describe el diseo de manera superficial. El diseo es adecuado. Se identifica la muestra pero no el mtodo de muestreo. Los instrumentos son adecuados para recopilar los datos pero no se presenta evidencia de la validez y confiabilidad. Describe parcialmente cmo se recopilarn los datos. Describe parcialmente cmo se analizarn los datos.

El diseo presentado no cumple con el propsito del estudio. Se identifica la muestra pero no el mtodo de muestreo. Presenta instrumentos pero los mismos so son adecuados para recopilar los datos. No se presenta evidencia de confiabilidad y validez delos instrumentos. La descripcin de cmo se recopilaran los datos carece de claridad. No describe cmo se analizarn los datos.

Rbrica (investigacin)
Aspecto a evaluar
Fuentes de informacin/ Revisin de literatura.

Experto

Proficiente

En progreso

Iniciado

Las fuentes de informacin son variadas y mltiples. La revisin de literatura tiene mucha relacin con el problema bajo estudio. Las fuentes son muy actualizadas (ltimos 5 aos). Las revisin es extensa y se relaciona con las variables. Un 80% o ms de las fuentes de informacin provienen de revistas arbitradas.

Las fuentes de informacin son variadas. La revisin de literatura tiene relacin con el problema bajo estudio. Las fuentes son bastante actualizadas (ltimos 5 aos). Las revisin se relaciona con las variables. Un 70% de las fuentes de informacin provienen de revistas arbitradas.

Las fuentes de informacin son variadas. La revisin de literatura tiene poca relacin con el problema bajo estudio. Las fuentes no estn actualizadas. Las revisin se relaciona un poco con algunas variables. Un 50% de las fuentes de informacin provienen de revistas arbitradas

Las fuentes de informacin son muy pocas. La revisin de literatura no tiene relacin con el problema bajo estudio. Las fuentes no estn actualizadas.

Rbrica (investigacin)
Aspecto a evaluar
Recopilacin/ Anlisis de datos

Experto
La recopilacin de datos es explicada de manera detallada. Las instrucciones para la administracin de los instrumentos son claras y precisas. Se utilizan los protocolos para la proteccin de los sujetos. Se indica cmo se codifican los datos y se explican las escalas de medicin. El anlisis estadstico es adecuado para contestar las preguntas o someter a prueba las hiptesis. El uso de diagramas o tablas permite presentar los resultados de manera clara.

Proficiente
La recopilacin de datos es explicada de manera parcial. Las instrucciones para la administracin de los instrumentos son claras. Se utilizan los protocolos para la proteccin de los sujetos. Se explican las escalas de medicin pero no se indica cmo se codifican los datos. El anlisis estadstico es adecuado para contestar las preguntas o someter a prueba las hiptesis. El uso de diagramas o tablas es adecuado al presentar los resultados.

En progreso
La recopilacin de datos es explicada de manera superficial. Las instrucciones para la administracin de los instrumentos presentan confusin. Se utilizan los protocolos para la proteccin de los sujetos. Se explican las escalas de medicin pero no se indica cmo se codifican los datos. El anlisis estadstico presenta limitaciones para contestar las preguntas o someter a prueba las hiptesis. No indica cmo se presentan los resultados.

Iniciado
La recopilacin de datos no est explicada de manera detallada. Las instrucciones para la administracin de los instrumentos no son claras ni precisas. No se utilizan los protocolos para la proteccin de los sujetos. No se indica cmo se codifican los datos y no se explican las escalas de medicin. El anlisis estadstico no es adecuado para contestar las preguntas o someter a prueba las hiptesis. No se presentan los resultados de manera clara.

Rbrica (investigacin)
Aspecto a evaluar
Conclusiones/ Recomendaciones

Experto

Proficiente

En progreso

Iniciado

Las conclusiones contestan de manera clara las preguntas de investigacin. Las conclusiones surgen del anlisis de resultados. Se incorpora la revisin de literatura en las conclusiones. Las recomendaciones sugieren un anlisis crtico profundo de las conclusiones. Las recomendaciones sugieren un nuevo enfoque metodolgico.

Las conclusiones contestan de manera parcial las preguntas de investigacin. Las conclusiones surgen del anlisis de resultados. Se incorpora la revisin de literatura en las conclusiones aunque la misma es limitada. Las recomendaciones sugieren un anlisis crtico de las conclusiones. Las recomendaciones sugieren un nuevo enfoque metodolgico.

Algnas de las conclusiones contestan las preguntas de investigacin. Algunas conclusiones surgen del anlisis de resultados. Se incorpora de manera muy limitada la revisin de literatura en las conclusiones. Las recomendaciones sugieren un anlisis superficial de las conclusiones. Las recomendaciones no sugieren un nuevo enfoque metodolgico.

Las conclusiones no contestan de manera clara las preguntas de investigacin. Las conclusiones son muy generales e imprecisas. No se incorpora la revisin de literatura en las conclusiones. No se percibe un anlisis crtico profundo en las conclusiones. No se sugiere un nuevo enfoque metodolgico.

Muchas gracias.