Diplomado en desarrollo de capacidades en evaluación

educativa.
Curso 3: Uso de la información que entrega la evaluación y
retroalimentación
INEE, Ciudad de México , Julio de 2018
 Programa del día
miércoles 18

Horario Actividad

• Presentación.
• Recapitular.
Mañana • Propósitos y validez de la evaluación.
• Lógica del evaluar: teoría de acción.
• Ejercicio 1: Teoría de acción.
13:30-14:30 hrs Almuerzo

• Estructurando la información: Plan de análisis.

• Tipos de análisis de datos:
Tarde • Lo cuantitativo y lo cualitativo en el plan de análisis.
 Módulo 2

Propósitos de la evaluación y su vínculo con la validez

 Objetivos

Al finalizar este módulo, los participantes serán capaces

de:

• Reconocer la importancia del uso de los resultados de las

evaluaciones para orientar la mejora del proceso educativo.
• Comprender que a toda evaluación subyace una teoría sobre
cómo producir efectos en los procesos educativos.
 La evaluación: una actividad diversa

• Su concepción ha cambiado a lo largo del tiempo:

Medir, describir
Sinónimo de
Medir y describir y establecer un
medir
juicio evaluativo

• Conocer solo un nivel de logro no fue suficiente, se evoluciona a establecer

un juicio evaluativo, y a conocer no solo los niveles alcanzados, sino también
qué significa estar en una posición determinada.
• Se ha desarrollado principalmente a partir del campo de la educación y de
los proyectos sociales.
• Cada vez que se planifica una acción para generar un cambio, debiésemos
pensar en como ser capaces de evaluar los distintos aspectos de ese cambio.
 Evaluaciones y sus consecuencias
• En función de qué se evalúa y el uso que se hará de la información
producida las evaluaciones pueden ser categorizadas como de altas o bajas
consecuencias.
Nivel Analítico Naturaleza de las Consecuencias
Altas Bajas
PROPÓSITO Certificación y Rendición de cuentas Toma de decisiones y mejora
del aprendizaje

Ejemplos nivel Calificaciones escolares, clasificaciones Evaluaciones formativas

individuo docentes, pruebas de selección internas y externas
universitaria

Ejemplos nivel escuela Clasificación de escuelas Información de monitoreo de

gestión y logros de aprendizaje
 Evaluaciones y sus consecuencias
¿Qué debe considerarse una consecuencia? ¿Para quién?
• Evaluación puede ser ocupada para la producción de diferencias
entre individuos e instituciones en función del rendimiento
(escolar); del éxito y fracaso; del mérito (Duru-Bellat, 2009;
Bernstein, 1998; Perrenoud, 1996).
• Puede ser ocupada para distribuir recursos, para asignar premios,
para mejorar procesos, etc.
• Puede ser ocupada para producir y mejorar cambios o aprendizajes.
• Y esto no solo ocurre con las evaluaciones de altas consecuencias.
Desde aquí ya se puede entender que la evaluación no sea siempre
una actividad bien recibida.
 Validez de las evaluaciones
Dado que el uso de las evaluaciones y de la información producida en ella no
es un tema trivial para los evaluados, cobra relevancia la validez de las
evaluaciones para lograr ciertos fines.

¿Qué entenderemos por validez?

El grado en el cual la evidencia y la teoría apoyan las interpretaciones de los resultados del
test para sus usos propuestos. Validez es, entonces, el aspecto más importante en el
desarrollo y evaluación de tests.
Estándares (AERA, APA y NCME, 2014)

Si la evaluación no tiene respaldo para ser considerada válida, las

conclusiones que emanen de ella tampoco serán válidas para los actores
involucrados.
 Entonces ¿Para qué evaluamos?

Existen dos grandes propósitos para plantear una evaluación, que son
inherentes a cualquier acción planificada para generar un cambio, como lo son
los programas y proyectos sociales y los procesos de enseñanza-aprendizaje:

1. Demostrar/dar evidencias de los resultados del programa

2. Obtener información para la mejora

• Mejorar el diseño
• Mejorar la implementación
 Módulo 3

Teoría de acción
 Entonces…
la evaluación sí es importante
Pero…
¿Cómo es que la evaluación genera mejoras?

¿Cuáles serían los mecanismos por los que se lleva a cabo?

 Teoría de acción en el evaluar

El conjunto de hipótesis de cómo una iniciativa (proyecto, evaluación) logra

sus objetivos, consideradas como válidas en el contexto de intervención.
(Patton, 2004)
Formulación que da cuenta del encadenamiento de procesos a través de los
cuales el programa espera lograr los resultados propuestos (Patton, 2008;
2012), desde las declaraciones de los diseñadores y desde la literatura (Wylie,
2017). Suele estar implícita.

Es una racionalidad que puede o no estar basada en evidencia, pero que está
al centro de cómo pensamos que funcionan las cosas.
 Por ejemplo: las calificaciones escolares

¿Una calificación escolar tiene otro fin más allá de determinar el

nivel de conocimiento de un estudiante?

No -> No hay Teoría de Acción

Sí -> ¿qué es lo que se busca? Y
¿cómo se generaría con la calificación?

“al calificar se busca motivar al alumno a obtener buenas

calificaciones”
¿la vergüenza lo motivará? ¿la autosuperación? ¿la
competitividad?
¿Cómo se “entregan los resultados” en función de lo
anterior?

¿Hay otros fines para la calificación?

¿cómo los generaría?
 Ordenado como un conjunto de pasos…

El estudiante
Se entregan las El estudiante estudia y se
Se califica con notas a los recibe su nota y esfuerza para
Se realiza una Se mejorará en
criterios claros y estudiantes, a por evitar el
evaluación de la siguiente
conocidos por viva voz, desde comparación sentimiento de
contenidos calificación
los estudiantes la nota más alta sabe cuán bien incomodidad o
a la más baja o mal le fue mantener el de
satisfacción

Reflexionemos:
Supuestos:
• Esta teoría de acción supone que la nota es importante para el estudiante
• ¿impacta de igual manera en los alumnos de distintos desempeños?

Coherencia interna:
• Si esto funciona así… ¿tenderemos a hacer pruebas fáciles o difíciles?
• ¿Que efectos colaterales para mi meta podrían producirse?
Ejercicio 1:

¿Cómo es que la evaluación

mejora la educación?

Analicemos un caso…
Distintas
posiciones frente
a la misma
evaluación
 Una primera versión

Se generan

Impactos
esperados:
Mejora de la
Se realiza una
evaluación educación
(Mejora la
educación
¿qué mejora?
¿en qué
mejora?)
 Una versión directa

Impactos
Entregar esperados
información
Mejoran prácticas
válida y pedagógicas
confiable

Versión “simplificada” Impactos

La información (relación directa) esperados
evaluativa se
Mejoran los
usa (con fines
Aprendizajes
formativos)
 Una versión elaborada

Componentes
necesarios
Entregar • Instrumentos de
medición Impactos
información
Condiciones esperados
válida y •Reportes de organizacionales de
confiable resultados la Escuela Mejoran prácticas
(promovidas/ pedagógicas
• Acompañamiento esperadas) Se genera reflexión
en la lectura y uso pedagógica:
La información •Interpretación,
evaluativa se comprensión y Impactos
apropiación de la • A nivel de aula esperados
usa (con fines
información • A nivel colectivo
formativos) (eq. Pedagógicos, Mejoran los
•Orientación al uso etc.) Aprendizajes
formativo

Versión “elaborada” (relación mediada)

 Consideraciones

• La evaluación per se no tiene efectos en los procesos, todo depende de

cómo lo conceptualicemos y la usemos.
• Puede tener efectos negativos de resistencia o de producción de
expectativas, dependiendo del tipo de evaluación.
• Tanta información disponible y no hay cambio…¿a qué puede deberse?
• Nuestras experiencias y creencias ayudan a conformar una actitud frente a la
evaluación.
 Actitudes ante la medición en la educación:
una declaración de principios.
Rechazo métrico Pesimismo métrico Ingenuidad métrica Optimismo métrico

• La educación o su • La medición • Las mediciones • La medición,

calidad no se tergiversa la externas son el aunque siempre
puede (ni se debe) educación al único reflejo parcial y sujeta a
medir enfocarse solo en confiable de los error, da insumos
los elementos resultados fundamentales
medibles que son educativos para la toma de
siempre los • Basta medir y decisiones
elementos más asignar pedagógicas y de
superficiales y responsabilidades política educativa
menos (e incentivos) para
importantes mejorar los
resultados
educativos
www.mideuc.cl