Documente Academic
Documente Profesional
Documente Cultură
Pensamiento
Educativo, Vol. 40, n 1, 2007. pp. 351-371
Rev. Pensamiento Educativo, Vol. 40, N 1,
2007.
pp. 351-371
Evaluacin y Estndares:
Logros y desafos para incrementar
el impacto en calidad educativa
Assessment and standards: achievements and challenges
to increase the educational quality impact
Lorena Meckes*
Resumen
Chile ha logrado significativos avances en materia de evaluacin educativa travs de
ms de dos dcadas de desarrollo del rea.
En la actualidad, enfrenta tres desafos claves para contribuir al mejoramiento de
la calidad y equidad de la educacin. Primero, asegurar una articulacin coherente
entre las distintas evaluaciones con que cuenta el sistema. Segundo, lograr que la
evaluacin de aprendizajes de nivel nacional sea relevante para las prcticas pedaggicas y evaluativas de los establecimientos. El tercer desafo no es para la evaluacin.
Una poltica pblica efectiva debe combinar la introduccin de altas expectativas y
exigencia en materia de logros de aprendizaje, a travs de estndares y evaluaciones,
con estrategias de apoyo y fortalecimiento de las capacidades de los actores del
sistema para lograr los resultados esperados.
Palabras clave: medicin educacional, evaluacin, estndares de desempeo,
SIMCE
Abstract
For more than two decades, Chile has been significantly progressing in educational
assessment. Currently, it faces three challenges towards improving education quality
and equity. First, achieving a coherent articulation among the systems different
assessment modes. Second, making the national learning assesment relevant to
the schools teaching and assessing practices. The third challenge however, goes
beyond evaluation. An effective public policy should combine high expectations and
learning achievement demands through standards and evaluations with support
strategies as well as the strengthening of skills among those involved in order to
achieve expected results.
Key words: students learning assessment, evaluation, performance standards,
SIMCE
* Magster en Evaluacin IOE, Universidad de Londres, Coordinadora Nacional del SIMCE, lorena.
meckes@mineduc.cl, lmeckes@gmail.com.
Rev. Pensamiento Educativo, Vol. 40, n 1, 2007. pp. 351-371
Evaluacin y estndares: logros y desafos para incrementar el impacto en calidad educativa
Lorena Meckes
351
lorena meckes
Introduccin
Nuestro sistema escolar presenta hoy grandes desafos: superar los niveles de aprendizaje
que alcanzan nios y jvenes en las distintas etapas de su trayecto escolar y disminuir
la disparidad de los resultados segn el nivel socioeconmico de sus familias. La evaluacin de logros de aprendizaje ha desempeado un papel muy importante en hacer
evidente esta situacin tanto para las autoridades educacionales como para el pblico
en general. El papel que la poltica educacional chilena ha otorgado a la evaluacin ha
ido ms all de meramente retratar los resultados, ya que le ha asignado un rol en el
mejoramiento de ellos a travs de asociarles consecuencias e incentivos, al utilizarlos para
definir cmo focalizar recursos y recientemente al clarificar las expectativas de logro a
travs de estndares de desempeo. Este artculo revisa el desarrollo y expansin de la
evaluacin educacional en los ltimos aos y los principales desafos que ella enfrenta
para lograr un mayor impacto en la calidad y equidad de los aprendizajes.
El PER (predecesor del SIMCE) comenz el ao 1982 consolidndose como SIMCE a partir de
1988. Su homlogo en Costa Rica se inici en 1986. El grueso de los pases latinoamericanos
iniciaron sus esfuerzos en evaluacin nacional de resultados de aprendizaje durante los noventa
(Ferrer, 2006). En la dcada del sesenta se haba aplicado la Prueba Nacional.
2 Esta frecuencia se inici en 2006, ya que hasta esa fecha se evaluaba un nivel o grado por ao,
alternadamente.
352
Este artculo se concentra en las evaluaciones en el sistema escolar y no se consideran las evaluaciones de certificacin ni de seleccin como la PSU, ni las de competencias de adultos, tales
como el estudio internacional de alfabetizacin de adultos IALS.
353
lorena meckes
Tabla 1
Dimensiones evaluadas y programas de evaluacin
en el sistema escolar
Dimensin
Evaluada
Logros de
aprendizaje de los
estudiantes en cada
escuela y en el pas.
Descripcin
SIMCE
Desarrolla la medicin nacional y
estudios internacionales.
Medicin externa
estandarizada, en relacin
con currculum y estndares
nacionales y en relacin con el
desempeo de otros pases.
Unidad de Currculum y
Evaluacin del Ministerio
de Educacin.
Estudios internacionales
(muestrales). Sistemticamente
desde 1998: TIMSS, PISA,
ICCS, SERCE.
Unidad de Currculum y
Evaluacin
del Ministerio de
Educacin.
Docente ms
Sistema de Evaluacin del
Desempeo Profesional
Docente.
Municipios, Ministerio de
Educacin y
asesora tcnica
universitaria (Universidad
Catlica)
Desempeo de
Directivos y
Docentes
Ms Directivos
TEDS M 2008
Desempeo escolar
Instituciones involucradas
en Chile
Programa/estudio
SACGE, Sistema de
Aseguramiento de la Calidad
de la Gestin escolar.
SNED, Sistema Nacional de
Evaluacin de Desempeo
de los establecimientos
educacionales subvencionados.
Sostenedores
Municipales,
establecimientos
municipales, Ministerio de
Educacin.
Unidad de Currculum y
Evaluacin y Centro de
Perfeccionamiento del
Ministerio de Educacin.
Unidad de Gestin y
Mejoramiento Educativo del
Ministerio de Educacin.
Departamento de Estudios y
Desarrollo
Ministerio de Educacin.
354
Por ejemplo, el establecimiento educacional comparado con el promedio nacional, con el grupo
de escuelas similares, con resultados anteriores.
5 Para mayores detalles ver seccin Investigadores de www.simce.cl
Rev. Pensamiento Educativo, Vol. 40, n 1, 2007. pp. 351-371
Evaluacin y estndares: logros y desafos para incrementar el impacto en calidad educativa
Lorena Meckes
355
lorena meckes
Figura 1
EDUCACIN MATEMTICA. Niveles de Logro o Estndares
de Desempeo SIMCE para 4 Bsico
Figura 1
EDUCACION MATEMTICA Niveles de Logro o Estndares de Desempeo SIMCE para 4 Bsico
y contexto familiar.
cuartos, octavos ysolo
dcimos).
Fracciones:
manejan algunas fraccio- 3 datos
Problemas
sencillos son aquellos de enunciado
2 Formas geomtricas consideran tanto figuras planas como
nes
(medios,
tercios,
cuartos,
octavos
y
breve,
pocos datos y contexto familiar.
cuerpos geomtricos.
dcimos).
2 Formas
{PAGE}
356
Nivel Inicial: en esta categora de desempeo los alumnos y alumnas an no han consolidado los
aprendizajes del Nivel Intermedio, ya que en ocasiones demuestran logros en algunos de los aprendizajes descritos en ese nivel, pero con una menor frecuencia y de manera poco consistente.
Versin completa de los Niveles de Logro en Ministerio de Educacin: Niveles de Logro 4 Bsico,
Lectura y Educacin Matemtica, SIMCE, mayo 2007 (MINEDUC, 2007a) disponible en www.
simce.cl
357
lorena meckes
Bajo
Medio
Bajo
Medio
Medio
Alto
Alto
Total
Avanzado
Intermedio
Inicial
11%
29%
60%
15%
31%
54%
24%
37%
38%
41%
39%
20%
64%
29%
7%
26%
35%
39%
Dado que los porcentajes estn aproximados, los totales pueden no sumar 100%.
358
evaluados por el SIMCE a esta nueva modalidad de entrega de resultados que describe
y define estndares de desempeo para el alumnado.
Queda por discutir si estos estndares de aprendizaje deben traducirse o no en
mediciones con consecuencias para los alumnos (desde dar a conocer si cada uno de
ellos alcanz un nivel intermedio o avanzado hasta definir su promocin o incidir en sus calificaciones, por ejemplo) y de ser as a qu edad esto sera oportuno. Es
muy importante hacer notar que la definicin de un determinado estndar y su nivel
de exigencia nunca es independiente del tipo de uso que se le dar ni tampoco de las
consecuencias que tendr para quienes son evaluados o para quienes son la poblacin
objetivo final. Estos elementos de juicio son puestos a disposicin de los jueces que
establecen los puntajes de corte. En el caso de la descripcin y definicin del nivel de
exigencia de los estndares para el SIMCE de 4 bsico, se tuvo en consideracin que
se trata de una medicin que tiene consecuencias para las escuelas (publicacin de resultados, asignacin de incentivos o decisiones sobre autonoma en el uso de recursos)
y para establecer metas de superacin a distintos niveles. No se pens en estndares que
determinaran decisiones a nivel de los alumnos (por ejemplo repitencia). Al pensar en
alumnos, resulta aun ms apropiada la recomendacin general que se aplica a las escuelas
en sistemas basados en rendicin de cuentas: si no se han ofrecido las oportunidades
para alcanzar las exigencias, es completamente inadecuado establecer consecuencias
para quienes no las logran.
Al estar los Niveles de Logro y el SIMCE referidos al marco curricular, la validacin social de ellos se deriva de las instancias de validacin y aprobacin por las que
atraves dicho currculo. El desafo que queda por delante es lograr un apropiado nivel
de compromiso con el logro de estos estndares de desempeo.
La combinacin de estndares y evaluacin de logros aporta dos de las piezas
claves en el mejoramiento de la eficacia de un sistema educacional: propsitos claros
y compartidos y monitoreo de la medida en que estn siendo alcanzados. Sin embargo,
los mecanismos a travs de los cuales se espera que estndares y evaluacin tengan un
impacto en la calidad educativa son variados. En la siguiente seccin se revisa el papel
que se ha asignado hasta ahora a la evaluacin de logros de aprendizaje en la poltica
educacional chilena.
359
lorena meckes
accin7 para el mejoramiento. Ellas han ido desde asociar consecuencias y premios a
los resultados de la evaluacin, hasta propiciar el uso de ellos por parte de los mismos
docentes y directivos de las escuelas para reorientar sus propias decisiones. El protagonismo asignado a nivel local y al gobierno central es variable en cada una de estas
estrategias, como tambin lo son los supuestos sobre cul es la clave fundamental para
lograr mayor calidad o equidad en los resultados.
Tabla 38
Usos de la evaluacin de logros en la
poltica educacional chilena9
Rendicin de cuentas,
incentivos y consecuencias
Apoyo ministerial
Papel de la
Evaluacin
Nacional de
Logros de
Aprendizaje
Informar a la demanda
en un sistema de financiamiento ligado a matrcula y
asistencia.
Proveer informacin para
asignar incentivos.
Identificar establecimientos
en los que se focalizarn
los programas de apoyo y
monitorear los resultados
de ellos.
Supuestos de
mejoramiento
de la calidad o
equidad
Se compensan inequidades
entre escuelas a travs de
intervenciones de apoyo.
Prcticas pedaggicas y
de gestin escolar orientadas a alcanzar estndares
claros e informados por la
evidencia de los resultados
obtenidos.
Polticas
especficas
implementadas
en Chile.
Polticas focalizadas:
Ejemplos: Programa de las
900 Escuelas (desde 1990),
Liceo para Todos (2000 a
2006), Escuelas Prioritarias
(desde 2002)9.
Informes detallados de
resultados a cada escuela.
Jornadas nacionales de anlisis de resultados SIMCE.
Anlisis de resultados
SIMCE integrado al SACGE
(Sistema de aseguramiento
de la calidad de la gestin
escolar).
Sistema Nacional de
Evaluacin del Desempeo
(SNED)8.
Esta expresin es tomada de Forte y Hebbler (CCSSO, 2004) que en el contexto de sistemas de
responsabilizacin o rendicin de cuentas denominan teora de la accin a la lgica a travs de
la cual se supone que el sistema funcionar y tendr los efectos deseados.
8 Los resultados en el SIMCE tienen el 65% de ponderacin o peso en la asignacin de este incentivo
salarial a los docentes.
9 En el caso de las Escuelas Prioritarias (inicialmente llamadas Escuelas Crticas), la intervencin
fue encargada a otros organismos (ONGs e instituciones acadmicas), pero la contraparte, definicin
de escuelas objetivos y conduccin, ha estado en manos del Ministerio de Educacin.
360
Tal como se esquematiza en la Tabla 3, los resultados del SIMCE han tenido
diversos roles que se han ido sobreponiendo en el tiempo en la poltica educacional
chilena. En primer lugar, junto con el diseo del SIMCE en los ochenta se le asign
el rol de proveer informacin a la demanda en un sistema de financiamiento ligado a
asistencia de los alumnos matriculados en cada escuela. El incentivo o consecuencia
positiva asociada a buenos resultados es en este caso la atraccin de matrcula y recursos.
Durante los noventa se incorpor el Sistema Nacional de Evaluacin del Desempeo
(SNED) que asigna incentivos monetarios colectivos a las escuelas seleccionndolas
en gran medida segn los resultados del SIMCE obtenidos. El supuesto aqu es que las
escuelas orientarn sus esfuerzos de mejor manera para obtener el premio.
La medicin nacional tambin ha tenido un papel relevante en estrategias que
otorgan mayor protagonismo a la accin del Estado. A partir de los noventa se la utiliz
para decidir sobre focalizacin de recursos y apoyo a escuelas en el tramo de ms bajo
rendimiento y aunque en mucho menor medida para evaluar estas polticas.
Por ltimo, se ha intencionado que la medicin nacional tenga el papel de orientar
decisiones pedaggicas y de gestin a nivel local. Con este fin se entregan anualmente
informes detallados a cada escuela, adems de orientaciones para el aprovechamiento
de estos a travs de un da destinado al anlisis colectivo de los resultados al interior de
los establecimientos educacionales.
De los tres tipos de roles asignados a la medicin nacional en el mejoramiento
de la calidad, en Chile claramente han predominado los dos primeros mencionados, es
decir, su asociacin a consecuencias e incentivos o bien su uso para la toma de decisiones de los responsables de poltica10. A pesar de los avances durante los ltimos aos,
la informacin entregada por el SIMCE an es subutilizada por parte de las escuelas
y docentes, que son el eslabn clave y determinante en la cadena de calidad. Este tipo
de uso apunta adems a la construccin de capacidades en los docentes y directivos de
las escuelas.
Cualquiera sea el rol asignado al gobierno central o a los responsables en cada
escuela y cualquiera sea el supuesto sobre qu moviliza el mejoramiento al interior de
ellas (respuesta a los incentivos o decisiones mejor informadas), es necesario que los
involucrados tengan claridad de las metas a lograr o estndares, estn identificados y
comprometidos con ellas, reciban y analicen la informacin sobre el logro de las mismas
y tengan capacidades instaladas para monitorearlas.
10
361
lorena meckes
Evaluacin para el
aprendizaje de los
estudiantes
Evaluacin para el
mejoramiento de la escuela
Evaluacin para el mejoramiento
del sistema educativo
362
363
lorena meckes
Evaluacin de
aula
SIMCE 8 2004
TIMSS 2003
Manejar Conocimientos y
Procedimientos.
67%
10%
15%
Usar Conceptos
Resolver problemas de rutina
Razonar
7%
19%
6%
17%
55%
17%
20%
40%
25%
Habilidades
11
364
valores o que resulte menos disonante con la imagen que el cuerpo docente tiene de su
escuela. El desafo aqu es tanto para la medicin nacional e internacional que necesita ampliar el mbito de lo que evala incluyendo competencias claves tales como la
capacidad para interactuar en contextos socialmente heterogneos o actuar autnomamente (Schleicher, 2003) como para las prcticas de uso de informacin al interior de
las escuelas, que requieren romper mitos sobre las mediciones de gran escala, pasando
de un uso selectivo de la informacin disponible a uno en que se complementan las
distintas visiones que se obtienen de los resultados alcanzados.
Finalmente, es necesario considerar que en un sistema de educacin tan segmentado desde el punto de vista social como el chileno (OCDE, 2004b) existe un conflicto
entre la publicacin de los resultados de aprendizaje de cada escuela para usos de
rendicin de cuentas e incentivos y la utilizacin de estos resultados por parte de los
docentes, especialmente para aquellos que ensean en contextos de mayor deprivacin
sociocultural. En estos casos, es ms probable el rechazo a la informacin entregada
por un sistema de evaluacin nacional si este se percibe como injusto. El desafo aqu
es doble; por una parte continuar con la publicacin de resultados contextualizada y
referida a escuelas de similares caractersticas socioeconmicas, incorporando a futuro
indicadores de valor agregado y, por otra parte, enfatizar la necesidad de tener altas
expectativas para todos.
El desafo de futuro para nuestro sistema educacional y para otros sistemas en
el mundo es llegar a ser sistemas que sean ricos en conocimiento no solo a nivel
de responsables de poltica, sino tambin a nivel de los profesionales de la educacin
(Schleicher, 2006), de modo que tanto las decisiones de poltica como el juicio profesional de los docentes y directivos sean informados y basados en evidencia.
365
lorena meckes
Tercer desafo: lograr un balance entre usos para rendicin de cuentas y el uso
por parte de las escuelas para decisiones pedaggicas y de gestin
Existe una tensin natural entre usar las evaluaciones educacionales para rendicin de
cuentas e incentivos y para retroalimentar la labor docente (Hamilton et al., 2002). Esta
tensin se manifiesta en el tipo de motivacin que cada uno de estos usos estimula; ms
extrnseca en el caso de usos para rendicin de cuentas y asociacin de consecuencias e
incentivos y ms intrnseca en el caso de usos para decisiones pedaggicas. El nfasis
que se adopte tambin tiene consecuencias para el diseo mismo de la medicin. Frente
a recursos y tiempos limitados, mientras mayor sea el nfasis en usos de rendicin de
cuentas y asociacin de consecuencias, mayor deber ser la prioridad de alcanzar elevados niveles de objetividad (estandarizacin, precisin y confiabilidad).
El reciente anuncio de una superintendencia de educacin a cargo de realizar o
de supervisar las evaluaciones de prcticamente todos los niveles del sistema desde
los estudiantes hasta el nivel nacional, pasando por sostenedores y escuelas, ofrece
12
La atribucin causal ms frecuente del fracaso escolar entre los docentes es el contexto sociocultural de los estudiantes y tambin las habilidades intelectuales de estos (CIDE, 2003).
366
13
La incorporacin de modificaciones sustanciales en una medicin toma al menos dos aos y medio
ya que se requiere un proceso de elaboracin, experimentacin de los instrumentos el ao previo
a su aplicacin definitiva.
367
lorena meckes
368
369
lorena meckes
Bibliografa
Banco Mundial (2007). El Diseo Institucional de un Sistema Efectivo de Aseguramiento
de la Calidad de la Educacin en Chile.
CCSSO (2004). A Framework for Examining Validity in State Accountability Systems,
Council of Chief State School Officers, Washington D.C.
Centro de Estudios en Polticas Pblicas (2007). Informe del Sistema Educativo en
Chile, Programa Evaluacin de Sistemas Educativos, CEPP y Fundacin Konrad
Adenauer.
CIDE (2003). Encuesta a Actores del Sistema Educativo, Santiago, CIDE.
Cohen, M. (2004). Accountability and State Based Reform: lessons from the U.S. Paper presented at the ECA Education Conference Linking Policies and Actions to Outcomes.
Bucarest, Rumania.
Cook, J. (2005). Reporting to Systems and Schools, 2005 Currculum Corporation
Conference, Australia. Disponible en http://cmslive.currculum.edu.au/verve/_resources/Cook_edited.pdf
Eyzaguirre, B. y Le Foulon (2001). Estndares Altos para la Educacin. Puntos de
Referencia, 247, pp. 1-10.
Eyzaguirre, B. (2002). Los alumnos bajo la lupa: los exmenes con consecuencias individuales. Documento de Trabajo N 331. Centro de Estudios Pblicos.
Ferrer, G. (2006). Sistemas de Evaluacin de Aprendizajes en Amrica Latina, Balance y
Desafos, PREAL.
Forster, M. (2002). Performance Standards and the Measurement of Student Achievement,
Options and Challenges, working paper developed for the Ministry of Education of
Chile.
Hamilton, L.; Stetcher, B. & Klein, S. (2002). Making Sense of Test based Accountability
in Education. Washington D.C., Rand Publications.
Ingram, D.; Seashore, K. & Schroeder, R. (2004). Accountability Policies and Teacher
Decision Making: Barriers to the Use of Data to Improve Practice, in Teachers College
Record, Vol. 106, N 6, pp. 1258-1287.
Linn, R.L. (2001). En Lewis, A. Educational Accountability in the 21st Century, CSE
Technical Report, CRESST, CSE, Los Angeles, California.
Louden, W. & Wildy H. (2001). Developing Schools Capacity to Make Performance
Judgements, Final Report, Institute for the Service Professions, Edith Cowan University,
Western Australia.
Manzi, J. & Flotts, P. (2007). Sistema de Evaluacin del Desempeo Profesional Docente,
Documento de Trabajo, Centro de Medicin MIDE UC.
Ministerio de Educacin (2007a). Niveles de logro 4 Bsico, Lectura y Educacin
Matemtica, SIMCE. Disponible en www.smce.cl.
370
371