Sunteți pe pagina 1din 183

IS

B
N
: 9
7
8
-
8
4
-
7
6
6
6
-
1
9
4
-
9
9
7
8
8
4
7
6
6
6
1
9
4
9
Negro Pantone 375 C
Organizacin
de Estados
Iberoamericanos
Para la Educacin,
la Ciencia
y la Cultura
Organizao
dos Estados
Ibero-americanos
Para a Educao,
a Cincia
e a Cultura
Avances y desafos
en la evaluacin
educativa
Elena Martn
Felipe Martnez Rizo
Coordinadores
Evaluacin
La educacin que queremos
para la generacin de los
Bicentenarios
Metas
Educativas
2021
M
e
t
a
s

E
d
u
c
a
t
i
v
a
s
2
0
2
1
E
v
a
l
u
a
c
i

n

A
v
a
n
c
e
s

y

d
e
s
a
f

o
s

e
n

l
a

e
v
a
l
u
a
c
i

n

e
d
u
c
a
t
i
v
a
Avances y desafos en la evaluacin educativa
En las ltimas dcadas se han producido notables avances en el mbito de la
evaluacin. Sin embargo, son todava escasos los sistemas educativos que cuentan
con modelos asentados de evaluacin de escuelas y de la prctica docente.
La evaluacin de los aprendizajes en el aula necesita cambios profundos. La
evaluacin de las propias polticas educativas y de los programas de innovacin
que desde ellas se impulsan tiene tambin poca tradicin en nuestro entorno.
Este libro ofrece una panormica de los diversos niveles y mbitos de la
evaluacin, destacando los avances y los retos an pendientes.
Metas Educativas 2021
La conmemoracin de los bicentenarios de las independencias debe favorecer
una iniciativa capaz de generar un gran apoyo colectivo. As lo entendieron los
ministros de Educacin iberoamericanos cuando respaldaron de forma unnime
el proyecto Metas Educativas 2021: la educacin que queremos para la generacin
de los Bicentenarios. Semejante tarea colectiva, articulada en torno a la educacin,
ha de contribuir al desarrollo econmico y social de la regin y a la formacin de
ciudadanos cultos y libres en sociedades justas y democrticas. La Coleccin Metas
Educativas 2021 pretende ampliar y compartir el conocimiento e impulsar el debate,
la participacin y el compromiso colectivo con este ambicioso proyecto.
Alfabetizacin
Educacin
tcnico-profesional
Profesin docente
Cultura escrita
Evaluacin
Reformas educativas
Educacin artstica
Infancia
TIC
Series de la coleccin
Evaluacin
La evaluacin de los sistemas educativos, de los programas, de las escuelas, de los
docentes y de los alumnos es una condicin necesaria para mejorar la calidad de
la educacin. La serie de libros sobre evaluacin pretende ofrecer los principales
modelos, indicadores, experiencias e innovaciones que se desarrollan en este
campo.
134027_C.indd 1 13/3/09 21:17:30
Organizacin
de Estados
Iberoamericanos
Para la Educacin,
la Ciencia
y la Cultura
Organizao
dos Estados
Ibero-americanos
Para a Educao,
a Cincia
e a Cultura
Avances y desafos
en la evaluacin
educativa
Elena Martn
Felipe Martnez Rizo
Coordinadores
Evaluacin
Metas
Educativas
2021
134027 Portadilla.indd 1 11/3/09 14:44:57
134027 _ 0001-0184.indd 3 16/3/09 16:10:30
Del texto: Organizacin de Estados Iberoamericanos
para la Educacin, la Ciencia y la Cultura (OEI)
C/ Bravo Murillo, 38
28015 Madrid, Espaa
www.oei.es
Las opiniones de los autores expresadas en este libro no representan necesariamente
los puntos de vista de la OEI.
La coleccin METAS EDUCATIVAS 2021 es una iniciativa de la OEI en colaboracin
con la Fundacin Santillana.
Impreso en Espaa por
ISBN: 978-84-7666-194-9
Depsito legal:
134027 _ 0001-0184.indd 4 16/3/09 16:10:30
ndice
Prembulo, lvaro Marchesi ............................................................................................................... 7
Introduccin, Elena Martn y Felipe Martnez Rizo ........................................................................ 11
La evaluacin educativa hoy ................................................................................................................15
Evaluacin y cambio educativo: los debates actuales sobre las ventajas y los riesgos
de la evaluacin, Alejandro Tiana ....................................................................................... 17
La evaluacin de la calidad de los sistemas educativos: propuesta de un modelo,
Felipe Martnez Rizo ................................................................................................................... 27
Las evaluaciones internacionales, Enrique Roca ...................................................................... 41
Las evaluaciones regionales y nacionales en Amrica Latina, Guillermo Ferrer ................... 53
Las mltiples caras de la evaluacin ...................................................................................................65
Indicadores y desafos de los sistemas educativos en Amrica Latina, Margarita Poggi ...... 67
La evaluacin de polticas y programas: desafos para la gestin en educacin,
Marta Kisilevsky ..............................................................................................................................81
Currculo y evaluacin estandarizada: colaboracin o tensin, Elena Martn ......................89
La evaluacin de centros: riesgos y posibilidades, Leda Badilla ............................................. 99
La evaluacin del desempeo docente para el desarrollo de las competencias
profesionales, Pedro Ravela ...................................................................................................... 113
Evaluacin de los aprendizajes en el aula: una conceptualizacin renovada,
Juan Manuel Esquivel ......................................................................................................... 127
El sentido de la evaluacin .................................................................................................................145
Difusin y uso de resultados de evaluaciones educativas a gran escala
en Amrica Latina, Patricia McLauchlan de Arregui ...................................................... 147
Los resultados de las evaluaciones y su papel en las polticas educativas,
lvaro Marchesi .................................................................................................................. 161
Bibliografa ...........................................................................................................................................169
Los autores ............................................................................................................................................179
134027 _ 0001-0184.indd 5 16/3/09 16:10:30
134027 _ 0001-0184.indd 6 16/3/09 16:10:30
7
Prembulo
lvaro Marchesi
Secretario general de la OEI
En las dos ltimas dcadas se ha producido un enorme avance de la refexin terica y de los
programas aplicados en el campo de la evaluacin, sobre todo, en el mbito de la evaluacin ex-
terna y estandarizada. Las aportaciones no han sido tan claras, sin embargo, en lo referente a la
evaluacin de centros, ni ha llegado con igual fuerza a la evaluacin en el aula. No obstante, existe
un amplio consenso en todos los pases de la regin en que la evaluacin sistemtica y correcta-
mente orientada constituye una de las estrategias principales para la mejora de la calidad de la
enseanza. Fruto de este convencimiento es la creacin en la mayora de los pases de Institutos
Nacionales responsables de la evaluacin educativa, el desarrollo de diversos sistemas de indica-
dores, la creciente participacin de los pases en estudios internacionales como PISA, dirigido
por la OCDE, o aquellos coordinados por la IEA, as como los estudios llevados a cabo por ORE-
ALC/UNESCO a travs del Laboratorio Latinoamericano de Evaluacin de la Calidad Educativa
(LLECE), cuyas tareas se realizan junto con los organismos responsables de la evaluacin de los
Ministerios de Educacin de cada pas.
Tales progresos han servido para destacar que la evaluacin debe enfrentarse a dilemas impor-
tantes que no son sencillos de resolver, que existen determinadas lneas de accin que deben ser
tenidas en cuenta, y que cualquier avance abre nuevos desafos que exigen reforzar la refexin
terica, el anlisis de las prcticas, la coordinacin institucional y la cooperacin internacional.
El conficto existente entre los objetivos de la educacin y los objetivos de la evaluacin afecta
posiblemente a la mayora de los debates que en la actualidad se manifestan en este campo. A
veces da la impresin de que las principales metas de la educacin conocer, convivir, hacer, ser
y determinadas competencias y valores asociados a ellas innovacin, creatividad, compasin,
sensibilidad, justicia apenas tienen que ver con los proyectos de evaluacin y con la informacin
obtenida a travs de ellos o, al menos, con aquella informacin que se transmite a la opinin
pblica. Aunque los estudios PISA establecen no solo el lugar que cada pas alcanza en los logros
acadmicos de sus alumnos, sino tambin la equidad de su sistema escolar, prcticamente todos
los medios de comunicacin han destacado en sus titulares la primera de las informaciones y han
relegado a un segundo plano la segunda.
Esta tensin entre el sentido de la educacin y el sentido de la evaluacin est presente en la ma-
yora de los mbitos educativos. Se muestra en la evaluacin del sistema educativo y de sus pro-
gramas, as como en la evaluacin de las escuelas, de los docentes y de los alumnos. Es cierto que
el rigor de los sistemas de obtencin de informacin y de anlisis, exigidos por la mayora de las
evaluaciones, contrasta con la libertad del discurso pedaggico, lo que puede explicar buena parte
de los desajustes existentes. Pero no es menos cierto que, en ocasiones, da la impresin de que
cada uno de los discursos sigue trayectorias claramente diferentes, expresin en muchos casos de
opciones ideolgicas distintas. A veces, las evaluaciones no pueden, por razones metodolgicas,
ajustarse a las intenciones educativas establecidas. Otras, por el contrario, pretenden orientarlas y
134027 _ 0001-0184.indd 7 16/3/09 16:10:30
8
modifcarlas, y establecer, a travs de la evaluacin, lo que deben ser los objetivos prioritarios de
la educacin escolar.
Hay que tener en cuenta la diversidad de situaciones educativas en cada pas, as como las dife-
rencias existentes en el seno de cada uno de ellos. Este panorama complica no solo las evaluacio-
nes internacionales, sino tambin los propios sistemas nacionales de evaluacin. Los procesos de
descentralizacin y de apuesta por la autonoma de las escuelas obligan a adaptar los sistemas
de evaluacin a la nueva realidad educativa. Lo mismo sucede, o debera suceder, si se tiene en
cuenta la diversidad de culturas y de lenguas presentes en Iberoamrica, no digamos la diversidad
del alumnado. El desafo para los sistemas y proyectos de evaluacin es lograr un acertado equilibrio
entre los modelos comunes de evaluacin y su correcta adaptacin a la enorme pluralidad existente,
y evitar de esa forma que el inters por mejorar la gestin educativa a travs de la descentraliza-
cin y de la autonoma no termine por reforzar la homogeneizacin a travs de la evaluacin.
No hay que olvidar que las evaluaciones se disean desde una perspectiva ideolgica y educativa
determinada, y que los datos que se obtienen en ellas no permiten obtener conclusiones inme-
diatas y directas. Es importante destacar que no puede olvidarse en la labor interpretativa la
infuencia del contexto y de la situacin de partida de los sistemas educativos, de los programas
y de las escuelas evaluadas; el impacto de la organizacin y del funcionamiento de las escuelas;
el efecto del proceso de enseanza y de aprendizaje en el aula y de los factores que inciden en el
desarrollo del currculo, incluso el propio diseo de currculo y las intenciones educativas conte-
nidas en l; y la infuencia, fnalmente, de las polticas educativas en marcha y de la propia gestin
de las administraciones educativas. Lo que se muestra de forma cada vez ms clara es que cual-
quier evaluacin, por limitado que sea su alcance, no debe prescindir de un enfoque sistmico de
la realidad educativa, inmersa adems en un contexto social determinado.
Todo ello pone de relieve el cuidado con el que hay que abordar las evaluaciones educativas y
la utilizacin de los resultados que se obtienen. La presentacin comparada de los resultados
directos que logran los alumnos en las pruebas de rendimiento no parece que sea una estrategia
sensible al conjunto de factores que condicionan los resultados obtenidos. Tampoco es capaz de
reconocer el posible esfuerzo que la escuela y los profesores han podido realizar para ir ms all
de lo que se esperara de los alumnos a partir de su contexto, de sus condiciones iniciales y de sus
conocimientos previos.
La evaluacin del profesorado se confgura en estos momentos como uno de los grandes retos que
deben ser abordados con el mximo cuidado. Sin duda, la formacin y el desempeo de los do-
centes es uno de los factores principales de la calidad de un sistema educativo, y la evaluacin de
su accin educadora puede llegar a ser una positiva estrategia de apoyo a los docentes y de mejora
de la calidad de la enseanza. Pero es preciso tener en cuenta que el trabajo de los profesores no
es ajeno a su formacin inicial y permanente, a sus condiciones laborales, a la existencia de una
carrera profesional y al contexto social y educativo en el que desempean su trabajo. Por ello, las
propuestas de evaluacin del trabajo de los profesores no deben olvidarse del contexto en el que
desarrollan su labor y han de estar estrechamente relacionadas con el desarrollo de su carrera
profesional y con el apoyo para mejorar la calidad de su enseanza.
Lo retos a los que se enfrenta la evaluacin educativa deben servir de estmulo para la incor-
poracin de metodologas variadas que den cuenta, desde sus diferentes aproximaciones, de la
complejidad de la accin educadora, tanto de las instituciones como de sus profesionales. Por
Prembulo
134027 _ 0001-0184.indd 8 16/3/09 16:10:30
9
ello, junto con los enfoques ms cuantitativos, deberan tenerse en cuenta otros de corte cuali-
tativo que ayudaran a la interpretacin de los datos obtenidos. De la misma forma, el nfasis en
el dilogo con aquellos que van a participar en los procesos de evaluacin, la informacin sobre
las caractersticas del mismo y sobre sus consecuencias, as como el cuidado para que se sientan
participantes activos y no solo sujetos pacientes de programas diseados a sus espaldas, son con-
diciones que garantizan un mayor xito de las evaluaciones, es decir, un impacto positivo en la
mejora de la calidad de la educacin.
Hay que reconocer que queda todava mucho camino por recorrer. Es preciso planifcar las po-
lticas de acuerdo con una slida fundamentacin terica que aproveche lo que se ha podido
aprender de todas las experiencias que vienen realizndose en las ltimas dcadas y ser capaz de
enfrentarse a los dilemas existentes en este campo. Adems, no hay que perder de vista que los
objetivos de la evaluacin son mejorar la calidad de la educacin, lograr reducir las desigualdades
educativas, orientar el cambio educativo y las polticas pblicas que lo gestionan, fortalecer las
escuelas, favorecer el desarrollo profesional de los docentes y mejorar el aprendizaje de todos los
alumnos. Todo ello constituye, sin duda, una agenda enormemente exigente.
En este contexto de progresos y de nuevos desafos, la OEI pretende colaborar, junto con los pa-
ses y los dems organismos internacionales presentes en la regin, en el impulso a la refexin te-
rica, en el apoyo a las iniciativas nacionales e internacionales en el campo de la evaluacin, en el
fortalecimiento de las instituciones de evaluacin presentes en cada pas y en la bsqueda de una
mayor relacin entre las fnalidades de la educacin y el desarrollo de las futuras evaluaciones.
Existe una oportunidad histrica para lograrlo en el desarrollo del proyecto Metas Educativas
2021: la educacin que queremos para la generacin de los Bicentenarios. Entre sus objetivos
para transformar la educacin a lo largo de la prxima dcada se encuentran los referidos a la
evaluacin, y entre sus programas de accin para ayudar a los pases a lograr las metas propuestas
se encuentran tambin el refuerzo y la cooperacin en las acciones evaluadoras.
El avance de este ambicioso proyecto exige, entre otras cosas, un potente y riguroso sistema de eva-
luacin que permita realizar el seguimiento de las polticas de los distintos pases. Algunas de las
medidas que ser preciso impulsar en el marco del proyecto Metas Educativas 2021 apuntan a refor-
zar las unidades de obtencin de informacin de los Ministerios de Educacin; a ampliar y extender
un sistema de indicadores conjunto; a desarrollar entre todos modelos integrales de evaluacin de
los sistemas educativos y de las escuelas; a elaborar y difundir modelos de evaluacin del profesora-
do; y a apoyar las evaluaciones internacionales que se estn llevando a cabo en la regin.
Hay que sealar, fnalmente, que el proyecto de las Metas Educativas 2021 incluye un sistema de se-
guimiento y evaluacin para valorar su grado de consecucin. As lo entendieron los ministros de
Educacin cuando, en su declaracin fnal en la Conferencia de El Salvador en mayo de 2008, acor-
daron tambin progresar en la elaboracin de mecanismos de evaluacin regional. La propuesta
sobre la que se est trabajando establece informes peridicos de avance, que muestren el nivel de
logro alcanzado en las diversas metas, informes especfcos, bien temticos o bien subregionales, e
informes conjuntos que pongan en relacin los progresos registrados en las Metas Educativas 2021
con otros proyectos internacionales. Una tarea y un esfuerzo compartidos que deben reposar sobre
la confanza mutua y la transparencia, basados en el conocimiento cientfco y prctico acumulado
en la regin, a partir del esfuerzo que ya se est realizando, y adaptados a la diversidad de puntos
de partida, de situaciones y de prioridades educativas de cada uno de los pases.
lvaro Marchesi
134027 _ 0001-0184.indd 9 16/3/09 16:10:30
134027 _ 0001-0184.indd 10 16/3/09 16:10:30
11
Introduccin
Elena Martn y Felipe Martnez Rizo
Comprobar en qu medida se estn consiguiendo los objetivos que se persiguen es una activi-
dad que los humanos hacemos muchas veces a lo largo del da. Evaluamos as si vamos o no por
buen camino, y es la nica forma de mejorar nuestro comportamiento. La evaluacin educativa
responde a esta misma lgica. Los sistemas escolares tienen que dotarse de procedimientos que
les permitan conocer en qu grado se van logrando las metas educativas que la sociedad les ha
encargado y, sobre todo, las razones que se vinculan al grado de xito. Parece legtimo, por tanto,
afrmar que la evaluacin es un factor nuclear e irrenunciable de la calidad de la enseanza.
Este libro pretende presentar una visin global de los distintos niveles, mbitos y dimensiones
que se incluyen dentro del amplio campo de la evaluacin educativa. A pesar de este objetivo de
globalidad, obviamente ha sido necesario acotar el enfoque y el contenido de la obra. Un primer
foco se refere al mbito geogrfco que abarca el libro. La refexin se centra en el contexto ibero-
americano. Se trata de analizar los modelos y actividades que tienen mayor presencia en la regin,
lo que no quita, desde luego, que se presenten en algunos casos experiencias que se realizan en
otros pases.
Los captulos abordan la evaluacin en las etapas educativas anteriores a la universidad y otras
formas de enseanza superior. En muchos pases iberoamericanos la educacin bsica sigue pre-
sentando grandes retos, y se ha considerado prioritario dedicar este primer libro a su mejora a
travs de la evaluacin. En sucesivos volmenes de la serie se tratarn otros niveles educativos y
otros temas sin duda relevantes.
La voluntad de los coordinadores y autores del libro ha sido dirigirnos al conjunto de los profesio-
nales que trabajan en el sistema educativo y no nicamente a los expertos en el tema. Ello supone
intentar mantener un difcil equilibrio entre el rigor y la accesibilidad. Confamos en haberlo con-
seguido y remitimos al lector que desee profundizar en algn tema a las referencias bibliogrfcas
que se recogen en las pginas fnales.
En el libro se ha buscado conseguir un segundo equilibrio, no menos difcil, entre la valoracin
positiva de los aciertos que se reconocen en las prcticas evaluativas que se han desarrollado y
el anlisis de los riesgos y las insufciencias que se identifcan. Para quienes han participado en el
libro resulta obvio que la evaluacin es necesaria, pero con igual claridad consideramos que con-
tribuir a su mejora implica ser los primeros en seguir refexionando sobre las difcultades para
encontrar la forma de superarlas.
El volumen se organiza en tres partes. La primera de ellas, La evaluacin educativa hoy, comien-
za con un captulo escrito por Alejandro Tiana, que presenta el contexto en el que se inscribe la
creciente importancia de la evaluacin en el mundo actual, en contraste con lo que ocurra hace
poco tiempo, y expone las tensiones que estn presentes en el momento de defnir las metas de la
evaluacin, los procedimientos para llevarla a cabo y el uso que de sus resultados se hace.
134027 _ 0001-0184.indd 11 16/3/09 16:10:31
12
El siguiente captulo propone un marco de referencia en el que se puedan situar los diversos
acercamientos que se presentarn en la segunda parte, dado que la evaluacin no se reduce al
acercamiento ms conocido, basado en la aplicacin de pruebas de rendimiento. La voluntad de
cubrir diversos acercamientos a la evaluacin en forma amplia y global exiga hacer explcita la
perspectiva en que se sita el libro, dado que existen opciones muy diferentes, cuando no contra-
dictorias. Esta toma de posicin constituye el contenido del estudio debido a la pluma de Felipe
Martnez Rizo.
Los dos captulos restantes de la primera parte ofrecen vistas panormicas de las evaluaciones
que se llevan a cabo en los pases iberoamericanos. En el tercer trabajo, Enrique Roca repasa el
mbito de las evaluaciones realizadas por los principales organismos internacionales: IEA, OCDE
y UNESCO. Por su parte, Guillermo Ferrer aborda a continuacin las evaluaciones que se llevan
a cabo en Latinoamrica, tanto en el nivel nacional como en el internacional.
La segunda parte, Las mltiples caras de la evaluacin, analiza tipos especfcos de evaluacin.
Tres estudios presentan acercamientos que se referen al conjunto de los sistemas educativos.
El primero de ellos, de Margarita Poggi, analiza un instrumento esencial en la evaluacin de la
calidad educativa: los sistemas de indicadores, destacando su relacin con los principales desafos
que enfrentan los sistemas educativos.
Marta Kisilevsky desentraa una parcela poco estudiada: la evaluacin de las polticas educati-
vas, que sin duda requieren de un proceso de refexin sobre su grado de xito o fracaso tanto o
ms que otros elementos del sistema.
Por su parte, Elena Martn se refere a las pruebas estandarizadas, que evalan el aprendizaje en la
escala de los sistemas educativos, analizando en qu medida ayudan a iluminar las competencias
bsicas del currculo o si, por el contrario, simplifcan las intenciones educativas, al evaluar no
tanto lo que se debe, cuanto lo que se puede.
Los tres captulos restantes de esta parte presentan acercamientos de evaluacin que se referen a
mbitos ms restringidos.
El texto de Leda Badilla se centra en la evaluacin del centro escolar, como unidad esencial de la
calidad de la educacin y por ello tambin de la evaluacin. La evaluacin de los establecimien-
tos educativos con una fnalidad de mejora y no de control es un enfoque poco desarrollado, en
especial en Amrica Latina, pese a que es el punto de partida para los siempre reclamados planes
de mejora de la calidad.
La evaluacin de los docentes es, en este momento, uno de los retos de todos los sistemas edu-
cativos: cmo hacerla, de qu forma vincularla al desarrollo profesional, su dependencia o inde-
pendencia de la evaluacin del conjunto del centro escolar. Pedro Ravela revisa desde una lcida
crtica los modelos que se utilizan y propone en su artculo ciertos principios que permitiran
impulsar experiencias ms positivas.
En el siguiente captulo se aborda nuevamente la evaluacin del aprendizaje, pero ahora desde
la perspectiva del aula. Juan Manuel Esquivel revisa los procedimientos de evaluacin desde su
capacidad para evaluar el rendimiento de los estudiantes de acuerdo con las competencias que se
recogen en el currculo como las metas de la educacin escolar.
Introduccin
134027 _ 0001-0184.indd 12 16/3/09 16:10:31
13
Como pretende indicar su nombre, El sentido de la evaluacin, la tercera parte del libro parte de la
idea central de que la evaluacin no es un fn en s misma, sino que cobra sentido en la medida en
que sus resultados son conocidos y aprovechados para sustentar decisiones que lleven a la mejora
de la calidad, que es el propsito ltimo que toda evaluacin debe perseguir.
El primer captulo de este bloque se ocupa de la difusin de resultados, una de las grandes dif-
cultades del tema. La complejidad de toda evaluacin relevante implica una complejidad similar
en la interpretacin de sus resultados. Con demasiada frecuencia se difunden conclusiones re-
duccionistas y simplifcadoras, cuando no directamente errneas. Afrontar este problema supone
planifcar la difusin, como bien expone Patricia McLauchlan de Arregui.
Finalmente, el texto de lvaro Marchesi analiza la razn de ser de la evaluacin, que no es otra
que guiar las polticas educativas. Asumir esta funcin clave no supone atribuir a la evaluacin
la exclusividad de las fuentes de las que puede y debe nutrirse la toma de decisiones de los res-
ponsables de las administraciones educativas. Encontrar el punto de equilibrio en el uso de los
resultados de la evaluacin no es una tarea sencilla, pero sin duda es esencial avanzar hacia ello.
Como se ha dicho, en sucesivos volmenes de la serie que se inaugura con esta obra se tratarn
otros temas relevantes para quienes se interesan en la educacin. Esperamos que el contenido de
los captulos siguientes enriquezca la visin de sus lectores sobre un tema tan relevante como es
el de la evaluacin.
Elena Martn y Felipe Martnez Rizo
134027 _ 0001-0184.indd 13 16/3/09 16:10:31
134027 _ 0001-0184.indd 14 16/3/09 16:10:31
La evaluacin educativa hoy
134027 _ 0001-0184.indd 15 16/3/09 16:10:31
134027 _ 0001-0184.indd 16 16/3/09 16:10:31
17
Evaluacin y cambio educativo: los debates
actuales sobre las ventajas y los riesgos
de la evaluacin
Alejandro Tiana
Una de las personas que ha refexionado de manera ms incisiva sobre el papel que desempea la
evaluacin en nuestra sociedad actual, el profesor Ernst House, iniciaba una de sus obras ms in-
fuyentes, escrita a comienzos de la dcada de los noventa, hablando de los cambios que l mismo
haba observado en este campo a lo largo de su vida profesional. Sus palabras, que no me resisto a
citar, aunque ya lo haya hecho en alguna ocasin anterior, resultan muy reveladoras: Cuando co-
menc mi carrera en evaluacin hace ms de veinticinco aos, reun todos los trabajos que pude
encontrar en una pequea caja de cartn en un rincn de mi despacho y los le en un mes. Desde
entonces, la evaluacin ha pasado de ser una actividad marginal desarrollada a tiempo parcial
por acadmicos a convertirse en una pequea industria profesionalizada, con sus propias revistas,
premios, reuniones, organizaciones y estndares (House, 1993, p. 1, traduccin del ingls).
Si en 1993 House hablaba de una pequea industria profesionalizada, hoy creo que se puede ha-
blar de una industria en toda regla. En efecto, al echar la vista atrs a lo que ha sucedido en las dos
ltimas dcadas, observamos que por todas partes se han establecido sistemas de evaluacin y de
acreditacin tanto en el mbito empresarial como en los servicios pblicos (no solo los educa-
tivos), que se han constituido sociedades nacionales, regionales e internacionales de evaluacin,
que se han puesto en marcha ambiciosos proyectos de elaboracin y difusin de indicadores en
campos muy diversos, que se ha consolidado la oferta de formacin acadmica en materia de
evaluacin: en suma, que la evaluacin ha encontrado su lugar propio en el campo del saber y en
el de la actuacin pblica y privada.
Al contemplar lo que ha sucedido en el mundo especfcamente educativo, no podemos sino re-
forzar esa apreciacin, pues desde fnales de la dcada de los ochenta, y sobre todo en los ltimos
quince aos, se ha generalizado la constitucin de sistemas nacionales de evaluacin educativa,
que desarrollan distintos tipos de actividades. La aplicacin de pruebas estandarizadas de rendi-
miento, la construccin de indicadores, la evaluacin y autoevaluacin de los centros educativos
o la evaluacin del desempeo de los docentes no son sino una pequea muestra del tipo de
iniciativas puestas hoy en marcha en la inmensa mayora de los pases iberoamericanos. Hoy eva-
luamos (o, al menos, hablamos de evaluar) todo el mbito de la educacin: el rendimiento de los
alumnos, los currculos escolares, los centros educativos, los programas especfcos o sectoriales
y el trabajo de los docentes.
Como consecuencia de ese proceso, la evaluacin ha ido abarcando mbitos progresivamente ms
amplios, al tiempo que se ha diversifcado, reforzando as una tendencia que ya se apuntaba hace
134027 _ 0001-0184.indd 17 16/3/09 16:10:31
18
ms de diez aos (Tiana, 1996). Adems, las incipientes iniciativas internacionales de evaluacin
educativa de la segunda mitad del siglo xx han dado paso a operaciones amplias, complejas y de
gran impacto poltico y meditico, como el proyecto PISA, desarrollado por la Organizacin para
la Cooperacin y el Desarrollo Econmico (OCDE) o los estudios TIMSS y PIRLS, promovidos
por la Internacional Association for the Evaluation of Educational Achievement (IEA). Puede
decirse que, frente a quienes consideraban que se trataba simplemente de una moda, que bien
podra ser pasajera, la evaluacin ha llegado para quedarse en nuestros sistemas educativos, al
menos por un largo tiempo.
Siendo as la situacin, merece la pena refexionar seriamente acerca de cul es la funcin que hoy
da desempea la evaluacin en el mbito educativo. Y una de las conexiones ms importantes
que cabe establecer es la que relaciona la evaluacin con el cambio en educacin. La refexin
sobre ese asunto es el objeto de estas pginas.
EDUCACIN Y CAMBIO
Si hay una realidad indisociable de la tarea educativa, creo que es precisamente el cambio, la trans-
formacin. La esencia ltima de la educacin consiste en producir cambios en los ms jvenes,
para convertirlos en personas adultas capaces de afrontar con garantas de xito los desafos que
se les plantearn a lo largo de la vida. Por lo tanto, educar consiste en ltima instancia en producir
y acompaar procesos de cambio personal. Pero la meta a la que ese proceso se orienta, esto es,
una vida adulta provechosa y satisfactoria en una sociedad determinada, es asimismo cambiante,
pues las sociedades han cambiado siempre a lo largo de la historia y continan hacindolo, con
un ritmo adems cada vez ms rpido. Por lo tanto, no se puede concebir una educacin esttica
(aunque algunos parecieran quererla en ocasiones), sino que debemos aprender a convivir con el
cambio y a aprovecharlo para lograr nuestros propsitos.
Ahora bien, el cambio es una realidad ambivalente. Por una parte, es un fenmeno natural, que se
produce al margen de nuestra voluntad. Quermoslo o no, el mundo cambia en todos sus aspec-
tos. Es cierto que no hay que considerar que la transformacin represente siempre un progreso o
avance, pues por desgracia tambin puede suponer lo contrario, pero es una quimera soar con
una realidad esttica. Por otra parte, pretendemos ser capaces de orientar el cambio para que nos
permita mejorar, avanzar, tambin en educacin. No nos resignamos a que el cambio se produzca
de forma ciega, sin nuestra intervencin, sino que nos planteamos incidir en l. Por eso disea-
mos reformas y programas de mejora educativa, por ejemplo.
Tratndose de una realidad ambivalente, no es extrao que haya atrado mucha atencin. El es-
tudio del cambio en educacin cuenta ya con una larga tradicin y las investigaciones realizadas
ponen de manifesto su complejidad. Algunos autores han dedicado a esa tarea una buena parte
de sus esfuerzos acadmicos, realizando aportaciones de gran inters (Fullan, 1993 y 1999). Los
trabajos llevados a cabo han puesto de manifesto la complejidad de los procesos de cambio y
nos han alertado acerca de los riesgos que corremos al interpretar dichos fenmenos de manera
unilateral o al creer que nuestros propsitos son directamente trasplantables a la realidad, sin
tener en cuenta los condicionantes a que se enfrentan. Por eso, siempre que hablamos de cambio
debemos ser extremadamente cautelosos. Por ejemplo, algunos de los problemas causados por los
procesos recientes de reforma educativa emprendidos en diversos lugares derivan del olvido de
esa complejidad (Saranson, 2003).
Evaluacin y cambio educativo: los debates actuales
134027 _ 0001-0184.indd 18 16/3/09 16:10:31
19
LA EXPANSIN DE LA EVALUACIN COMO RESULTADO DEL CAMBIO
DE LOS SISTEMAS EDUCATIVOS
Al analizar las relaciones que pueden establecerse entre la evaluacin y el cambio educativo, lo
primero que debemos destacar es que el proceso de auge y expansin de aquella es en buena
medida consecuencia de este. En efecto, no se entender correctamente el papel y la funcin que
desempea hoy da la evaluacin si la desvinculamos de los cambios experimentados por los
sistemas educativos actuales.
No cabe duda de que los sistemas educativos estn hoy sometidos a fuertes tensiones e incerti-
dumbres. Hay quien habla de crisis y quien prefere hacerlo, con palabras ms medidas, de trans-
formacin profunda. Sin querer entrar aqu en ese debate conceptual y terminolgico, lo cierto es
que el ritmo actual de cambio de los sistemas educativos es probablemente el ms intenso desde
su constitucin, que recordemos que se produjo en paralelo con la formacin del Estado nacio-
nal y el trnsito de una sociedad estamental a una sociedad de clases, a fnales del siglo xviii y
comienzos del xix.
Son varios los factores que han provocado esa situacin de incertidumbre. Entre ellos hay que
destacar, por su importancia, la puesta en cuestin del Estado-nacin por el auge de la globali-
zacin y de los procesos de articulacin y convergencia supranacional; la extensin del concepto
del aprendizaje a lo largo de la vida, que ha obligado a relativizar el papel de la educacin formal;
la renovada conciencia de la estrecha interrelacin entre la educacin y el desarrollo econmico
y social, que ha vuelto a atraer la atencin hacia los fenmenos educativos, y la gran infuencia
que ha ejercido la ideologa neoliberal, que ha puesto en cuestin el papel que debe desempear
el Estado en la prestacin de los servicios pblicos.
Flexibilidad, descentralizacin y autonoma escolar
Como resultado de la confuencia de todos estos factores, los sistemas educativos afrontan nue-
vas demandas y se han visto obligados a desarrollar nuevos modelos de actuacin. Sobre todo,
se les ha exigido que acenten su fexibilidad. Si el objetivo actual consiste en proporcionar a
todos los jvenes, sin distincin de sexo, etnia u origen socioeconmico, una educacin comn,
equivalente, durante un largo perodo de tiempo (generalmente desde los seis aos hasta los
diecisis), resulta ineludible hacer hincapi paralelamente en la atencin a la diversidad. En
efecto, una educacin que pretende ser comn no puede concebirse de manera uniforme, ni
impartirse de forma idntica para todos, sino que debe adaptarse a la diversidad de situaciones,
condiciones de partida, intereses y contextos. Por lo tanto, las escuelas deben actuar en con-
sonancia con esa diversidad, adaptando su organizacin, su currculo y su modo de funciona-
miento a las circunstancias cambiantes en que se desenvuelven, esto es, aplicando el criterio de
fexibilidad. Es lo que ha dado en denominarse una nueva personalizacin de la accin educa-
tiva (OCDE, 2006).
La demanda de fexibilidad ha repercutido directamente en la descentralizacin de los servicios
educativos, de un lado, y en el refuerzo de la autonoma escolar, de otro. No hay que confundir
ambos fenmenos, pues aunque estn generalmente relacionados son claramente distinguibles.
As, existen Estados que han descentralizado notablemente la educacin hacia las regiones, co-
munidades o municipios y, sin embargo, continan sometiendo a sus escuelas a una regulacin
bastante rgida, como tambin se dan casos a la inversa. Considerada la situacin en conjunto, es
Alejandro Tiana
134027 _ 0001-0184.indd 19 16/3/09 16:10:31
20
evidente que la ltima dcada ha asistido a un intenso movimiento descentralizador en el mbito
internacional, que tambin se ha dejado sentir en los pases iberoamericanos. El cambio as pro-
ducido no ha dejado de suscitar debates, pues en ocasiones la descentralizacin se ha entendido
como un traspaso del sistema escolar por parte del Estado hacia entidades territoriales menores,
sin ir siempre acompaado de los recursos sufcientes y sin insistir en la regulacin estatal que
debiera asegurar la prestacin del servicio pblico de la educacin en condiciones de equidad.
Pero, en trminos generales, estos procesos se han situado en el contexto de una tendencia ms
amplia que se ha extendido a escala planetaria. En contraposicin con lo que ha ocurrido con
la descentralizacin, el refuerzo de la autonoma escolar, aunque ha estado muy presente en el
discurso educativo, no se ha visto siempre acompaado de medidas que lo hiciesen posible. Por
lo tanto, hay que sealar que ambos fenmenos han sido asimtricos y no han tenido necesaria-
mente una evolucin paralela.
El nfasis en la descentralizacin y en la autonoma escolar ha tenido un efecto evidente sobre la
expansin de la evaluacin educativa, como consecuencia del cambio que ha introducido en los
modos de control de la educacin. En los sistemas educativos uniformes y centralizados, el control
se basa en una combinacin de tres factores: una produccin normativa generalmente reglamen-
tista y detallada, que fja con precisin el marco de actuacin de las escuelas y del profesorado;
una regulacin minuciosa de los procesos escolares, sobre todo en relacin con el currculo que
se debe desarrollar, los manuales que hay que utilizar, los tiempos escolares que pautan la vida es-
colar y las agrupaciones del alumnado, y la actuacin de los servicios de inspeccin y supervisin
educativa que aseguran el cumplimiento de las normas establecidas.
Por el contrario, en los sistemas ms descentralizados o con mayor autonoma escolar, esos
procedimientos de control, sin perder totalmente su funcionalidad, han sido total o parcial-
mente sustituidos por otros, basados fundamentalmente en la evaluacin y el seguimiento de
los resultados obtenidos. A cambio de la relajacin del detalle de la normativa general y de la
menor regulacin de los procesos, las administraciones han pasado a controlar ms de cerca el
rendimiento del sistema y de sus componentes. Es cierto que la medicin y la valoracin de los
resultados que obtienen los alumnos y las escuelas son tareas complejas y que no estn exentas
de complicaciones, como se plantea en otros captulos de este mismo libro, pero ello no es excusa
para no abordarlas. As pues, las autoridades educativas han comenzado a percibir la evaluacin
como un instrumento til para la administracin y el control de la educacin, y en consecuen-
cia la han fomentado. No hay que interpretar que el proceso haya sido plenamente coherente o
similar en todos los pases, ni tampoco que se haya completado en todas partes, pero, en trmi-
nos generales, creo que la descripcin anterior refeja adecuadamente el cambio que se ha ido
produciendo.
El lector reconocer este tipo de argumentacin y su lgica subyacente, que enlaza fexibilidad
con descentralizacin, autonoma y evaluacin, en la puesta en marcha de muchos sistemas na-
cionales de evaluacin educativa durante las dos ltimas dcadas. Este cambio ha provocado
diversos debates, relativos, por ejemplo, a la legitimidad de la descentralizacin y de la evalua-
cin como un nuevo mecanismo de control, a la complejidad de la evaluacin de los resultados
escolares, o a la articulacin entre currculo y evaluacin, especialmente en lo que se refere al
tratamiento que reciben las reas menos susceptibles de medicin estandarizada. Las discusiones
han sido en ocasiones intensas y cargadas de sentido. Pero la conclusin, cuando echamos la
vista al proceso desarrollado, es que no han frenado la expansin de los sistemas nacionales de
Evaluacin y cambio educativo: los debates actuales
134027 _ 0001-0184.indd 20 16/3/09 16:10:31
21
evaluacin, seguramente porque estn bien adaptados a las nuevas demandas que se plantean a
los sistemas educativos.
Devolucin de responsabilidades y rendicin de cuentas
Los sistemas educativos no solo se enfrentan a una demanda de mayor fexibilidad en su modo
de organizacin y en su funcionamiento, sino que tambin se les reclama que promuevan una
mayor implicacin de los ciudadanos y de la llamada sociedad civil en la gestin de los asuntos
educativos. En ltima instancia, se trata de dos fenmenos relacionados, de dos caras de la misma
moneda, si se quiere. La descentralizacin y la autonoma escolar han sido frecuentemente inter-
pretadas como parte de un movimiento poltico de devolucin de las responsabilidades educati-
vas a instancias de gestin ms cercanas a la ciudadana.
Este planteamiento tiene profundas connotaciones polticas y ha generado importantes debates.
Por una parte, se acepta generalmente que la gestin de los asuntos educativos debe incorporar
a todos los sectores que componen la comunidad educativa. Ese es el fundamento de que los
sistemas educativos actuales hayan incorporado el principio de participacin democrtica en su
funcionamiento, aunque lo lleven a la prctica de maneras diversas. An ms, por lo general nos
planteamos que no basta con asegurar una participacin formal, al estilo de la que se produce en
los denominados consejos escolares, sino que se debe dar un paso ms all y lograr una efectiva
implicacin de la comunidad en los asuntos educativos. Ese es el motivo de que, por ejemplo,
muchos de los sistemas nacionales de evaluacin estudien hoy el grado de implicacin de las fa-
milias en la educacin de sus hijos. Pero, por otra parte, la citada devolucin de responsabilidades
suscita algunos recelos, como los derivados del rechazo a los planteamientos neoliberales que
defenden que el Estado debe achicarse y actuar de manera subsidiaria a la actuacin de familias
y comunidades, sembrando as la semilla de nuevas desigualdades en materia de educacin. Para
quienes compartimos dichas crticas, la devolucin de responsabilidades tiene justifcacin social
y poltica siempre que no implique el descuido del papel crucial del Estado en la prestacin del
servicio pblico educativo o el abandono a las simples fuerzas del mercado de un mbito tan fun-
damental de actuacin pblica como es la educacin.
Entre las principales consecuencias que ha producido este complejo movimiento de devolucin
de responsabilidades, descentralizacin educativa y refuerzo de la autonoma escolar cabe desta-
car la aparicin de una nueva demanda de rendicin de cuentas en el mbito educativo. Los sis-
temas educativos reciben importantes recursos y se espera de ellos que realicen una contribucin
relevante al desarrollo econmico y social. Las escuelas gozan de la confanza pblica para contri-
buir a formar lo mejor posible a los ciudadanos ms jvenes. A cambio, los sistemas educativos y
las escuelas deben dar cuenta de la utilizacin que hacen de los recursos que se les confan y, sobre
todo, de los resultados que consiguen. Frente a la imagen muy difundida del sistema educativo
como una caja negra, de la que no se conoce qu sucede exactamente en su interior, se extiende
la demanda de una mayor transparencia y una rendicin de cuentas coherente con los principios
de la gestin democrtica.
La difusin de ese planteamiento de rendicin de cuentas ha contribuido notablemente a la ex-
pansin de los sistemas nacionales de evaluacin en la ltima dcada. Los estudios que llevan
a cabo pretenden dar respuesta a las preguntas que se formulan acerca de los logros educativos
conseguidos, los avances experimentados, el grado de equidad alcanzado o el uso que se hace de
los recursos existentes, estableciendo adems comparaciones entre pases, regiones e incluso es-
Alejandro Tiana
134027 _ 0001-0184.indd 21 16/3/09 16:10:31
22
cuelas. Las respuestas dadas a esos interrogantes son consideradas clave para adoptar estrategias
de actuacin, para establecer prioridades polticas, para incentivar a las escuelas y al profesorado,
para mostrar a las familias y a los ciudadanos lo que se ha conseguido (y lo que falta por conse-
guir) y para objetivar el debate pblico acerca de la educacin.
LA EVALUACIN COMO INSTRUMENTO DE CONDUCCIN
DE LOS PROCESOS DE CAMBIO
Pero aunque el auge y la expansin de la evaluacin se expliquen en buena medida como conse-
cuencia de las transformaciones experimentadas por los propios sistemas educativos, no hay que
creer que se trate de procesos ciegos o faltos de direccin. Como se indicaba ms arriba, la preten-
sin de controlar y dirigir el cambio es una constante en la educacin. Y la relevancia adquirida
por la evaluacin tambin se explica parcialmente por los objetivos que se le han asignado en los
sistemas educativos actuales, dicho de otro modo, por lo que se ha querido conseguir mediante
su aplicacin generalizada.
Los nuevos modos de gestin educativa a que antes se haca referencia han hecho aparecer y di-
fundirse nuevos modelos de administracin. Uno de los que ms han llegado a calar es el modelo
de conduccin o seguimiento. Su imagen sera la de un sistema que funciona y se desarrolla con
notable autonoma interna (el sistema educativo) y al que interesa ir orientando (desde la admi-
nistracin) para asegurar que se alcanzan los objetivos establecidos. En ese modelo, la evaluacin
desempeara un papel fundamental para controlar la direccin y el ritmo del cambio y para
comprobar la distancia que an resta para alcanzar los objetivos marcados.
El modelo de conduccin o seguimiento era difundido a comienzos de los noventa por Gilbert
de Landsheere, quien lo defna como la toma de decisiones al nivel macroscpico (es decir, de
un sistema o subsistema educativo) o microscpico (es decir, de un establecimiento o incluso una
clase), sobre la base de constata ciones tan objetivas como sea posible, relativas al estado, al fun-
cionamiento o a los productos del sistema (De Landsheere, 1994, p. 8, traduccin del francs).
En tiempos recientes se ha planteado un nuevo debate acadmico y poltico acerca de la posibi-
lidad de realizar una conduccin basada en los resultados de la educacin, que viene a ser una
actualizacin de esas mismas ideas y que entiende que se trata del modelo mejor adaptado a las
circunstancias actuales.
As considerada, la evaluacin sera uno de los instrumentos fundamentales para pilotar el cam-
bio. Como decan los ministros iberoamericanos de Educacin, reunidos en Buenos Aires en
1994, bien podra afrmarse que la evaluacin no es sino una forma distinta y nueva de hacer
poltica y, ms concreta mente, de explicar las polticas por medio de los logros alcanzados o,
eventualmente, fallidos (OEI, 1994, p. 5).
Estas ltimas palabras ponen el acento en una observacin fundamental para situar la evalua-
cin en su justo lugar y que no nos cansaremos de repetir: la evaluacin no sustituye a la poltica
educativa, sino que es un instrumento a su servicio. Es importante, eso s, pero no deja de ser
un simple instrumento. Dicho con otras palabras, evaluar no mejora la realidad que se evala,
lo que consigue es proporcionar una informacin tan rigurosa y detallada como queramos para
conocerla mejor y actuar en consecuencia. A partir del diagnstico que hagamos y del juicio que
emitamos sobre el aspecto o aspectos de la realidad que evaluamos, podremos adoptar medidas
que permitan superar los puntos crticos detectados y adoptar decisiones orientadas a la mejora.
Evaluacin y cambio educativo: los debates actuales
134027 _ 0001-0184.indd 22 16/3/09 16:10:31
23
Por seguir con el smil de la conduccin, la calidad de los instrumentos utilizados no sustituye la
pericia del piloto, que es quien debe adoptar las decisiones que convengan para llegar al punto de
destino.
LAS POSIBILIDADES Y LOS RIESGOS DE LA EVALUACIN
Para fnalizar estas refexiones me detendr a analizar con algo ms de detalle algunas cuestiones
que han ido apareciendo de manera lateral o indirecta en las pginas anteriores. El lector habr
ido encontrando referencias realizadas ms o menos de pasada a algunos debates actualmente
vigentes sobre asuntos tales como las posibilidades y las limitaciones de la evaluacin de los re-
sultados de los estudiantes y de las escuelas, los usos posibles de la evaluacin en sistemas des-
centralizados, la demanda de participacin e implicacin de los agentes educativos o la siempre
complicada conexin entre evaluacin, cambio y mejora. Esta relacin no constituye un catlogo
completo de las cuestiones que hoy preocupan en este mbito, sino que debe entenderse como
una simple muestra de las controversias suscitadas.
Y es que la evaluacin es una actividad compleja y sometida a discusin. No debe extraar que
as sea, puesto que en ltima instancia implica la emisin de juicios de valor sobre los objetos
evaluados. Por una parte, plantea interrogantes acerca del rigor y la exactitud de la informacin
recogida, la calidad de los anlisis realizados o la objetividad de las conclusiones alcanzadas. Por
otra parte, la propia situacin de valoracin, consustancial con la evaluacin, obliga a plantearse
asuntos tales como la participacin de las audiencias interesadas en la evaluacin, la transparen-
cia de sus procedimientos o la justicia de los juicios emitidos.
Evaluacin y mejora: la utilidad de la evaluacin
Un primer asunto que suscita posiciones encontradas se refere a la relacin existente entre evalua-
cin y mejora. Algunos evaluadores consideran que su funcin consiste bsicamente en examinar
cuidadosamente la realidad que analizan, aplicar mtodos y tcnicas apropiados para profundizar
en ella y ofrecer una descripcin y una valoracin ajustadas de su situacin y estado. Para quienes
as piensan, ese es el ncleo de su tarea y ah acaba su funcin.
Para otro grupo de evaluadores, en cambio, su actuacin no puede desligarse del objetivo ltimo
de mejorar la realidad que evalan. Consideran que la evaluacin supone una intervencin enr-
gica, e incluso en ocasiones algo agresiva, ya que busca qu hay debajo de la primera apariencia
de las cosas, se pregunta acerca de cules son las dinmicas establecidas y la posicin de los dis-
tintos actores y emite juicios de valor sobre el funcionamiento o los logros de un programa, una
institucin o un sistema. Por consiguiente, consideran que la contrapartida a esa intervencin
consiste en comprometerse con la mejora. Obviamente, lo normal (y lo ms razonable) es que no
le corresponda al evaluador tomar las decisiones pertinentes tras la evaluacin, pero es distinto
desarrollar la tarea evaluadora poniendo el fnal del proceso en la entrega del informe de evalua-
cin o en la interaccin con quienes deben decidir, por ejemplo.
La posicin adoptada al respecto por el evaluador depende en ocasiones del tipo de evaluacin que
se aborde. No es lo mismo evaluar un programa educativo o una institucin escolar que valorar el
rendimiento global de los estudiantes de una regin o el funcionamiento de un sistema educativo.
Mientras que en unos casos la implicacin es muy cercana y directa con los actores educativos, en
otros es una relacin mediada, generalmente a travs de los administradores o los responsables
Alejandro Tiana
134027 _ 0001-0184.indd 23 16/3/09 16:10:31
24
polticos. Pero, en uno y otro caso, son muchos los evaluadores que consideran que la evaluacin
debe tener en cuenta la vertiente de la mejora si no quiere quedarse en un simple, aunque sea
valioso e interesante, ejercicio analtico.
Es necesario, no obstante, clarifcar esta posicin, dejando claro que con ella no se trata de defen-
der la participacin directa y explcita de los evaluadores en la toma de decisiones. Por muchos
motivos conviene separar ambos procesos y distinguir ntidamente a los responsables de una y
otra actuacin, pero ello no quiere decir que el evaluador se desentienda de la interpretacin que
se hace de sus resultados o de las aplicaciones que se realizan de la evaluacin para infuir sobre
la realidad.
Desde este punto de vista, conviene tambin subrayar que la evaluacin no debe pretender dar
orientaciones precisas para la toma de decisiones. De hecho, algunos evaluadores se lamentan
de que sus conclusiones no son sufcientemente tenidas en cuenta a esos efectos. Se trata de una
queja derivada de un equvoco, que consiste en pensar que la evaluacin debe servir de gua de
actuacin o, como se dice hoy, de hoja de ruta para el cambio. No obstante, los evaluadores tien-
den ms bien en la actualidad a defender el uso iluminativo de la evaluacin. De acuerdo con la
misma, la evaluacin no tendra como funcin nica o principal la de ofrecer elementos para
la toma de decisiones, sino que tambin cumplira un papel importante contribuyendo a mejorar
el conocimiento de los procesos educativos y arrojando luz sobre los mismos.
Objetividad, credibilidad y justicia de la evaluacin
Si descendemos a la tarea de evaluacin propiamente dicha, surge una segunda cuestin que
tambin suscita controversia. Se trata de la importancia que se debe conceder a la objetividad de
la evaluacin y las consecuencias que ello tiene para su credibilidad y para la justicia que conlleva
su actuacin.
La objetividad es una aspiracin irrenuncia ble de cualquier estudio con pretensiones cientfcas,
pero se sabe bien la difcultad que implica, sobre todo cuando su objetivo consiste en emitir una
valoracin. La valoracin y el juicio, que constituyen precisamen te el ncleo de la accin evalua-
dora, implican la referencia a valores y, por lo tanto, difcultan una percepcin puramente obje-
tiva. En consecuen cia, toda accin evaluadora est forzosamente sometida a una tensin interna
entre conocimiento e interpretacin, que no siempre resulta fcil de resolver y en la que se juega
su crdito.
Pese al reconocimiento de tales limitaciones y de la difcultad de conciliar rigor, objetividad y
valoracin, el juicio que emitan la sociedad y los ciudadanos acerca de la credibilidad de los datos
obtenidos y de las interpretaciones realizadas constituye la clave del xito o fracaso de las polticas
de evaluacin. La bsqueda y consecucin de tal credibilidad se convierte, por lo tanto, en uno de
sus objetivos fundamentales.
La cuestin de la credibilidad lleva normalmente aparejada la de la independencia institucional
de los sistemas de evaluacin o, dicho en otros trminos, la de su imparcialidad. Obviamente, los
modos de organizacin institucional de la tarea de evaluacin del sistema educativo variarn con-
siderablemente en funcin de las circunstancias concretas en que se desarrollen, sin que puedan
determinarse reglas universales. Los organismos encargados de realizar dicha tarea pueden vincu-
larse ms o menos, de un modo u otro, a los distintos poderes del Estado y a los diversos escalones
Evaluacin y cambio educativo: los debates actuales
134027 _ 0001-0184.indd 24 16/3/09 16:10:31
25
administrativos, pero su percepcin como instituciones con un amplio margen de independencia,
conseguida muchas veces a travs del equilibrio interno de poderes, es la principal garanta de xito
en su tarea y de reduccin de los riesgos que plantea.
En este contexto de refuerzo de la credibilidad por la va del equilibrio de poderes, conviene destacar
que uno de los riesgos de la evaluacin sobre los que se ha alertado consiste en atender solamente
a los requerimientos de quienes la encargan o fnancian, olvidando las posiciones de otros actores.
Para evitarlo y para reforzar las posibilidades de la evaluacin se ha introducido el concepto de au-
diencia, denominacin con la que se hace referencia a todas las personas y grupos afectados o que
tienen intereses legtimos en un proceso determinado de evaluacin.
ntimamente ligada a esta cuestin aparece tambin la del principio de justicia que debe regir la
actuacin evaluadora. Es un asunto que se pone de manifesto, por ejemplo, cuando se realizan eva-
luaciones que tienen consecuencias directas para las personas o las instituciones. Uno de los casos
ms claros es el de la evaluacin de centros escolares con la intencin de adoptar decisiones sobre
ellos o de establecer clasifcaciones de cualquier tipo. Tanto los agentes implicados en la evaluacin
como sus destinatarios deben preguntarse si la evaluacin refeja de manera justa la situacin de las
escuelas y actuar de forma que lo garantice. Por ejemplo, no se pueden pedir los mismos resultados
a escuelas que atienden a un alumnado de distinto potencial o diferente origen social y cultural. Pa-
rece ms lgico compararlas introduciendo algunos ndices correctores de su situacin. No otra cosa
han pretendido hacer los distintos modelos de valor aadido en educacin que se han desarrollado
en los ltimos aos y que tienden a aplicarse cada vez ms frecuentemente. El riesgo de olvidar o
ignorar estas diferencias amenaza seriamente las posibilidades de la evaluacin.
Coherencia de la evaluacin con las polticas educativas
Una ltima cuestin que merece la pena abordar aqu y que tambin ha generado debate tiene que
ver con la coherencia que debe existir entre la poltica de evaluacin y otras polticas educativas.
Se trata de fomentar los efectos benefciosos de la evaluacin para el desarrollo de la educacin
y de evitar sus efectos perversos. La experiencia nos demuestra que la aparicin de efectos no
deseados ni deseables en este mbito es ms frecuente de lo que debiera, lo que obliga a no igno-
rarlos y a prestarles atencin.
Hay que insistir reiteradamente en que las polticas de evaluacin del sistema educativo no deben
concebirse al margen de las polticas generales de desarrollo del mismo. En ltima instancia, las
primeras deben colaborar al logro de los objetivos de la educacin. As, por ejemplo, aunque
pocos se opondrn a la utilizacin de la evaluacin para la mejora de la efcacia y la efciencia del
sistema educativo, existen divergencias importantes entre la aplicacin prctica de dicho plantea-
miento en un modelo poltico de corte neoliberal o preocupado prioritariamente por la excelen-
cia (interesado, por ejemplo, en fomentar la competencia entre escuelas y redes escolares, presu-
poniendo que es una de las claves para la mejora) y otro de corte socialdemcrata o preocupado
primordialmente por la equidad. Por ello, las polticas de evaluacin no deben concebirse como
una parcela aislada dentro del amplio campo de la poltica y la administracin educativas.
Otro tanto podra decirse de la conexin existente entre evaluacin y currculo. Este ltimo cam-
po ha sido objeto de especial atencin en las reformas educativas de la dcada de los noventa,
aunque hoy tendamos a verlo como un elemento que debe integrarse en una visin ms sistmica
del cambio. En cualquier caso, el currculo es y seguir siendo un elemento central en los procesos
Alejandro Tiana
134027 _ 0001-0184.indd 25 16/3/09 16:10:31
26
de enseanza y aprendizaje. Por ese motivo, existe el riesgo, a veces convertido en realidad, de
que las polticas de evaluacin no estn completamente de acuerdo con las polticas curriculares o
incluso de que se contrapongan a ellas. Por ejemplo, la difusin actual del modelo curricular que
conlleva la defnicin de unas competencias bsicas que deben lograr todos los jvenes tiene el
riesgo de contraponerse a un modelo de evaluacin del rendimiento basado en un concepto ms
tradicional del aprendizaje, limitando as sus posibilidades para el cambio.
Para ilustrar estas refexiones, se pueden recordar los debates que recientemente se han planteado
acerca del posible impacto negativo que pueden tener las evaluaciones en gran escala sobre las
prcticas docentes, pudiendo llegar incluso a ejercer un efecto perverso. No puede decirse que
la aplicacin de pruebas estandarizadas de rendimiento tenga necesariamente un efecto negativo
como el que a veces se le ha achacado, pero hay que tener presente que existe un riesgo real de
que as sea, especialmente cuando los docentes se orientan a preparar a los alumnos para dichas
pruebas, descuidando los aspectos del currculo que no quedan cubiertos por ellas. El riesgo de
que se produzca ese efecto perverso es an mayor cuando las pruebas son demasiado simples,
cuando sus resultados tengan un alto impacto sobre el profesorado, los estudiantes y las escuelas,
y en la medida en que los usuarios no tengan la capacidad o la formacin adecuada para entender
el alcance real y las limitaciones de ese tipo de evaluaciones. Por ese motivo, el diseo de pruebas
de evaluacin del rendimiento a gran escala exige un cuidado especial y una consideracin dete-
nida de los usos que de ellas se pretende hacer.
A modo de conclusin, debe reconocerse que la evaluacin ofrece importantes posibilidades para
la mejora de la educacin, pero tambin implica algunos riesgos que no deben obviarse. En estas
pginas se ha pretendido analizar la evolucin que ha experimentado recientemente la evaluacin
en el mbito de la educacin, ponindola en conexin con los cambios que viven los sistemas
educativos. Frente a quienes han subestimado la contribucin que la evaluacin puede hacer y
han rebajado la importancia del lugar que ha llegado a ocupar, hay que insistir en las ventajas que
encierra. Pero tambin hay que ser realista y aceptar sus limitaciones, sus riesgos e incluso sus
posibles efectos perversos, si se quiere que su desarrollo contribuya efectivamente a la mejora de
la educacin que reciben nuestros jvenes, que es el objetivo ltimo que debe orientar nuestra
actuacin.
Evaluacin y cambio educativo: los debates actuales
134027 _ 0001-0184.indd 26 16/3/09 16:10:31
27
La evaluacin de la calidad de los sistemas
educativos: propuesta de un modelo
Felipe Martnez Rizo
INTRODUCCIN
La idea central que orient la redaccin de este captulo es la de que la calidad de un sistema edu-
cativo es un objeto de anlisis de tal complejidad, que ningn acercamiento particular puede dar
cuenta de ella de manera razonablemente completa; para ello es necesario combinar trabajos de
diferente naturaleza que, en conjunto por ello se habla de un modelo, consigan ese propsito.
La mayor parte de los dems captulos de la obra se referirn en especial a algunas de las formas
de aproximarse a diferentes aspectos de la calidad educativa; en este se ofrece un marco para
situar cada acercamiento en un conjunto coherente. Se comienza adems con un breve recordato-
rio sobre el desarrollo de las pruebas de aprendizaje en gran escala, el acercamiento ms conocido
a la evaluacin de la calidad de los sistemas educativos, aunque no el nico, como veremos.
El desarrollo de dichas evaluaciones en gran escala, ms all de las individuales de los alumnos,
es un fenmeno reciente, lo que no debe extraar si se tiene en cuenta que los mismos sistemas
educativos, en su forma actual, no son tampoco muy antiguos. Desde tiempos remotos, en efec-
to, las sociedades han buscado formas de apoyar a las familias en el proceso de socializacin de
las nuevas generaciones, pero solo a partir de los siglos xviii y xix surgieron los rasgos de los
sistemas educativos modernos: la universalidad y la obligatoriedad; la gratuidad; la laicidad; la
organizacin de los alumnos en grados, y la existencia de docentes profesionales. Un rasgo ms
que, de alguna manera, engloba a los anteriores, es el carcter pblico de la educacin.
Todava en el xix las escuelas de primeras letras no tenan esos rasgos: el acceso a ellas distaba
mucho de ser universal y, desde luego, no era obligatorio. Las familias cubran el costo, puesto
que no se trataba de un servicio pblico. Los maestros no tenan el carcter profesional de los ni-
veles superiores y su organizacin gremial fue tarda. Los alumnos no se organizaban en grados,
sino que formaban un solo grupo, en el que convivan los ms adelantados y los de ms reciente
incorporacin. No haba una edad prescrita para iniciar el trayecto escolar, ni etapas defnidas en
l o un nmero de aos para recorrerlo: la enseanza terminaba cuando, a juicio del maestro, un
alumno haba alcanzado un nivel sufciente en la lectura, la escritura y la aritmtica elemental.
A partir de mediados del xix, esas escuelas fueron dejando el lugar a los sistemas modernos, de
escuelas a las que deben asistir todos los nios de cierta edad, sostenidas con recursos pblicos,
en las que ensean maestros profesionales, preparados en instituciones especiales. Para atender
a grupos numerosos surgieron modelos tutoriales, como el lancasteriano. Luego se extendi el
modelo que llegara a ser universal: la escuela bsica organizada en grados, en la que los alumnos
134027 _ 0001-0184.indd 27 16/3/09 16:10:31
28
deben comenzar a una edad determinada un trayecto en el que cada ao que transcurre implica
tambin, normalmente, el trnsito a un grado superior (Gaulupeau, 1992; Goodlad y Anderson,
1987; Martnez Rizo, 2006a; Oakes y Heckman, 1994).
La organizacin escolar por grados trajo consigo una nueva necesidad: decidir, al fn de cada
grado, si un alumno est en condiciones de pasar al siguiente. En los sistemas tradicionales, el
maestro valoraba el avance de los alumnos pero, al haber un solo grupo, no se requera ese tipo de
decisiones. El carcter elitista de las escuelas, adems, traa consigo una razonable homogeneidad
de los alumnos. La masifcacin de los sistemas educativos trajo consigo creciente heterogenei-
dad, al llegar a la escuela los hijos de familias acomodadas y los de familias pobres, que no pueden
apoyar el trabajo escolar.
En sus primeras pocas, los sistemas educativos modernos no contaban con mecanismos de eva-
luacin distintos de los que utilizaba cada maestro, que se juzgaban sufcientes para asegurar
que quienes terminaban la escolaridad obligatoria tuvieran un manejo aceptable de la lectura,
la escritura y la aritmtica. Surgieron mecanismos de control de calidad, con los inspectorados. La
expansin de la educacin bsica hizo cada vez ms evidente, sin embargo, que terminar un nivel
no garantizaba que se dominaran ciertos conocimientos. Esto llev al desarrollo de las pruebas
en gran escala.
Durante la primera mitad del siglo xx se desarroll la llamada teora clsica de las pruebas;
durante la segunda hubo avances metodolgicos diversos, como los modelos de respuesta al reac-
tivo; en las ltimas dcadas del siglo, en un nmero creciente de pases, el inters por tener medi-
ciones del aprendizaje alcanzado por los estudiantes aument y llev a la extensin del uso de las
pruebas de gran escala. Es paradigmtico, pero no excepcional, el caso de Estados Unidos, desde
el movimiento de minimum competency testing de la dcada de 1980, hasta la Ley No Child Lef
Behind del presidente Bush (Martnez Rizo, 2002). En el captulo de Enrique Roca en este libro
se puede ver lo relativo a la extensin de las evaluaciones internacionales, de fnales del siglo xx
y principios del xxi.
COMPLEJIDAD DE LA TAREA Y ELEMENTOS PARA ABORDARLA
Poca duda cabe de la necesidad de tener evaluaciones que den una visin objetiva de la calidad de
la educacin; hoy parecen indispensables para asegurar una gestin efciente de sistemas sociales
tan importantes. Pero hacer evaluaciones adecuadas es una tarea compleja, que debe cuidarse
mucho para evitar resultados contraproducentes.
La tarea de evaluar un sistema educativo es difcil por una doble complejidad: una de naturaleza
emprica, del objeto de evaluacin, y otra de carcter terico, derivada de las mltiples facetas de
las nociones mismas de calidad y evaluacin. Refexionar sobre estas mltiples fuentes de com-
plejidad es un antecedente necesario para entender la propuesta, que se har luego, de un sistema
integral de evaluacin.
Sobre la complejidad de los sistemas educativos, pensemos que aun en pases pequeos deben
atender a decenas de miles de alumnos, con miles de profesores, en centenares de escuelas. Ade-
ms del tamao, son muchos los aspectos que se deben evaluar y sus circunstancias: hay que
evaluar el rendimiento de los alumnos, pero tambin a maestros, directivos y personal de apoyo,
el currculo, los materiales derivados del mismo, los planteles, etc.
La evaluacin de la calidad de los sistemas educativos: propuesta de un modelo
134027 _ 0001-0184.indd 28 16/3/09 16:10:31
29
Para disear evaluaciones que den cuenta adecuadamente de tan grandes sistemas habr que
tener presente su propia complejidad, as como la difcultad terica, la que se deriva de las di-
mensiones de la nocin de calidad, los diversos propsitos que puede perseguir una evaluacin
y las caractersticas de los acercamientos que se han de utilizar. No es posible hacer evaluaciones
que sean al mismo tiempo comprensivas y profundas. Como pasa con los instrumentos pticos,
en los que el campo de visin se reduce a medida que aumenta la aproximacin, en evaluacin es
inevitable el compromiso entre amplitud y detalle.
La nocin de calidad educativa y sus dimensiones
Una idea pobre de la calidad del sistema educativo pierde de vista aspectos importantes, como
ocurre si se reduce la calidad al nivel de aprendizaje que alcanzan los alumnos, o se contraponen
cobertura y calidad, como si la una no tuviera que ver con la otra.
Suele decirse: antes prevaleca el inters por la cantidad, en referencia a la cobertura; ahora debe
preocuparnos la calidad. Pero un sistema educativo no podr considerarse bueno si atiende solo a
una fraccin de la demanda, aunque consiga que los alumnos tengan altos niveles de aprendizaje.
Al menos en los niveles obligatorios, un sistema educativo solo es bueno si todos o casi todos sus
destinatarios potenciales son atendidos y consiguen niveles aceptables de aprendizaje.
Para evitar reduccionismos, se explicita la nocin de calidad que sustenta este captulo, basada en
el modelo sistmico, que resulta adecuado para dar cuenta de la calidad de un sistema educativo
(INEE, 2006; Martnez Rizo et al., 2007), cuyos componentes son:
El contexto o entorno, que plantea necesidades al sistema educativo y, al mismo tiempo, le
ofrece recursos: la demanda social de educacin, su composicin y distribucin espacial, las
condiciones de vida de la poblacin, as como su capital cultural y educativo, son algunos de
los elementos del contexto.
Los insumos que recibe el sistema educativo de su entorno permiten su operacin e incluyen
recursos humanos, materiales, tecnolgicos y fnancieros.
Los procesos del sistema se referen no solo al acceso y trayectoria de los alumnos, sino tambin
a la gestin y funcionamiento de los planteles, incluyendo procesos pedaggicos en el aula; de
gestin escolar en cada centro educativo; de gestin o administracin en mayor escala en los
niveles de zona escolar, de regin y nacional.
Los productos o resultados del sistema, de corto o largo plazo. Los primeros incluyen los refe-
ridos al logro escolar (conocimientos, habilidades, actitudes y valores), mientras los segundos
se relacionan con la infuencia de la educacin en la transformacin cultural y la mejora de los
estndares de vida de la poblacin adulta.
En los sistemas artifciales importan adems los objetivos, mediadores en la relacin entre in-
sumos y productos, orientando la forma en que se organizan los procesos para utilizar los
insumos de manera que se generen los productos.
En trminos abstractos, la defnicin de calidad puede expresarse como sigue:
La calidad del sistema educativo es la cualidad que resulta de la integracin de las dimensiones
de pertinencia y relevancia, efcacia interna, efcacia externa, impacto, sufciencia, efciencia y
equidad.
Felipe Martnez Rizo
134027 _ 0001-0184.indd 29 16/3/09 16:10:31
30
Esas dimensiones de la calidad se derivan de una relacin de congruencia entre los elementos del
sistema educativo: pertinencia, relevancia, efcacia externa e impacto se derivan de la relacin de
objetivos y productos del sistema con las necesidades del entorno; la efcacia interna se despren-
de de la relacin entre productos y objetivos; la efciencia de la relacin entre insumos y resul-
tados; y la equidad de la distribucin de recursos y productos educativos. El diagrama siguiente
ilustra esta red de relaciones. (Martnez Rizo et al., 2007).
Grfco. Dimensiones de la calidad de un sistema educativo
Necesidades
Equidad Objetivos
Impacto
Pertinencia
Relevancia
Efcacia interna
Efcacia externa
Contexto
Recursos
Sistema educativo
Sufciencia / Efciencia
Insumos Procesos Resultados
La defnicin abstracta se concreta diciendo que un sistema educativo de calidad:
Establece un currculo adecuado a las caractersticas de los alumnos (pertinencia) y a las nece-
sidades de la sociedad (relevancia).
Logra que la ms alta proporcin posible de destinatarios acceda a la escuela, permanezca has-
ta el fnal y aprenda (efcacia interna y externa).
Consigue que los aprendizajes sean asimilados en forma duradera y den lugar a comporta-
mientos sociales fructferos para la sociedad y los individuos (impacto).
Cuenta con recursos humanos y materiales sufcientes (sufciencia), y los aprovecha de la mejor
manera, evitando despilfarros y derroches (efciencia).
Considera la desigual situacin de alumnos, familias y escuelas, y apoya en especial a quien lo
requiera, para que todos alcancen los objetivos educativos (equidad).
El concepto de calidad es relativo, porque el juicio depende de los referentes, y dinmico, porque
la calidad nunca se alcanza totalmente. La calidad no es un estado, sino una tendencia: la auto-
La evaluacin de la calidad de los sistemas educativos: propuesta de un modelo
134027 _ 0001-0184.indd 30 16/3/09 16:10:32
31
exigencia permanente y razonable de superacin, que no se puede adquirir del exterior, sino que
solo surge del interior mismo del sistema.
La nocin de evaluacin
Un buen sistema de evaluacin no deber prestar atencin solo a una u otra dimensin de la cali-
dad; debe atenderlas todas. Algunas veces la evaluacin se reduce a aplicar pruebas de rendimien-
to, lo cual no es adecuado: el nivel de aprendizaje que alcancen los alumnos es una dimensin
fundamental, pero no la nica, de la calidad.
Es necesario tambin no aceptar concepciones limitadas de la nocin de evaluacin. A veces se
piensa que se ha evaluado el aprendizaje, cuando solamente se ha medido. Evaluar exige comparar
el resultado de la medicin con un punto de referencia que establezca lo que debera haber, para
llegar a un juicio sobre lo adecuado o inadecuado de lo medido. Por ello se entiende la evaluacin
como el juicio de valor que resulta de contrastar el resultado de la medicin de una realidad emp-
rica con un parmetro normativo previamente defnido. Por lo mismo, una buena evaluacin no
se caracteriza solo por las cualidades de una buena medicin, como fabilidad y validez, sino que
debe tener esas y otras caractersticas (ver INEE, 2006):
Carcter comprensivo de la conceptualizacin que la sustente, que deber atender a todas las
dimensiones de la calidad.
Alto nivel tcnico de las mediciones en que se base, para dar confabilidad y validez.
Pertinencia de los referentes que se defnan como parmetros para contrastar con ellos los resul-
tados de la medicin, de modo que las comparaciones tengan sentido.
Mesura de los juicios de valor derivados de contrastar mediciones y parmetros, que evitarn
excesos triunfalistas o derrotistas y considerando el contexto.
Inclusin de estudios explicativos, buscando no solo describir la situacin, sino tambin detectar
los factores que inciden en ella, para que los actores cuenten con bases slidas para sustentar
decisiones de mejora.
Amplitud, oportunidad y transparencia de la difusin de resultados, que llegue a todos los inte-
resados, en versiones adecuadas a cada uno, para promover su uso.
No sobra sealar que las dimensiones de la calidad no son igualmente susceptibles de medicin
vlida y confable ni, por lo mismo, de ser evaluadas. Es menos difcil evaluar el aprendizaje que la
relevancia del currculo o su pertinencia. Por ello, en muchos casos, solo se podr aspirar a tener
evaluaciones basadas en los juicios ms expertos y honestos con que sea posible contar.
Objetos y propsitos de la evaluacin
Adems de considerar la complejidad de su objeto, y las caractersticas de una buena evaluacin,
los esfuerzos por desarrollar esta debern tener como punto de partida el principio de que la
evaluacin no es un fn en s misma, sino un medio que cobra sentido en funcin de un propsito
ms amplio: contribuir a la mejora educativa. Subordinados a ese propsito general hay otros
particulares, todos los cuales debern, a su manera y en su mbito, contribuir a la mejora de la
calidad. Como ejemplos de esa diversidad de propsitos pueden mencionarse:
Felipe Martnez Rizo
134027 _ 0001-0184.indd 31 16/3/09 16:10:32
32
Evaluacin de alumnos: valorar su avance, desde luego, pero tambin seleccionar a los mejo-
res candidatos para ingresar a cierto nivel; diagnosticar el nivel que tienen al ingreso; asignar
becas; dar retroalimentacin pedaggica a los docentes; certifcar; evaluar el sistema como tal,
para la defnicin de polticas.
Evaluacin de maestros: retroalimentarlos sin consecuencias fuertes (formativa); evaluarlos
con consecuencias fuertes para su permanencia y promocin (sumativa).
Evaluacin de escuelas: evaluar los planteles, para mejora y rendicin de cuentas.
La explicitacin de posibles propsitos de la evaluacin es importante si se tiene en cuenta el
principio de que cada propsito implica un diseo apropiado, ya que ningn acercamiento da
resultados vlidos y confables para todo propsito. Debe reiterarse que el uso inapropiado
de cualquier acercamiento puede tener consecuencias negativas, contrarias al propsito bsico de
que la evaluacin favorezca la mejora de la educacin (Martnez Rizo, 2007a).
Alcances y limitaciones de acercamientos e instrumentos
Todo instrumento o acercamiento a la evaluacin tiene puntos fuertes y dbiles, que lo hacen
apropiado para algunos propsitos e inapropiado para otros. Por ello, al decidir sobre los instru-
mentos que se deben usar, es necesario tener en cuenta aspectos como los siguientes:
El tamao del universo que se propone evaluar: mientras mayor sea, ms difcil de controlar
ser aplicar instrumentos extensos o de procesamiento laborioso; aplicaciones masivas impli-
carn instrumentos cortos y que puedan procesarse de forma automtica.
La estructuracin de los instrumentos: preguntas de opcin mltiple, por ejemplo, no son
apropiadas para evaluar aspectos cognitivos complejos o no cognitivos; para ello se necesitan
instrumentos que no se limiten a preguntas de opcin mltiple.
La variedad de currculos, que difculta el uso de pruebas alineadas a ellos; la diferencia entre
evaluaciones de impacto alto o bajo, y las implicaciones de evaluar al inicio o al fn del ciclo
escolar, uno o varios grados.
Las exigencias que implican los estudios de valor aadido, que incluyen el uso de diseos que
permitan expresar los resultados en una misma escala, el control de las principales variables
intervinientes y el seguimiento individual de los alumnos.
Sobre la evaluacin de maestros y centros escolares, los resultados de los alumnos en pruebas de
rendimiento no pueden tomarse sin ms como indicadores confables de la calidad de un docente
o una escuela, por razones precisas:
Los resultados de los alumnos no dependen solo de la escuela, sino de factores del hogar, la
seleccin de alumnos, el grado en que hay abandono escolar.
El error de medicin produce intervalos de confanza que hacen que la diferencia entre punta-
jes cercanos no sea signifcativa; el muestreo tiene consecuencias similares; en censos, el error
no derivado del muestreo puede ser mayor.
Porque en aplicaciones masivas con resultados individuales la extensin de las pruebas es re-
ducida y deben limitarse a algunas reas y pocos temas curriculares, y el uso de preguntas de
opcin mltiple hace descartar temas importantes.
La evaluacin de la calidad de los sistemas educativos: propuesta de un modelo
134027 _ 0001-0184.indd 32 16/3/09 16:10:32
33
Adems, asociar consecuencias fuertes a los resultados de las pruebas como aprobar o no a los
alumnos, dar becas o estmulos salariales a docentes, o construir clasifcaciones de prestigio de las
escuelas complica la situacin. En esos casos hay riesgo de que el trabajo de escuelas y maestros
se oriente en funcin de la prueba, descuidando aspectos importantes del currculo no cubiertos
por ella (Martnez Rizo, 2007a).
Debe reiterarse la importancia que tiene el propsito de cada evaluacin, ya que de l se derivar el
diseo que se ha de utilizar. Un caso que se presenta hoy con preocupante frecuencia y puede tener
consecuencias graves para la calidad educativa que se pretende mejorar ilustra esta idea: el que se
refere a las caractersticas que deben tener las evaluaciones del aprendizaje de los alumnos que
tienen como propsito dar informacin sobre ello a cada estudiante, sus maestros y sus padres, para
ajustar en consecuencia sus respectivas acciones para mejorar el aprendizaje ulterior, en contraste
con los rasgos que deben tener las evaluaciones del aprendizaje cuyo propsito es informar sobre
la situacin promedio del sistema educativo de que se trate para la toma de decisiones de poltica.
En el primer caso es necesario aplicar las pruebas a todos los alumnos (censo), mientras que en
el segundo basta con hacerlo a una muestra representativa, lo que permite usar instrumentos que
midan aspectos ms complejos.
La complejidad de las evaluaciones integrales
Los lmites de los acercamientos en gran escala implican que una evaluacin integral, fna, de
cualquier objeto, solo pueden hacerla actores cercanos, con la competencia y el tiempo necesa-
rios. Las ventajas de esto, sin embargo, traen consigo inevitablemente la desventaja de la prdida
de perspectiva y la falta de comparabilidad; para atender a estas cualidades son necesarios acer-
camientos en gran escala, menos fnos, pero de cobertura ms amplia. Veamos los casos de las
evaluaciones de alumnos, maestros y escuelas.
Evaluacin de alumnos
Valorar integralmente el desempeo de un solo alumno implica considerar todas las reas del
currculo; los aspectos cognitivos y no cognitivos, simples y complejos; el rendimiento al fn
del ciclo, al inicio y a lo largo del mismo; los factores que favorecen u obstaculizan el avance,
etc. Una valoracin as solo puede ser bien hecha por un profesional que tenga contacto con el
alumno a lo largo del ciclo escolar: el maestro. La evaluacin en aula, sin embargo, aunque es la
ms completa, tiene una limitacin derivada de su misma naturaleza integral y contextualizada:
que no puede agregarse en gran escala. Las pruebas estandarizadas permiten comparar grandes
grupos de forma confable; pueden complementar la evaluacin del maestro, no sustituirla.
Evaluacin de maestros
La valoracin integral de la calidad de un maestro solo podr resultar del contacto amplio de
un profesional competente con el evaluando, para reunir pruebas slidas de su desempeo: ese
profesional es el director de escuela. Las evaluaciones de los directores pueden llegar a ser agre-
gables y comparables si se usan metodologas e instrumentos similares y se emplean tcnicas de
moderacin. Las pruebas estandarizadas pueden ser tiles para la evaluacin de maestros, pero
solo sus resultados no son sufcientes, por los numerosos factores que inciden en el rendimiento
escolar. La aplicacin de pruebas a los docentes, si se cuida la validez, aporta elementos valiosos,
aunque no capta dimensiones bsicas de la prctica docente, que solo pueden apreciarse median-
Felipe Martnez Rizo
134027 _ 0001-0184.indd 33 16/3/09 16:10:32
34
te acercamientos intensivos. Por ello, la evaluacin implica el uso de tcnicas como la observacin
y los portafolios de pruebas.
Evaluacin de escuelas
Valorar integralmente la calidad de una escuela solo puede ser el resultado de un amplio contacto
con el plantel por parte de otro profesional, capaz de observar, registrar, sistematizar y valorar
pruebas de las mltiples facetas de la calidad educativa en ese nivel. Los sistemas educativos sue-
len contar para ello con la fgura del supervisor o inspector. Reducir la evaluacin de la calidad
de las escuelas a ordenamientos basados en los resultados de pruebas, sin tener en cuenta otros
elementos y sin asegurar la confabilidad y validez de los resultados, es muy inapropiado y llevar
a distorsiones perniciosas para el funcionamiento de las escuelas (Martnez Rizo, 2007a).
Los comentarios anteriores se aplican a evaluaciones que servirn para tomar decisiones y em-
prender acciones que afectarn a sujetos individuales, sean alumnos, maestros o escuelas. Pero si
se quiere evaluar en conjunto un sistema de educacin, entonces tienen sentido acercamientos a
alumnos, maestros o escuelas que utilicen instrumentos que se apliquen a muestras representa-
tivas de unos u otras. Esos acercamientos no ofrecen bases slidas para tomar decisiones graves
sobre individuos (como aprobar o reprobar a un alumno, conceder un estmulo a un maestro o
una escuela), pero s elementos valiosos para valorar la calidad del sistema como tal en relacin
con esos componentes.
La necesidad de un sistema de evaluacin
La conclusin de estos someros anlisis es que ningn acercamiento singular puede dar cuenta ple-
namente de la calidad de un sistema educativo, pues ninguno podra atender a los diversos prop-
sitos y las circunstancias de sus partes. Debe pensarse en un conjunto articulado de acercamientos
que formen un sistema de evaluacin que atienda como un todo a las dimensiones de la calidad.
El desarrollo de un conjunto as para un sistema educativo implicar una gama de acercamientos
evaluativos que cubran distintos objetos (alumnos, docentes, directivos, planteles, etc.); atiendan
a varios propsitos (diagnstico, retroalimentacin, rendicin de cuentas, seleccin, certifca-
cin...), e incluyan tanto acercamientos de gran escala como en pequea escala. Solo combinando
varios acercamientos cuyos alcances y limitaciones se complementen podr tenerse una visin
sufcientemente completa de ese todo tan complejo que es la calidad de un sistema educativo, de
manera tal que sea posible formular juicios de valor que sustenten de manera razonable las deci-
siones de las autoridades en los diferentes niveles.
PROPUESTA DE MODELO PARA UN SISTEMA DE EVALUACIN
Para atender a los diferentes aspectos de la calidad de un sistema educativo, un sistema de eva-
luacin no deber limitarse a la aplicacin de pruebas estandarizadas. Adems de tales pruebas
si son de buena calidad y se usan de manera apropiada se debern atender otros aspectos del
sistema educativo, sus alumnos, maestros y escuelas. Para evaluar al sistema educativo como tal,
se necesitan indicadores de su cobertura y su efciencia terminal y del contexto socioeconmico
en que se inscribe, a partir de las estadsticas educativas y sociales. Un sistema de evaluacin de-
ber comprender un subsistema de evaluacin de alumnos, uno de evaluacin de maestros, otro
de evaluacin de escuelas y uno de indicadores educativos (Martnez Rizo, 2007a).
La evaluacin de la calidad de los sistemas educativos: propuesta de un modelo
134027 _ 0001-0184.indd 34 16/3/09 16:10:32
35
El subsistema de evaluacin de alumnos
Sin olvidar el carcter insustituible de la evaluacin que hacen los maestros en el aula, las pruebas
en gran escala pueden ser un complemento interesante, si se hacen bien y se tiene conciencia
de sus alcances y lmites; permiten elaborar juicios sobre la relacin que hay entre lo que se pre-
tende ensear (currculo prescrito) y lo que los estudiantes aprenden (currculo alcanzado), con
la mediacin del currculo implementado, que a veces se denomina oportunidad de aprendizaje.
Para cumplir con el propsito de diagnstico de la situacin de un sistema educativo en cuanto al
aprendizaje de los alumnos, para retroalimentar las polticas al respecto, unas buenas pruebas en
gran escala debern caracterizarse por rasgos como los siguientes (Martnez Rizo, 2007b):
Tener un referente bien defnido: el currculo, un perfl del egresado, un conjunto de competen-
cias bsicas, etc. Si estn alineadas al currculo, las evaluaciones darn insumos valiosos para
orientar la formulacin de polticas curriculares, as como de formacin y actualizacin de
profesores.
Estar construidas con referencia a un criterio o dominio: diseadas para conocer el desempeo
de los alumnos en relacin con contenidos bien defnidos, lo que deber sustentar la formula-
cin de juicios de tipo absoluto, en trminos de adecuado-inadecuado, sufciente-insufciente
o similares, y no solo juicios relativos, respecto al nivel promedio obtenido por el conjunto de
los estudiantes evaluados.
Tener un diseo matricial y aplicarse en ciclos. La amplitud de los contenidos que se van a eva-
luar hace necesario dividir las pruebas en partes, para que cada alumno responda solo algunas,
con un diseo que arroje resultados sobre el contenido completo de las pruebas a partir de
los resultados del conjunto de los alumnos. Con pruebas as, la variedad de reas curriculares
podr evaluarse con un ciclo multianual bien diseado, pero no podrn cubrir bien aspectos
cuya importancia no debe subestimarse.
Comprender preguntas de diverso tipo. Las ms frecuentemente usadas las de opcin mltiple
tienen la ventaja de que pueden procesarse de manera mecnica, pero difcilmente permiten
evaluar competencias complejas, que requieren del uso de preguntas de respuesta construida
o de ejecucin, que implican procesos de califcacin a cargo de personas capacitadas, lo que
excluye aplicaciones masivas.
Aplicarse a muestras de escuelas y alumnos. Los rasgos anteriores implican que la aplicacin de
estas pruebas no podr ser de tipo censal, sino que deber hacerse a muestras de planteles y
alumnos, defnidas de tal manera que sean representativas del conjunto del sistema nacional de
educacin y de sus principales subsistemas.
Acompaarse de cuestionarios de contexto. Para explicar los diferenciales de logro, las pruebas
han de acompaarse de instrumentos para recabar informacin sobre las caractersticas per-
sonales, familiares y escolares de los estudiantes; las de los docentes y de las aulas en las que
laboran, y las del director y las escuelas mismas.
Si se quiere tener resultados comparables de cada centro escolar, e incluso de cada alumno, lo
que puede ser til para efectos de retroalimentacin para alumnos, padres de familia, maestros
y escuelas, sern necesarias aplicaciones censales, que tendrn que cubrir un espectro menor de
contenidos, que se puedan evaluar mediante preguntas cerradas.
Felipe Martnez Rizo
134027 _ 0001-0184.indd 35 16/3/09 16:10:32
36
El desconocimiento de los alcances y lmites de las pruebas en gran escala lleva a veces a usos
inadecuados. Se aplica un nmero excesivo de pruebas, en demasiados grados y con demasiada
frecuencia, sin advertir que a medida que aumenta el tamao de una aplicacin crece tambin
el riesgo de errores no derivados del muestreo y resultados no confables. Tampoco se tienen en
cuenta las exigencias que implica desarrollar y aplicar pruebas de buena calidad; se plantean a los
responsables de ello tareas considerables en tiempos demasiado cortos para que se hagan bien
(ver Ravela et al., 2008).
Aplicaciones censales pueden ser tiles para retroalimentar a escuelas y alumnos de forma indi-
vidual, pero es sufciente hacerlas en algunos grados y reas y con intervalos de tiempo amplios.
Aplicar pruebas a muchos grados cada ao no es necesario y trae consigo problemas de cali-
dad, adems de costos elevados y de una malsana presin sobre las escuelas, sin olvidar los usos
inapropiados que suelen darse a los resultados.
El subsistema de evaluacin de maestros
Evaluar bien a un docente implica observar su trabajo en el aula y revisar cmo prepara sus clases
y retroalimenta a sus alumnos. Por ello, las mejores formas de evaluar el desempeo docente son
variantes de la tcnica de portafolio de pruebas, que supone una importante inversin de tiempo
y, por lo mismo, hacen difcil su uso en gran escala. Se han mencionado ya las precauciones que
debern tenerse para utilizar los resultados de los alumnos de un docente para evaluar a este, lo
que no se opone a una utilizacin cuidadosa de tal informacin, junto con otras.
Otros acercamientos pueden aportar elementos tiles, como evaluaciones estandarizadas de los
conocimientos de los docentes sobre las reas a su cargo y encuestas que recojan la opinin de
los alumnos sobre sus maestros. Pese a la resistencia que suelen enfrentar, esas encuestas pueden
dar informacin valiosa. La resistencia es explicable en el caso de evaluaciones de las que se deri-
van decisiones sobre individuos, que no se sustentan bien solo con instrumentos de aplicacin en
gran escala, que pueden dar informacin valiosa para la valoracin general del sistema educativo,
con aplicaciones muestrales.
Los alumnos pueden informar confablemente sobre la cobertura del programa por parte del
docente, la atencin que presta a su grupo e, incluso, una dimensin tan importante del des-
empeo como es la regularidad de la asistencia del maestro. En los sistemas educativos conso-
lidados se da por hecho que todo grupo tiene siempre un docente que lo atienda; en sistemas
menos consolidados las ausencias de los maestros pueden ser frecuentes, por diversas razones,
como el aislamiento del centro escolar, la inexistencia de maestros que puedan suplir a los au-
sentes, la rotacin de personal e incluso fallas administrativas y vicios burocrticos y de carcter
gremial.
La nocin de oportunidad de aprendizaje, que en un sistema consolidado alude a variantes me-
nores en el uso del tiempo por el docente, y sus estrategias didcticas, en sistemas menos con-
solidados comienza con la regularidad de la asistencia del maestro, prerrequisito esencial de la
calidad sobre el que no suele haber informacin. Una buena evaluacin de maestros en el nivel
del sistema integrar informacin sobre esos aspectos con datos agregados de evaluaciones del
desempeo docente hechas por instancias de direccin escolar y supervisin, con mediciones de
conocimientos profesionales y con indicadores estadsticos sobre la composicin y el perfl de la
planta docente.
La evaluacin de la calidad de los sistemas educativos: propuesta de un modelo
134027 _ 0001-0184.indd 36 16/3/09 16:10:32
37
El subsistema de evaluacin de escuelas
El trabajo de alumnos y maestros no ocurre de forma aislada, tiene lugar en el marco de una
escuela, que es un ambiente colectivo con peso especfco, por caractersticas organizacionales
que los estudios sobre escuelas efcaces han identifcado. En contra de lo que se pens en los aos
sesenta y setenta del siglo pasado, tras la difusin del estudio dirigido por James Coleman, que
destacaba la infuencia de factores del entorno social sobre los resultados escolares, el peso de la
escuela en esos resultados no es insignifcante.
La escuela s cuenta y puede hacer una diferencia. Adems de la evaluacin de alumnos y maes-
tros, la de la escuela como unidad organizacional es importante, tal vez incluso la ms importante
desde el punto de vista de las polticas educativas, ya que la mejora de la calidad del sistema pasa
por la mejora en cada aula de cada plantel; por ello la transformacin de la dinmica de funcio-
namiento de cada escuela es fundamental.
Una vez ms, una evaluacin fna y razonablemente completa de una escuela solo puede resultar
del trabajo de actores que tengan un contacto cercano con ella, normalmente las instancias de su-
pervisin o inspeccin, ms autoevaluaciones a cargo de los docentes, con el director a la cabeza
en relacin con el plan de desarrollo o mejora de cada plantel.
Como se ha advertido, las evaluaciones en gran escala del aprendizaje de los alumnos no pueden
utilizarse como indicadores directos de la calidad de cada escuela, si no se han utilizado diseos
apropiados para ello, que implican estudios del valor agregado por la escuela (ver Martnez Rizo,
2006b). Aun sin ello, los resultados de evaluaciones de aprendizaje pueden ser valiosos como
indicadores parciales, si se manejan con cuidado, junto con los elementos de contextualizacin
de que se disponga. Convendr tambin hacer estudios particulares sobre ciertos recursos y pro-
cesos de las escuelas.
El subsistema de indicadores
Ninguna evaluacin particular puede dar cuenta por s sola de ese elusivo objeto que denota la
expresin calidad del sistema educativo; hay que combinar acercamientos como los anteriores, en
relacin con alumnos, maestros y centros escolares. Otros aspectos de la calidad se pueden captar
con indicadores derivados de las estadsticas tradicionales, como cobertura, efciencia terminal
y desercin escolar. Esos indicadores se debern complementar con los que se deriven de las
evaluaciones de alumnos, maestros y escuelas. En este sentido, el subsistema de indicadores edu-
cativos es el elemento integrador del sistema de evaluacin.
Los listados de indicadores de algunos sistemas educativos parecen simples concentrados de
datos producidos a partir de la informacin estadstica con la que se cuenta en un momento
dado, independientemente de su relevancia y sin identifcar las lagunas que tenga. Esos listados
no son verdaderos sistemas, puesto que carecen de una estructura basada en alguna idea clara
de lo que se busca con ellos. La construccin de un verdadero sistema de indicadores debe ha-
cerse a partir de una idea clara de lo que se quiere obtener, que d unidad al conjunto. Esa idea
rectora debe ser una nocin precisa de la calidad del sistema educativo, que es lo que se quiere
evaluar.
A partir de esta nocin podrn precisarse indicadores particulares, y luego los datos que se re-
quieren para construirlos. El que muchos de esos datos no estn disponibles no deber impedir
Felipe Martnez Rizo
134027 _ 0001-0184.indd 37 16/3/09 16:10:32
que el sistema los considere, lo que har que se emprendan las acciones que se requieran para
llegar a contar con la informacin necesaria en algn momento.
Este enfoque sistmico del desarrollo de indicadores educativos producir un nmero conside-
rable de ellos, lo que no es un defecto, sino una consecuencia de la complejidad del objeto de
anlisis. Es posible, sin embargo, adoptar otro enfoque, que se puede llamar estratgico. En esta
perspectiva se puede pensar en un nmero reducido de indicadores que permitan monitorear
el avance en direccin a metas precisas, que se han defnido como importantes. Es el caso de
los indicadores desarrollados para dar seguimiento a las metas de la Unin Europea. El sistema
INES (Indicators of National Education Systems) de la OCDE es un buen ejemplo del primer
enfoque.
A diferencia de lo que ocurre para la construccin de pruebas estandarizadas, no hay metodo-
logas ampliamente aceptadas para formular y construir indicadores. Por ello se presentan en
seguida los principales elementos de la metodologa desarrollada por el Instituto Nacional para la
Evaluacin de la Educacin de Mxico, a partir de la experiencia del propio INEE, y recogiendo
elementos de la experiencia internacional (Martnez Rizo et al. 2007; Shavelson et al., 1989; Co-
misin Europea, 1999).
Segn dicha metodologa, la construccin de un sistema de indicadores debe comenzar precisan-
do el marco conceptual que organizar las partes en un verdadero sistema, en vez de una serie de
indicadores aislados. Una vez establecida la estructura del sistema se elabora un primer listado
de indicadores que cubra todas las dimensiones consideradas, aunque para algunos de ellos no se
cuente por el momento con informacin.
La segunda etapa del proceso de diseo se refere al desarrollo de cada indicador, lo que signifca
precisar su nombre; su defnicin y su ubicacin en el sistema; las fuentes de obtencin de la in-
formacin; la frmula de clculo y, en su caso, los criterios para su estimacin; las desagregacio-
nes posibles (por ejemplo, por gnero, por regin, por modalidad de escuela, etc.), y los elementos
necesarios para la interpretacin de los resultados.
Tras lo anterior y antes de proceder a organizar costosos procesos de recoleccin de informa-
cin para alimentar un sistema de indicadores, cada uno de los elementos que lo forman debe
someterse a escrutinio, con un procedimiento de jueceo entre expertos y usuarios, para valorar a
priori el grado en que cada indicador parece satisfacer los criterios de calidad aplicables, que son,
adems de los de validez y confabilidad, otros de carcter tcnico (comparabilidad, estabilidad
temporal, actualidad, sensibilidad) y algunos ms de tipo prctico: factibilidad de obtencin de
la informacin necesaria, importancia y utilidad para la toma de decisiones, y claridad de su in-
terpretacin.
El anlisis inicial a priori del conjunto de indicadores diseado deber involucrar a un nmero
razonable de jueces, de tres tipos: expertos o especialistas de formacin y experiencia terica o
disciplinaria sobre los temas cubiertos por el sistema; usuarios especializados, en el sentido de
responsables del sistema educativo con experiencia de nivel alto y medio, y usuarios de base,
como supervisores, directores y maestros. Tras lo anterior podr procederse a una primera apli-
cacin del sistema, alimentndolo con la informacin necesaria, previamente existente o gene-
rada ex profeso, y con los procesos de depuracin y clculo necesarios para obtener los primeros
valores de cada indicador.
La evaluacin de la calidad de los sistemas educativos: propuesta de un modelo
38
134027 _ 0001-0184.indd 38 16/3/09 16:10:32
39
Tras la primera aplicacin se podr hacer un nuevo anlisis de la calidad de cada indicador y del
sistema en conjunto, a posteriori, revisando la consistencia de los datos y contrastndolos con
otros comparables, por ejemplo, de investigacin independiente. Se podr valorar tambin en
qu medida la informacin es interpretada correctamente y utilizada para sustentar acciones de
mejora.
CONCLUSIN
La difusin de pruebas de rendimiento en gran escala que hoy se observa en muchos sistemas
educativos se entiende, en parte, por la creciente insatisfaccin de personas interesadas por la
educacin respecto a los niveles de aprendizaje de los alumnos. No pocos de los que experimen-
tan tal insatisfaccin, sin embargo, tienen una visin simplista tanto de las causas de la situacin
como de la forma de valorarla y corregirla.
En cuanto a causas, son frecuentes los diagnsticos que no toman en cuenta los muchos factores
de las escuelas y su contexto que infuyen en la calidad. En cuanto a los medios de valorar la cali-
dad, las visiones simplistas los reducen a la aplicacin de pruebas de rendimiento, sin distinguir
su enfoque y nivel tcnico. Y en cuanto a las estrategias para remediar la situacin, se proponen
medidas simples de las que se espera demasiado, como asignar recursos a las escuelas segn los
resultados de sus alumnos en las pruebas, los bonos educativos (vouchers), la privatizacin de las
escuelas pblicas, etc.
En este contexto se observa una proliferacin de pruebas con las que se pretende valorar la ca-
lidad de las escuelas, aunque los instrumentos no hayan sido diseados de manera apropiada
para tal propsito y aunque tengan limitaciones tcnicas que ponen en tela de juicio su validez
y su confabilidad. A partir de ello se producen dos tipos de reacciones: una, los maestros se ven
impulsados a orientar su trabajo pedaggico en funcin de los contenidos de las pruebas, ya que
sern el medio privilegiado para valorar su trabajo; y otra, entre los mismos maestros y entre los
estudiosos de la educacin, se genera un rechazo absoluto de las pruebas, por considerarlas in-
trnsecamente inadecuadas.
La postura que se sostiene en este trabajo es diferente. Se acepta que, en muchos casos, la calidad
de la educacin no es buena, en especial en relacin con los pases de mejores resultados; antes de
califcarla como catastrfca, sin embargo, se considera tambin que hay que tener en cuenta que
las causas son complejas y sufcientemente conocidas como para que los resultados no resulten
sorpresivos para quien tenga una visin amplia del contexto nacional e internacional. Se conside-
ra que buenas evaluaciones son necesarias para apoyar esfuerzos de mejora, pero que debe tener-
se mucho cuidado para no caer en el error que hoy acecha a los sistemas educativos: el desarrollo
de evaluaciones no adecuadas. Como toda herramienta, la evaluacin puede ser utilizada bien o
mal. Un uso inadecuado de un instrumento tan poderoso puede tener consecuencias negativas
graves, que las personas preocupadas por la educacin deberamos tratar de evitar.
Felipe Martnez Rizo
134027 _ 0001-0184.indd 39 16/3/09 16:10:32
134027 _ 0001-0184.indd 40 16/3/09 16:10:32
41
Las evaluaciones internacionales
Enrique Roca
En el presente captulo se efecta un repaso de los estudios internacionales de evaluacin en los
que han estado implicados buena parte de los pases europeos y americanos. Se trata de revisar
la evolucin de estos estudios desde su nacimiento a comienzos de la dcada de los sesenta, las
razones que los impulsaron, el objeto de estudio, las poblaciones a las que se han dirigido, los
instrumentos utilizados, las caractersticas principales de los anlisis realizados, la presentacin
de sus resultados y la utilidad de los mismos para el conocimiento de las realidades educativas. El
lector encontrar una refexin ms detenida sobre las evaluaciones y la defnicin de objetivos y
de polticas educativas en el captulo de Alejandro Tiana en este libro.
Adems de la valoracin que realizan los maestros de los aprendizajes de sus alumnos, desde la
primera mitad del siglo xx la evaluacin de los sistemas educativos se convirti en una preocu-
pacin fundamental de los responsables de la educacin. La elaboracin de indicadores sociales
sobre el estado de la educacin de la poblacin (analfabetismo) o las primeras estadsticas sobre
el nmero de escuelas y maestros o los porcentajes de alumnos escolarizados y egresados son
los primeros pasos dados para conocer el estado de los sistemas educativos. Pero la evaluacin
a partir de los rendimientos alcanzados por los alumnos cobr un importante impulso desde la
segunda mitad del siglo xx, sobre todo en Estados Unidos, una vez que se pusieron a punto los
instrumentos de medida adecuados, como seala Martinez Rizo en su ensayo en este libro.
LOS PRIMEROS ESTUDIOS INTERNACIONALES: LOS TRABAJOS
DE LA IEA Y DEL LLECE
Los primeros pasos en la preparacin y realizacin de estudios internacionales comparados de eva-
luacin de los sistemas educativos se dan en los aos cincuenta; en 1958 se inician en el Instituto
de la UNESCO para la Educacin en Hamburgo los primeros contactos que dan lugar, en 1967, al
nacimiento formal de la IEA (International Association for the Evaluation of Educational Achieve-
ment). A los estudios propuestos por esta asociacin se fueron incorporando institutos de investi-
gacin y evaluacin educativa que incluan universidades y organismos dependientes de Ministe-
rios de Educacin hasta alcanzar la cifra actual de 62 instituciones y pases implicados (IEA, 2007),
entre los que se encuentran, adems de Espaa y Portugal, Argentina, Brasil, Chile y Mxico.
El primer trabajo de la IEA se realiz entre 1959 y 1962 con muestras de estudiantes de 13 aos
de 12 pases y abarc cinco reas: matemticas, comprensin lectora, geografa, ciencias y una ha-
bilidad no verbal. Independientemente de los resultados acadmicos y prcticos, el estudio mos-
tr que era posible realizar mediciones internacionales a gran escala y que distintos centros de
investigacin de diferentes pases podan construir de comn acuerdo cuestionarios y conjuntos
de pruebas para realizar anlisis de resultados de los alumnos, independientemente de que estos
trabajaran en distintas lenguas y con diferentes currculos y contextos educativos.
134027 _ 0001-0184.indd 41 16/3/09 16:10:32
42
El xito de este estudio preliminar anim a iniciar en 1964 el primer estudio internacional sobre
matemticas (FIMS), en el que participaron doce pases, entre los que no se encontraba ninguno
latinoamericano. Se recogieron datos sobre dos poblaciones de estudiantes de 13 aos y alumnos
de estudios preuniversitarios. En 1970-1971 la IEA realiz un nuevo grupo de estudios en el que
se examinaron seis materias: comprensin lectora, ciencias, literatura, francs e ingls como len-
guas extranjeras y educacin cvica, con estudiantes de 10 y de 14 aos (edad que por entonces
coincida con el fnal de la educacin obligatoria de la mayora de los pases participantes). Este
estudio incluy aspectos relacionados con el inters, la motivacin y las actitudes de los alumnos,
los mtodos de enseanza y las prcticas escolares, y se complet en 1985 con un estudio sobre
expresin escrita.
A partir de los aos ochenta cobraron mayor intensidad estos estudios internacionales de evalua-
cin patrocinados por la IEA (2007a), sobre las reas sealadas y sobre otras nuevas que se fueron
incorporando sucesivamente: SIMS, SISS, TIMSS (a partir de 1999 la T signifca trends), PIRLS,
ICCS... Estos estudios se realizaron con alumnos escolarizados en distintos grados de enseanza y
de distintas edades, incluida la educacin infantil, la educacin primaria y la educacin secundaria.
Estudios de evaluacin de la IEA
1959-1962
1964
1970-1971
1985
1980-1981
1983-1984
1987-1993
1991
1993
1995
1995
1999, 2002
1994-2002
1999, 2003, 2007
2001, 2006
Pilot Twelve-Country Study.
Primer estudio internacional sobre matemticas (First International
Mathematics Study-FIMS).
Estudio sobre comprensin lectora, ciencias, literatura, francs e ingls
como lenguas extranjeras y educacin cvica.
Estudio sobre Written Composition.
SIMS: Second International Mathematics Study.
SISS: Second International Sciencia Study.
COMPED: The Computers in Education Study.
The Use of Computers in Education Worldwide.
The IEA Study of Computers in Education.
The IEA Reading Literacy Study. Technical Report.
TIMSS: Third International Mathematics and Science Study.
SITES: The Second Information Technology in Education Study.
CIVED: Civic Education Study.
TIMSS: Trends in Mathematics and Science Study.
PIRLS: Progress in Reading Literacy Study.
ICCS: Estudio Internacional sobre Educacin Cvica y Ciudadana.
TEDS-M: Estudio Internacional sobre la Formacin Inicial
del Profesorado de Matemticas.
A partir de los aos noventa, a los trabajos internacionales de evaluacin de la IEA se han sumado
los realizados por distintas organizaciones internacionales: UNESCO, OCDE y Unin Europea,
entre otras. Se han ampliado los objetos de estudio: adems del rendimiento de los alumnos en
Las evaluaciones internacionales
134027 _ 0001-0184.indd 42 16/3/09 16:10:32
43
distintas reas del currculo, y en distintas edades de la educacin primaria y secundaria, se han
propuesto estudios sobre distintas competencias bsicas (OCDE, UE), actitudes y valores de los
alumnos (IEA, UE), formacin del profesorado (IEA), y procesos de enseanza y aprendizaje,
basados en cuestionarios a los profesores (OCDE), o sobre otras etapas de la formacin a lo lar-
go de la vida. En los cuadros que acompaan a este texto se puede observar una relacin de los
principales estudios de las instituciones sealadas. A los recientes estudios de UNESCO, OCDE
e IEA se han ido incorporando distintos pases latinoamericanos, como se seala a continuacin
en cada caso.
En 1994 se fund el Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin
(LLECE), coordinado por la Ofcina Regional para Amrica Latina y el Caribe (OREALC) de
UNESCO. Entre 1995 y 1997, el LLECE realiz el Primer Estudio Regional Comparativo y Ex-
plicativo (PERCE), y entre 2002 y 2008 ha realizado el Segundo Estudio Regional Comparativo
y Explicativo (SERCE), de los cuales el lector encontrar detallada informacin en el captulo de
Guillermo Ferrer en este libro (LLECE, 2008).
Los estudios de evaluacin en Amrica Latina del LLECE, UNESCO-OREALC
1997
2007
PERCE: Primer Estudio Regional Comparativo y Explicativo.
SERCE: Segundo Estudio Regional Comparativo y Explicativo. 3. y 6. nivel
en lenguaje, matemticas y ciencias.
Finalmente, debe sealarse otro proyecto importante en el plano internacional, el SACMEQ
(Southern and Eastern Africa Consortium for Monitoring Educational Quality), en el que estn
implicados 15 pases del este y sur de frica y el Instituto Internacional de Planeamiento de la
Educacin de la UNESCO (IIEP). El consorcio fue creado formalmente en 1995 y realiz un
primer estudio en 1998, el SACMEQ I, y uno segundo, el SACMEQ II en 2000-2003, en el que
participaron 14 pases.
LA EVALUACIN DE COMPETENCIAS BSICAS: PISA Y LOS ESTUDIOS
DE LA UNIN EUROPEA
La OCDE inici el proyecto PISA (Programa para la Evaluacin Internacional de Alumnos) en
1997 con el propsito de ofrecer resultados sobre rendimiento educativo de los alumnos de 15
aos a partir de la evaluacin, cada tres aos, de su grado de adquisicin de tres competencias
bsicas: la comprensin lectora (MEC. Instituto de Evaluacin, 2007a), la matemtica y la cien-
tfca (OCDE, 2005). Se trataba de completar con estos resultados educativos el panorama de
indicadores educativos que vena publicando la OCDE desde el inicio del Proyecto INES en 1992.
Pero, sobre todo, PISA estudia la evolucin de los sistemas educativos a travs de los logros de los
alumnos. Las caractersticas fundamentales de PISA han sido su orientacin poltica y su inno-
vador concepto de competencia bsica, que tiene que ver con la capacidad de los estudiantes para
extrapolar lo aprendido y aplicar sus conocimientos ante nuevas circunstancias, su relevancia
para el aprendizaje a lo largo de la vida y su regularidad.
Adems PISA, como buena parte de los estudios internacionales recientes, realiza una evalua-
cin de los factores que pueden estar asociados con los distintos niveles de competencia, que se
abordan ms adelante. En la edicin de 2000 participaron 43 pases (entre ellos Argentina, Brasil,
Enrique Roca
134027 _ 0001-0184.indd 43 16/3/09 16:10:32
44
Chile, Mxico y Per) y en la del 2003, 41 pases (entre los cuales se encontraban Brasil, Mxico
y Uruguay). En la edicin de 2006 han participado 57 pases, incluidos los 30 de la OCDE y otros
27 pases asociados, y entre ellos los siguientes pases latinoamericanos: Argentina, Brasil, Chile,
Colombia, Mxico y Uruguay (OCDE, 2008). Estos pases, junto con Espaa y Portugal, han
constituido el Grupo Iberoamericano de PISA (GIP), que viene analizando conjuntamente los
trabajos de PISA desde la perspectiva iberoamericana y est elaborando un informe regional con
los resultados PISA 2006.
La OCDE ha puesto tambin en marcha dos estudios de evaluacin, TALIS (Estudio Interna-
cional de Enseanza y Aprendizaje), donde participan, adems de Espaa y Portugal, Brasil y
Mxico, y PIACC (Programa para la Evaluacin Internacional de las Competencias de los Adul-
tos), que comportan un trabajo de campo dirigido a profesores y a adultos. Adems, la OCDE
ha propuesto otros estudios de evaluacin que se encuentran en una fase de informes nacionales,
anlisis y propuestas de futuro: liderazgo (Pont, 2008), reconocimiento de los aprendizajes no for-
males e informales, o el proyecto sobre el desarrollo de modelos de valor aadido en los sistemas
educativos.
Estudios de evaluacin de la OCDE
2000, 2003, 2006
2005
PISA: Programa para la Evaluacin Internacional de Alumnos.
ALL: Adult Literacy and Life Skills Survey.
TALIS: Estudio Internacional de Enseanza y Aprendizaje.
PIACC: Programa para la Evaluacin Internacional de las Competencias
de los Adultos.
RNFIL: Reconocimiento de los Aprendizajes No Formales e Informales.
Liderazgo en los centros educativos.
Desarrollo de modelos de valor aadido en los sistemas educativos.
Desde la presentacin del informe Delors (1996), en la Unin Europea se puso en marcha la defni-
cin de las competencias clave. La Estrategia de Lisboa se concret, en educacin, en la defnicin
de los objetivos educativos para 2010 y en la recomendacin a los pases de que se trabaje para
que los alumnos puedan adquirir en la educacin obligatoria las competencias clave. Adems, la
Unin Europea ha puesto en marcha iniciativas para evaluar los rendimientos obtenidos tomando
como referencia, precisamente, la adquisicin de las competencias por parte de los alumnos (UE,
2006). Esta propuesta ha venido acompaada de un intenso programa de evaluacin educativa
que consiste en dos procesos convergentes: el estmulo y el apoyo a los pases miembros para su
participacin en estudios de la OCDE y de la IEA, y la realizacin de estudios propios.
Entre los estudios de la Unin Europea se pueden sealar el relativo a la evaluacin de la com-
petencia aprender a aprender, con el que adems se pretende contribuir a la construccin de un
nuevo indicador educativo europeo; la elaboracin del Banco Europeo de tems de Anclaje para la
Evaluacin de Destrezas en Lenguas Extranjeras, basado en los niveles de rendimiento estableci-
dos en el Marco Comn Europeo de Referencia para las Lenguas, o el proyecto sobre un Indicador
Europeo de Competencia Lingstica, que debe permitir conocer y estimular el aprendizaje de
idiomas, en particular el aprendizaje de dos lenguas distintas a la materna desde una edad muy
temprana (UE, 2006).
Las evaluaciones internacionales
134027 _ 0001-0184.indd 44 16/3/09 16:10:33
45
Estudios de evaluacin de la Unin Europea
EBFALS: Banco Europeo de tems de Anclaje para la Evaluacin de Destrezas en Lenguas
Extranjeras.
Indicador Europeo de Competencia Lingstica.
Aprender a aprender.
LAS EVALUACIONES INTERNACIONALES DE LOS SISTEMAS EDUCATIVOS
A PARTIR DEL RENDIMIENTO DE LOS ALUMNOS
En este apartado se resumen algunos de los aspectos y caractersticas esenciales de los estudios
internacionales de evaluacin, centrados en el rendimiento de los alumnos y los principales fac-
tores asociados al mismo, mencionados en el apartado anterior. Conviene resaltar de entrada que
la evolucin de estos estudios ha sido notable, como lo ha sido la mejora de los instrumentos de
medida, que han alcanzado elevado rigor y fabilidad (Roca, 2008).
Poblaciones y muestras
En primer lugar, hay que resaltar que los estudios internacionales se han dirigido a diferentes
poblaciones de alumnos. En unos casos, se ha centrado el estudio en determinados grados de pri-
maria: PIRLS, Progreso en Capacidad de Lectura en 4. (MEC, Instituto de Evaluacin, 2007b),
y LLECE en 3., 4. y 6.; o en secundaria: TIMSS, Estudio Internacional de Tendencias en Ma-
temticas y Ciencias, en 8., ICCS (IEA, 2007b), Estudio Internacional sobre Educacin Cvica y
para la Ciudadana, en 8., independientemente de la edad de los alumnos. En las comparaciones
internacionales, algunos expertos plantean el inconveniente que supone, al evaluar un grado de-
terminado, valorar a alumnos con distinta edad y nmero de aos de aprendizaje acumulados y
las diferencias que este hecho puede introducir, que no podrn ser atribuidas al rendimiento de
cada uno de los sistemas educativos comparados.
En otros casos, el estudio se ha realizado con alumnos de una determinada edad (PISA a los 15
aos), o al fnalizar una etapa educativa (EBFALS, el Banco Europeo de tems de Anclaje para la
Evaluacin de Destrezas en Lenguas Extranjeras, al acabar la secundaria obligatoria). Esta deci-
sin permite comprobar la efcacia de los distintos sistemas a la hora de garantizar la adquisicin
de las competencias bsicas por parte de sus alumnos en un momento prximo al fnal de la
educacin obligatoria en la mayora de los pases. Este tipo de anlisis pone de manifesto que
los rendimientos de los alumnos que siguen determinados itinerarios formativos o que padecen
la repeticin de curso son inferiores que los de otros compaeros que a la edad considerada han
seguido con xito los programas generales de estudio que habitualmente dan acceso a estudios
acadmicos postobligatorios.
En todos los casos, las muestras de alumnos seleccionados para representar a cada pas (en su
caso regin, estado federado o comunidad autnoma) son tales que deben ofrecer una confanza
no inferior a la establecida como garanta en cada estudio. El tamao de las muestras est condi-
cionado igualmente por el diseo matricial que suele adoptarse para la aplicacin de diferentes
cuadernillos de las pruebas. El muestreo se realiza habitualmente mediante una primera seleccin
aleatoria de los centros educativos de cada pas participante (o regin). En una segunda etapa, en
cada uno de los centros seleccionados se eligen aleatoriamente los alumnos que corresponda.
Enrique Roca
134027 _ 0001-0184.indd 45 16/3/09 16:10:33
46
Tipos de ejercicios
Los ejercicios que realizan los alumnos suelen consistir en una prueba de lpiz y papel con cua-
dernos distintos, con el contenido parcialmente solapado segn la tcnica de muestreo matricial,
para que se cubra un campo ms amplio de contenido, pero sin superar el tiempo previsto de
prueba individual. De este modo, cada alumno responde a un conjunto de tems tal que el ejerci-
cio no sea para l excesivamente largo, pero que, al mismo tiempo, la prueba en su conjunto pue-
da contar con un nmero sufciente de respuestas para cada tem y un nmero de tems tambin
sufciente para asegurar que se mide realmente lo que se pretende y se hace de modo objetivo.
Por otra parte, los alumnos suelen responder a un cuestionario de datos personales y familiares,
que incluye sus opiniones y actitudes ante el estudio y ante la atencin que reciben en el centro
escolar y en el aula. Estos cuestionarios son esenciales para obtener informacin complementaria
sobre distintos factores asociados a los aprendizajes, como son los contextos sociales, econmicos
y culturales de alumnos y centros, el clima del aula, los procesos educativos, etc.
En muchas ocasiones, las pruebas que realizan los alumnos son complementadas con distintos
cuestionarios para el director del centro o miembros del equipo directivo, para los profesores de
los alumnos participantes en la prueba y para sus familias, cuestionarios todos que permiten am-
pliar y matizar la informacin relativa a los factores asociados proporcionada por los alumnos.
Las preguntas de la prueba de rendimiento pueden ser de distinto tipo. Por un lado, hay preguntas
cerradas en dos versiones: simples, o de eleccin mltiple, frecuentemente entre cuatro opciones
distintas de respuesta, y complejas, que combinan diferentes opciones de respuesta binaria (s/
no; verdadero/falso). Tambin hay preguntas abiertas, de respuesta elaborada, corta o larga, que
necesitan la intervencin de correctores bajo pormenorizados criterios de valoracin. Por ltimo,
las preguntas sobre actitudes suelen utilizar escalas en las que los alumnos identifcan el valor ms
acorde con sus disposiciones, actitudes o valoracin personales (escalas Likert).
En la mayora de los estudios, las preguntas no se presentan aisladas, sino formando grupos o
unidades de evaluacin bajo una presentacin textual o grfca comn, (estmulo), que propone
al alumno una situacin cotidiana como la que se puede encontrar en la vida real, sobre la que se
le formulan distintas cuestiones. Esta presentacin permite minimizar el efecto de los cambios de
contexto de las preguntas y tambin posibilita que el estmulo comn pueda ser mejor explotado.
reas curriculares y competencias bsicas
Desde el inicio, los estudios internacionales de evaluacin trataron de medir el aprendizaje de los
alumnos mediante los resultados que obtienen o, dicho de otro modo, mediante el anlisis de sus
conocimientos y destrezas en determinadas reas del conocimiento.
En esos primeros estudios se consideraron la comprensin lectora en la lengua materna, las ma-
temticas y, muy frecuentemente, las ciencias naturales, como las reas principales sobre las que
organizar las pruebas que deben responder los alumnos. Las dos primeras reas se caracterizan
por ser instrumentales y universales y ocupar un lugar destacado en los currculos de todos los
pases. Las ciencias no disfrutan exactamente de las mismas caractersticas que lectura y matem-
ticas, pero s suelen presentar un tratamiento bastante comn en los currculos y una pretensin
de objetividad elevada, circunstancias imprescindibles para una medida ms precisa y objetiva.
Estas tres reas se prestan bien a su evaluacin con instrumentos estandarizados. Otras reas han
Las evaluaciones internacionales
134027 _ 0001-0184.indd 46 16/3/09 16:10:33
47
sido objeto de estudio, como la geografa o los idiomas extranjeros, pero con menor frecuencia,
debido sobre todo al diferente tratamiento que reciben en los currculos de los distintos pases, a
sus peculiaridades regionales o nacionales o a la importancia que, con mayor o menor justifca-
cin, se otorga a los distintos saberes.
A partir de los aos noventa fue cobrando fuerza en la evaluacin la tendencia a considerar, ade-
ms de los aspectos meramente cognitivos de las distintas reas del currculo, las denominadas
competencias bsicas. Al evaluar competencias bsicas se trata de medir no tanto los contenidos
que los alumnos han aprendido, como su capacidad para extrapolar sus aprendizajes y aplicar sus
conocimientos y habilidades a nuevas situaciones y contextos, es decir, aplicar lo que aprenden
en la escuela y fuera de ella y tomar decisiones fundadas. Este es el enfoque de PISA de la OCDE
(OCDE, 2005).
Por otra parte, la propuesta de la Unin Europea de la incorporacin de las competencias clave en
los currculos y en la evaluacin ha tenido como consecuencia reformas educativas en distintos
pases, como en Francia (MINISTERE, 2006) o Espaa (LOE, 2006), en las que se ha llevado a
cabo esta incorporacin de las competencias bsicas (Roca y Snchez, en prensa). Adems, en
los diversos programas de evaluacin de distintos pases y de la propia UE se han venido incor-
porando a las reas tradicionales de estudio, transformadas ahora en competencias bsicas (lec-
tura, matemticas, ciencias), nuevas competencias bsicas: la ciudadana (evaluada por ICCS de
IEA, con mdulo especfco europeo, y la participacin de los siguientes pases latinoamericanos:
Chile, Colombia, Guatemala, Mxico, Paraguay y Repblica Dominicana), las tecnologas de la
informacin y la comunicacin (PISA-ERA-Electronic Reading Assessment), o la competencia
de los alumnos para aprender a aprender (UE).
El enfoque curricular (basado en los diversos tipos de contenidos, comunes en los currculos
de los pases participantes) se mantiene en importantes estudios internacionales: PIRLS (don-
de participaron Argentina y Colombia en la edicin del 2001, y Espaa en la edicin 2006) y
TIMSS de la IEA (que incluye en el 2007 a Colombia y Espaa) o los estudios del LLECE. Este
enfoque permite orientar el estudio hacia los aprendizajes, los conocimientos y las destrezas
adquiridos por los alumnos en las reas examinadas. La principal difcultad de este enfoque
reside en que, en un estudio internacional, es necesario delimitar los aspectos comunes de los
distintos currculos y limitar las pruebas a esos aspectos. En muchos casos, objetivos, criterios
y estndares de los distintos currculos no facilitan esta tarea. Por esta razn se han venido
usando preferentemente las reas instrumentales y, dentro de ellas, dominios especfcos de la
comprensin lectora o las matemticas. El lector encontrar una detallada refexin sobre este
asunto en el captulo de Margarita Poggi en este libro.
Estos inconvenientes no son muy diferentes en el enfoque de competencias bsicas si, como sea-
lan distintos expertos, no existe un sufciente consenso terico sobre la defnicin de las compe-
tencias bsicas o no hay acuerdo generalizado sobre las dimensiones de las competencias que se
deben considerar y evaluar. Los defensores del modelo basado en competencias subrayan que,
en las distintas unidades de evaluacin, reproducidas mediante los denominados estmulos so-
bre los que se organizan las cuestiones concretas, se enfrenta a los alumnos a situaciones reales
ante las que, para resolverlas correctamente, los alumnos deben utilizar los distintos conoci-
mientos, destrezas y actitudes adquiridas en el conjunto de las reas de los currculos, y no solo
en aquellas reas ms prximas a las competencias evaluadas.
Enrique Roca
134027 _ 0001-0184.indd 47 16/3/09 16:10:33
48
Factores asociados
Los estudios internacionales han permitido constatar que el rendimiento educativo de los alum-
nos est relacionado con distintos factores, entre los que se sealan como fundamentales el es-
tatus social, econmico y cultural de las familias, los relacionados con el trabajo y el clima en el
aula, o la organizacin de las escuelas. Por esta razn, dichos estudios elaboran diferentes ndices
estadsticos que pretenden ofrecer informacin sobre la relacin entre los resultados y el factor
concreto del que se trate. Uno de estos ndices, hoy utilizado en prcticamente todos los estudios
internacionales, es el denominado ndice de estatus social, econmico y cultural (ESEC), calcu-
lado a partir de las respuestas de los alumnos y de los cuadernillos de profesores, directivos y
familias.
La elaboracin de este ndice para el conjunto de pases y regiones participantes en los distintos
estudios suele tener en cuenta diferentes componentes: el nivel de educacin o formacin alcan-
zado por los padres, su situacin laboral y su profesin y el nivel de recursos educativos en el
hogar (espacio para estudiar, conexin a Internet, libros de estudio y de literatura, etc.).
En diferentes estudios, este ndice proporciona un valor para cada pas o regin, escuela o alum-
no. Ello permite considerar la relacin entre el rendimiento y el estatus socioeconmico y cultural
de familias y escuelas dentro de cada pas o regin y comparar su comportamiento con los de
otros. Combinando las puntuaciones promedio y el ndice se pueden construir lneas de regre-
sin (gradiente) que resumen la relacin entre las diferentes puntuaciones del rendimiento y los
distintos valores ESEC de escuelas y alumnos de un pas. Estos gradientes ponen de manifesto
que, en muchos casos, a similares niveles de bienestar social, econmico y cultural corresponden
resultados diferentes, indudablemente justifcados por el trabajo en el aula y en la escuela. Tam-
bin muestran la conveniencia de mejorar los rendimientos de todos los alumnos (excelencia) y
disminuir, al tiempo, las diferencias (equidad), as como la necesidad de proporcionar en la es-
cuela entornos educativos que compensen entornos familiares y escolares desfavorecidos (MEC,
Instituto de Evaluacin, 2007c).
De inters particular ha resultado el ndice sobre el clima escolar calculado por el SERCE (LLE-
CE, 2008), con el que se pone de manifesto la importancia que tiene mejorar la organizacin y el
funcionamiento de las escuelas, el trabajo de los profesores y su relacin con los alumnos, pues las
variables consideradas en estos factores relacionados con el clima escolar son ms determinantes
cuanto ms pequeos son los nios. En la consideracin de los factores asociados conviene tener
presente la rica informacin que ofrecen los distintos indicadores de los sistemas educativos. En
este sentido, se remite al lector al captulo de Margarita Poggi en este libro.
Anlisis y presentacin de los resultados: la potencial utilidad
de los informes internacionales
En la presentacin de los resultados de la mayora de evaluaciones internacionales no se utiliza la
metodologa conocida como teora clsica de los tests, segn la cual las puntuaciones obtenidas
por los alumnos se expresan en porcentajes de aciertos o puntos, sobre el total que puede obte-
nerse en la prueba. En su lugar, se utiliza el mtodo conocido como teora de respuesta al tem
(TRI), que permite situar el resultado o nivel de competencia de cada alumno en una escala co-
mn, sean cual sean los bloques de la prueba. Los resultados globales alcanzados por los alumnos
se suelen expresar en una escala continua en la que se hace equivaler a 500 puntos el promedio de
Las evaluaciones internacionales
134027 _ 0001-0184.indd 48 16/3/09 16:10:33
49
las puntuaciones medias de los participantes en el estudio. Este promedio de 500 es, por tanto, un
ndice de los resultados medios de los pases y alumnos participantes.
Hay que tener en cuenta, por tanto, que estas puntuaciones no son califcaciones como las que
otorga habitualmente un profesor a sus alumnos cuando evala el resultado de su aprendizaje. El
promedio de 500 puntos es un nmero ndice que facilita la comparacin entre pases, nmero
que nada tiene que ver con una supuesta califcacin sobre un criterio de excelencia (no cabe en
modo alguno establecer equivalencias con el valor de los puntos en una escala de 1 a 10).
Pero el resultado promedio global, siendo til, pues resume en una cifra por pas y en una escala
al conjunto de los pases, no deja de ser una parte pequea de la rica y compleja informacin que
las evaluaciones internacionales ofrecen. Hay que resaltar la enorme utilidad de la presentacin
de resultados para cada rea o competencia evaluada, segn distintos niveles de rendimiento de
los alumnos en dicha rea o competencia. Esta presentacin la realizan prcticamente todos los
estudios (PIRLS, TIMSS, PISA, SERCE) y permite verifcar, por un lado, qu porcentaje de
alumnos se encuentra en cada uno de los niveles de rendimiento reconocidos. Por otro lado, per-
mite describir los conocimientos, habilidades o competencias que caracterizan a cada uno de los
niveles. El valor relativo de estos niveles y el marco de comparacin que ofrecen es un instrumen-
to muy valioso para los sistemas educativos, que encuentran contrastados los rendimientos de sus
alumnos con estas referencias de comparacin internacional. Es cierto que desde el punto de vista
metodolgico no es sencillo defnir niveles de rendimiento, por lo que no es prudente comparar
los que se establecen en un estudio con los de los dems, a no ser que se adopten las cautelas y las
consideraciones tcnicas pertinentes.
Una segunda informacin de inestimable valor que ofrecen los estudios internacionales es la rela-
tiva a los resultados en cada uno de los principales aspectos o dimensiones del rea o competencia
evaluada. Es posible as conocer los resultados de los alumnos segn los distintos procesos cog-
nitivos propios de un rea o competencia (por ejemplo, en la comprensin lectora, se encuentran
valoraciones de la capacidad de los alumnos para aproximarse al texto e identifcar, organizar,
integrar, sintetizar, refexionar, valorar, transferir y aplicar la informacin) o segn los bloques de
contenidos (por ejemplo, los nmeros y operaciones, la estimacin y clculo de magnitudes, las
formas y la geometra, o el tratamiento de la informacin, el azar y la probabilidad en la compe-
tencia matemtica).
Por otra parte, todos los estudios ofrecen diferentes medidas de las variaciones de los resultados que
presentan los alumnos de un mismo pas o regin y, por tanto, de la capacidad de los sistemas educa-
tivos de ofrecer a todos los alumnos, o a un nmero muy elevado de ellos, niveles elevados y equitati-
vos de rendimiento. Un resultado promedio elevado puede deberse a distribuciones muy desiguales
entre las puntuaciones obtenidas por los alumnos de modo que haya, junto a unos pocos con resul-
tados excelentes, otros con resultados muy pobres. Un sistema educativo solo puede ser de calidad si
es capaz de ofrecer al mismo tiempo elevado rendimiento y equidad o, dicho de otro modo, elevados
resultados para todos o una inmensa mayora de sus alumnos. Los estudios internacionales ofrecen
en este sentido una informacin y una referencia en la comparacin muy estimables.
Finalmente, como se ha sealado antes, los estudios internacionales ofrecen tambin hoy los re-
sultados de los alumnos en relacin con diferentes factores asociados, entre los que cabe destacar
los ndices sociales, econmicos y culturales, en la casi totalidad de los estudios actuales, y otros
ndices como el clima escolar (LLECE, 2008).
Enrique Roca
134027 _ 0001-0184.indd 49 16/3/09 16:10:33
50
Todos los estudios ponen de manifesto el peso relativamente importante de estos factores en el
rendimiento de los alumnos. Pero en todos los estudios se puede observar tambin que alumnos
y escuelas sometidos a factores contextuales similares pueden presentar resultados muy diversos.
O, dicho de otro modo, que es fundamental el trabajo de profesores y alumnos, que los procesos
de enseanza y aprendizaje que se desarrollan en el aula y en el trabajo cotidiano terminan modi-
fcando, a veces de modo muy positivo, factores de contexto y de entorno desfavorables.
LOS ASPECTOS MENOS SATISFACTORIAMENTE VALORADOS
POR LOS ESTUDIOS INTERNACIONALES: PROCESOS EDUCATIVOS,
FUNCIONAMIENTO DE LAS ESCUELAS, TRABAJO DEL PROFESORADO
Los estudios internacionales de evaluacin tienen como propsito fundamental evaluar el fun-
cionamiento de los sistemas educativos. Generalmente han tratado de cumplir este cometido me-
diante el anlisis del rendimiento alcanzado por una muestra signifcativa de alumnos del pas o
regin considerada, aspecto fundamental, que adems ofrece la ventaja de que es cuantifcable con
relativa precisin y sencillez. Pero, al mismo tiempo, los propios estudios no han dejado de insistir
de modo reiterado en que, siendo el rendimiento de los alumnos un indicador valioso del fun-
cionamiento del sistema educativo, hay otros muchos aspectos que deben ser tenidos en cuenta:
cmo se producen los aprendizajes (los procesos educativos), cmo estn preparados (formacin),
trabajan y colaboran los profesores para que el rendimiento de sus alumnos sea el mximo posible,
cmo deben organizarse y funcionar las escuelas para lograr el mismo fn, cules son las circuns-
tancias y los contextos de los alumnos y de las propias escuelas que explican los rendimientos
medidos, cmo infuye la implicacin de las familias y de la sociedad. Todas estas cuestiones han
sido objeto de preocupacin y han ido incorporndose con mayor o menor intensidad y acierto a
la mayora de los recientes estudios, junto con la medida del rendimiento de los alumnos.
Se ha sealado insistentemente la importancia de medir los procesos educativos. Sin embargo,
mientras la valoracin de resultados de los alumnos ha progresado de modo notable y satisfacto-
rio, la medicin de los aprendizajes y de los procesos educativos que tiene lugar entre el maestro
y sus alumnos sigue siendo compleja y poco exitosa. No es posible la observacin directa de los
procesos a gran escala y de modo confable y no es fcil cuantifcar su efcacia de modo objetivo,
dos aspectos fundamentales en la evaluacin que no se logran resolver de modo satisfactorio en la
valoracin de los procesos educativos. La informacin principal sobre los procesos que obtienen
los estudios internacionales proviene de los cuestionarios que responden alumnos, profesores
y equipos directivos. Hasta la fecha, esta informacin sigue siendo escasa en la mayora de los
estudios. No obstante, estudios como TALIS de la OCDE abren nuevas posibilidades sobre la
evaluacin de los procesos, que es de esperar sean fructferas.
Por otra parte, los estudios internacionales proporcionan informacin sobre la variabilidad de los
resultados entre escuelas, lo cual permite valorar hasta qu punto las diferencias de los resultados
de los alumnos dependen de su escolarizacin en uno u otro centro. La infuencia de las escuelas
sobre los resultados de los alumnos puede deberse a distintas razones: el currculo real impartido,
el clima escolar, el ambiente de estudio o el origen social conjunto de los alumnos matriculados.
Pero los estilos propios de las escuelas benefcian o perjudican en mayor o menor medida a sus
alumnos. Como se ha sealado, los centros educativos pueden ejercer un notable efecto sobre los
resultados de sus alumnos: las escuelas con buenos resultados globales mejoran los resultados de
los alumnos de menor rendimiento.
Las evaluaciones internacionales
134027 _ 0001-0184.indd 50 16/3/09 16:10:33
51
La mayora de los estudios sealan la conveniencia de que las escuelas puedan disponer de au-
tonoma para adoptar las acciones necesarias, de los recursos sufcientes y de planes de trabajo
encaminados a la consecucin de los objetivos y la evaluacin de sus procesos, sus contextos y sus
resultados. Desde esta perspectiva, la autonoma de los centros aparece como un factor que puede
favorecer de modo notable la mejora de los resultados educativos de sus alumnos.
Un aspecto que est en el centro de las preocupaciones evaluadoras y constituye un reto funda-
mental en la evaluacin, en general, y en la de las escuelas, en particular, es el valor aadido que
estas son capaces de ofrecer a sus alumnos. Existe un proyecto de la OCDE que pretende abordar
precisamente esta cuestin, pero que se encuentra todava en una fase inicial de valoracin de la
situacin actual en este campo.
Finalmente, como se ha sealado, la mayora de los estudios muestran la importancia del profeso-
rado en el rendimiento de los alumnos, pero en estos estudios de evaluacin casi son inexistentes
los apartados dedicados a valorar la formacin, inicial y permanente, el reconocimiento, la exi-
gencia, la promocin y la gratifcacin del profesorado y sus efectos en la mejora de la calidad de
los sistemas educativos. Proyectos como TALIS (OCDE) y TEDS-M (Formacin Inicial del Profe-
sorado en Matemticas de la IEA, donde participan Espaa y Chile) pueden abrir un camino que
es imprescindible transitar en los prximos aos.
CONCLUSIN
Los estudios internacionales de evaluacin han adquirido, sobre todo desde la aparicin de PISA,
un impacto meditico considerable en la mayora de los pases. Si bien la presentacin que la
prensa hace suele quedarse en el impacto de las clasifcaciones internacionales de los pases se-
gn los resultados obtenidos por sus alumnos y, en muchas ocasiones, estas presentaciones han
sido utilizadas para generalizar las crticas a los responsables y agentes educativos, lo cierto es
que las repercusiones a medio plazo para los sistemas educativos estn siendo crecientemente
importantes. Por un lado, los estudios ofrecen una informacin imprescindible sobre la situacin
de la educacin y, por tanto, facilitan la toma de decisiones por parte de los responsables de las
polticas educativas para mejorarlos. Vanse en este sentido las refexiones que se ofrecen en los
dos ltimos captulos del presente volumen.
Pero no solo facilitan la toma de decisiones de los responsables. La informacin que ofrecen los
estudios, cuando se propicia y consiguen las condiciones idneas para su uso, es de la mayor
utilidad para la comunidad educativa. Los alumnos y sus familias tienen una referencia nacional
e internacional de los aspectos ms relevantes de los aprendizajes y sus niveles. Los profesores
reciben informacin sobre las fortalezas y debilidades de su trabajo y del de sus alumnos, y las
circunstancias que mejor las explican. Los equipos directivos encuentran referencia a los aspec-
tos organizativos y a los recursos que resultan ms efcaces en el rendimiento de los alumnos.
Finalmente, las sociedades pueden conocer mejor el funcionamiento de sus sistemas educativos
y, como consecuencia, pueden valorar de modo ms ajustado los aciertos, las defciencias y las
difcultades, pueden exigir mejores medidas y mayor esfuerzo a todos los responsables educativos
y pueden implicarse ms en la asignacin de recursos que una educacin de calidad para todos
reclama y en el apoyo a sus jvenes y a sus maestros.
Los resultados de las evaluaciones internacionales pueden ser un arma arrojadiza, pueden ser
utilizadas de modo inadecuado o pueden producir un efecto contraproducente como resultado
Enrique Roca
134027 _ 0001-0184.indd 51 16/3/09 16:10:33
52
de una inadecuada comprensin de sus alcances y limitaciones; esto ocurre, por ejemplo, cuando
se utilizan exclusivamente los resultados promedio de un pas y el lugar que ocupa en el conjunto
para valorar su sistema educativo. Pero este es un riesgo que prcticamente desaparece si se acier-
ta en la difusin y el buen uso de los resultados de las evaluaciones y que queda sobradamente
compensado por el hecho de que las evaluaciones internacionales pueden ser, sobre todo, un
valioso e indispensable instrumento para conocer y poder adoptar las medidas necesarias para la
mejora de la educacin.
Las evaluaciones internacionales
134027 _ 0001-0184.indd 52 16/3/09 16:10:33
53
Las evaluaciones regionales y nacionales
en Amrica Latina
Guillermo Ferrer
INTRODUCCIN
La construccin de un sistema nacional de evaluacin es un emprendimiento complejo, y de esto
pueden dar cuenta casi todos los pases de la regin. Ms de dos dcadas han pasado desde las
primeras experiencias de evaluacin estandarizada a gran escala en Amrica Latina y, aunque
mucho se ha avanzado en la consolidacin, en el mejoramiento tcnico y en la legitimacin de los
proyectos y programas nacionales de evaluacin educativa, queda todava un largo camino por
andar
1
.
En una regin donde las condiciones para el trabajo docente son precarias, con escuelas que al-
bergan poblaciones de alumnos cada vez ms numerosas y diversas, y donde el Estado no suele
ser el mejor ejemplo de responsabilidad y coherencia en el diseo e implementacin de polticas,
la evaluacin externa y estandarizada ha debido realizar grandes esfuerzos por abrirse paso y ha-
cerse lugar en la compleja y abultada agenda de prioridades en el terreno de la educacin pblica.
Ha debido tambin afnar la capacidad de dilogo con las tradiciones pedaggicas e ideolgicas
locales, casi siempre enfrentadas con la idea de la evaluacin externa y objetiva, y temerosas de
los usos punitivos que de ella puedan hacerse.
Cuando hablamos de sistemas o programas de evaluacin educativa en Amrica Latina, habla-
mos principalmente de equipos: grupos de profesionales que, desde algn rgano de gobierno o
institucin acadmica convocada ofcialmente, asumieron el desafo de disear e implementar
operativos de evaluacin a gran escala. A veces lo hicieron en el marco de una reforma integral del
sistema educativo, y como parte de un esquema renovado de gestin pedaggica y administrativa,
otras como proyectos marginalmente vinculados a las polticas del sector. En ambos casos, sin
embargo, muchos de estos equipos han logrado sostenerse en el tiempo, transitando gobiernos de
diferentes banderas, acumulando experiencia tcnica y poltica, y aportando progresivamente a la
discusin sobre los procesos y resultados de las acciones en materia de educacin pblica. Otros
equipos, aunque no lograron permanecer en sus funciones al cabo de las primeras experien-
1
Todas las informaciones presentadas en este captulo han sido recabadas, documentadas y difundidas
en mltiples publicaciones por el Grupo de Trabajo sobre Estndares y Evaluacin (GTEE) del PREAL, del
que este autor es miembro investigador desde 1999. El texto aqu presentado, aunque de produccin
enteramente original para esta publicacin, sintetiza datos y refexiones de varios estudios del GTEE que
son citados a lo largo del captulo. Para obtener informaciones ms precisas sobre la evaluacin en cada
pas de la regin, se invita al lector a consultar las fuentes de referencia.
134027 _ 0001-0184.indd 53 16/3/09 16:10:33
54
cias, s dejaron un antecedente tcnico y cierta capacidad operativa que tiempo despus permiti
reanudar acciones de evaluacin bajo nuevas administraciones del sector.
Valga esta descripcin para comprender que un autntico sistema de evaluacin educativa en
nuestros pases no se funda de la noche a la maana. Depende mayormente del desarrollo de ca-
pacidades tcnico-profesionales de personas que son convocadas y deciden dedicarse con entrega
y compromiso a una tarea mayscula en un campo donde el conocimiento previo escasea y donde
los condicionantes polticos e ideolgicos abundan. En consecuencia, la consolidacin de un sis-
tema de evaluacin obliga a una fuerte interdependencia entre las agendas de gobierno referidas
a evaluacin y las personas que pueden materializarla con continuidad y solidez.
La evolucin de esa relacin en los diferentes pases ha permitido, en algunos casos, que los pro-
yectos primigenios y acotados de medicin hayan devenido en sistemas ms integrales y articu-
lados de evaluacin educativa. En otros casos, aun cuando se hayan mantenido los equipos y la
regularidad en las aplicaciones, e inclusive logrado el crecimiento en la cobertura poblacional de
los operativos, los esfuerzos no alcanzan para constituir autnticos sistemas de evaluacin; antes
bien todava pueden considerarse proyectos de medicin con escasa o nula articulacin con los
dems componentes de la gestin.
As es como, a lo largo de varios aos de reforma educativa en la regin, con altos grados de
rotacin de autoridades y recambios polticos, con inestabilidad en las condiciones para el man-
tenimiento de elencos tcnicos, con demandas de produccin de informacin no siempre bien
defnidas ni ajustadas a un esquema coherente y sistmico de poltica educativa, con errores y
aciertos, pero con decisin y voluntad de superacin, se fueron conformando y afanzando los
sistemas nacionales y subnacionales de evaluacin.
CARACTERSTICAS DE LOS SISTEMAS DE EVALUACIN
Todos estos sistemas comparten algunas caractersticas comunes y tambin exhiben rasgos que
los diferencian, tanto en su diseo y constitucin actual como en la evolucin que han experi-
mentado en los ltimos aos. Entre los mltiples aspectos que pueden considerarse para describir
estos sistemas en la actualidad, seleccionamos aqu los referidos a sus fnes y propsitos, al marco
institucional para su funcionamiento, a las principales caractersticas de los operativos e instru-
mentos de medicin y a la forma como los datos obtenidos se traducen en informacin til para
las diferentes audiencias
2
.
Fines y propsitos de la evaluacin
En algunos pases, la constitucin del sistema nacional de evaluacin tuvo fnes muy especfcos,
como por ejemplo los de regular la admisin a la educacin superior con pruebas aplicadas a los
alumnos que egresan de educacin media, o los de promover la eleccin de escuelas por parte
de las familias sobre la base de informacin objetiva y pblicamente accesible. En la mayora de
los casos nacionales, sin embargo, y particularmente los desarrollados a partir de la dcada de los
noventa, los propsitos de los sistemas de evaluacin se expresaron en trminos mucho ms am-
plios: proveer informacin para la toma de decisiones de poltica y gestin en los niveles central y
local, as como para el mejoramiento continuo del currculo y de los procesos pedaggicos. Apa-
2
Categoras temticas extradas de Ferrer (2006a).
Las evaluaciones regionales y nacionales en Amrica Latina
134027 _ 0001-0184.indd 54 16/3/09 16:10:33
55
recen frecuentemente expresados tambin los propsitos de estimular la opinin y participacin
de la sociedad civil acerca de la calidad de la educacin pblica, y los de promover una cultura de
evaluacin dentro del sistema educativo.
En ambos casos, esos propsitos han sufrido ajustes y redefniciones en funcin de la experiencia
y de las demandas concretas, y siempre cambiantes, de datos e informacin por parte del sistema.
Los programas de evaluacin, o servicios de medicin, que iniciaron acciones con propsitos
ms acotados y enfocados en la responsabilizacin (accountability, altas implicancias), desarro-
llaron con el tiempo mayor capacidad para proveer informacin de utilidad pedaggica central
y local, atendiendo principalmente a la necesidad de revelar algunos de los procesos y factores
que pueden explicar los logros o insufciencias en el rendimiento del alumnado. Por su parte, los
sistemas que plantearon metas muy amplias, y por lo general inabarcables en la prctica, debieron
priorizar algunas de ellas y seleccionar los instrumentos y tipos de operativos que mejor permi-
tieran cumplirlas.
Para todos, sin embargo, sigue siendo un desafo poder abarcar todos los aspectos del sistema
que infuyen en la calidad educativa de un pas y no solamente los resultados de aprendizaje de
los estudiantes. El desafo implica, por un lado, conceptualizar la complejidad del sistema, sus
componentes y las formas como estos interactan en los procesos educativos. Por ejemplo, la
formacin y el desempeo de los docentes, los recursos pedaggicos disponibles en las escuelas
o algunos factores extraescolares tales como el capital sociocultural de las familias. Por otro lado,
implica desarrollar las capacidades tcnicas y operativas necesarias para el diseo de modelos e
instrumentos que permitan medir todas esas variables. En este sentido, lenta pero sostenidamen-
te, y conforme se desarrollan las capacidades de los equipos tcnicos, los programas van dejando
de ser proyectos o experimentos de medicin para convertirse en sistemas ms integrales de eva-
luacin.
Marcos institucionales
As como cambian o evolucionan los fnes de la evaluacin, tambin van cambiando los marcos
institucionales en los que operan los programas. Durante las dos ltimas dcadas, los pases han
ensayado diferentes marcos institucionales para la administracin de los sistemas de evaluacin
educativa. En general, puede afrmarse que, a pesar de los cambios y de algunos casos de fuerte
inestabilidad poltica, ha habido una tendencia a sostener los sistemas de evaluacin nacionales y
a reinstaurarlos o recomponerlos cuando sus actividades fueron discontinuadas.
En varios pases, los arreglos institucionales ms estables resultaron ser los que se instalaron fuera
de la estructura orgnica de los Ministerios de Educacin. Estos sistemas, generalmente denomi-
nados institutos, poseen mayor autonoma administrativa y tcnica que otros rganos de lnea y
suelen llevar a cabo sus tareas de medicin y devolucin de resultados con ms agilidad y consis-
tencia que los sistemas dependientes de los Ministerios. En otros casos se ha dado una evolucin
inversa, en que sistemas o proyectos de medicin anteriormente administrados por instituciones
independientes se encuentran hoy administrados desde los Ministerios de Educacin, con el pro-
psito de acercarlos a los dems rganos de gestin y as promover el trabajo conjunto.
En cualquiera de estas situaciones de cambio puede advertirse, o por lo menos interpretarse, que
los sistemas de evaluacin van cobrando protagonismo y que, lejos de desvanecerse, son siempre
objeto de debate poltico y administrativo para hacerlos ms tiles y efcientes. Es constante,
Guillermo Ferrer
134027 _ 0001-0184.indd 55 16/3/09 16:10:33
56
a la vez, la actualizacin normativa que va haciendo de estos sistemas rganos ms estables y ms
imbricados en la burocracia del sector.
Esta evolucin en el estatus de los sistemas de evaluacin ha signifcado mucho ms que es-
tabilidad en sus acciones. Ha permitido a los elencos tcnicos, principalmente, acceder a ms
y mejores oportunidades de intercambio y capacitacin con pares extranjeros y organizaciones
internacionales especializadas. Organismos y agencias tales como la OEI, UNESCO-OREALC, el
Banco Mundial y PREAL han facilitado estos intercambios y aprendizaje mediante seminarios,
talleres, cursos, publicaciones y tambin, como se tratar ms adelante, la participacin en pro-
yectos internacionales de evaluacin comparada. En muchos sentidos, estas oportunidades de
especializacin y desarrollo han sido ms frecuentes, sistemticas y enfocadas que las disponibles
para otros rganos o equipos de gestin de los Ministerios nacionales de Educacin.
Conforme se fue ganando experiencia, accediendo a oportunidades de capacitacin y re-eva-
luando las necesidades de informacin de los sistemas educativos, fueron cambiando tambin los
modelos e instrumentos de medicin utilizados. Estos cambios tambin han estado vinculados
a los procesos de revisin y actualizacin de los currculos nacionales, en la medida en que la
evaluacin estandarizada precisa, y tambin contribuye a construir, referentes ms slidos y ope-
racionales para comunicar efcazmente las expectativas de aprendizaje y sus alcances.
Tipos de instrumentos
Uno de los cambios ms signifcativos, y ms generalizados en la regin, fue la transicin de
pruebas referidas a normas a pruebas referidas a criterios. Mientras que las primeras servan el
propsito principal y casi exclusivo de comparar el rendimiento entre diferentes poblaciones de
un sistema, las ltimas permiten contrastar el rendimiento de cada alumno o subpoblacin con-
tra un conjunto de expectativas comunes de aprendizaje. De esta manera, las evaluaciones nacio-
nales de casi todos los pases hoy pueden decir algo ms que X obtiene mejores resultados que
Y; pueden, con mayor o menor grado de especifcidad, reportar qu saben diferentes grupos de
estudiantes respecto a un conjunto signifcativo de saberes planteados por el currculo nacional.
La diferencia entre un modelo y otro no es meramente metodolgica, sino que atiende a una
necesidad muy concreta de informacin para el mejoramiento de los procesos curriculares y
pedaggicos del sistema
3
.
Simultneamente, los avances recientes en la teora y los modelos psicomtricos han permitido
el desarrollo de instrumentos que pueden medir y reportar los aprendizajes no solamente en
funcin de criterios, sino tambin por niveles de desempeo, que indican grados de profundidad
en el dominio de los saberes evaluados. Dicho en otras palabras, permiten medir no solamente
qu saben los estudiantes, sino tambin cun bien lo saben y cmo lo demuestran a partir de
indicadores muy precisos que dan cuenta del nivel de logro alcanzado.
La incursin de estos modelos ha estado promovida no solamente por los desarrollos de nuevas
teoras y metodologas de medicin, sino tambin por la creciente difusin del concepto de estn-
dares
4
y sus implicancias para la actualizacin en las formas de prescribir, comprender, socializar
3
Descripciones ms detalladas de los enfoques normativos, criterial y de progreso pueden consultarse en
Ravela (ed.) (2001) y Ravela (2006).
4
En Ferrer (2006 b) se encuentra un tratado exhaustivo del concepto de estndares como instrumentos
Las evaluaciones regionales y nacionales en Amrica Latina
134027 _ 0001-0184.indd 56 16/3/09 16:10:33
57
y evaluar el currculo y los aprendizajes. Si bien no es posible ahondar en este tema aqu, valga
su mencin para destacar la importante y necesaria relacin entre una buena medicin estanda-
rizada de utilidad pedaggica en todos los niveles de un sistema y el diseo y utilizacin de
referentes curriculares complejos y a la vez adecuadamente operacionalizados. En su captulo,
Elena Martn analiza este tema ms a fondo. Ya son varios los pases que, aunque con diferentes
abordajes y formas de resolucin tcnica, han decidido revisar sus currculos y plantear estnda-
res de contenido y desempeo que permitan una mejor medicin y evaluacin de los aprendizajes,
tanto en forma estandarizada a gran escala como en los procesos pedaggicos de aula
5
.
Estos avances en los modelos de evaluacin utilizados en Amrica Latina tambin han sido fa-
cilitados por el creciente protagonismo y difusin de las pruebas internacionales comparadas de
aprendizaje
6
, especialmente las lideradas por la OCDE (Organizacin para la Cooperacin y el
Desarrollo Econmico), por la IEA (International Association for the Evaluation of Educational
Achievement) y por UNESCO-OREALC a travs de su Laboratorio Latinoamericano de Evalua-
cin de la Calidad de la Educacin (LLECE). En su captulo en esta obra, Enrique Roca analiza
estos programas con detenimiento.
El impacto de estos proyectos internacionales en los sistemas locales tiene dos aristas. Por un
lado, la participacin de los pases de la regin en estas pruebas ha facilitado el acceso de los
equipos tcnicos a las nuevas metodologas y recursos tcnicos de complejidad en materia de
medicin. La incorporacin del modelo TRI (teora de respuesta al tem), la defnicin de niveles
de desempeo sobre base emprica, el establecimiento de lneas de corte, la exhaustiva descrip-
cin conceptual y operacionalizacin de los saberes disciplinares que se han de evaluar, y los
procedimientos para optimizar la confabilidad en la correccin de preguntas abiertas son apenas
algunos ejemplos del aporte terico y metodolgico de los proyectos internacionales. La capaci-
dad creada a partir de una experiencia de este tipo sera difcil de igualar si se intentara mediante
cursos o talleres ad hoc, en forma dispersa e individual para cada equipo nacional. Esta refexin,
naturalmente, cobra mayor pertinencia para pases con poca tradicin o corta experiencia en
evaluacin criterial estandarizada.
Por otro lado, las pruebas internacionales, y PISA-OCDE en particular, han contribuido signi-
fcativamente al desarrollo de un lenguaje comn respecto a varios aspectos del currculo y la
evaluacin. El concepto de alfabetizacin cientfca o comprensin lectora como competencias
para la vida, la forma en que diferentes ejes de una misma disciplina se abordan integrada y siste-
mticamente desde su dimensin procedimental, o la posibilidad de establecer niveles de desem-
peo crecientes e inclusivos de complejidad, son tambin ejemplos de los tipos de conceptos y
terminologa que en el mbito educativo suelen interpretarse de maneras muy diferentes cuando
no se trabajan dentro de un mismo marco de referencia. Las pruebas internacionales comparadas
permiten, al menos durante su desarrollo y posterior difusin de resultados, centrar la mirada de
tcnicos y de poltica curricular.
5
En Ferrer (en elaboracin) puede consultarse el proceso de elaboracin e implementacin de estndares
en cinco pases de la regin.
6
Ver el Anexo a este captulo con una sntesis de las pruebas internacionales en las que han participado
pases iberoamericanos. Mayores descripciones y datos acerca de estas pruebas internacionales, as
como de los pases de la regin que han participado en ellas, pueden consultarse en Ferrer y Arregui
(2003), en Ravela (2006) y en los sitios web de las organizaciones mencionadas.
Guillermo Ferrer
134027 _ 0001-0184.indd 57 16/3/09 16:10:34
58
actores de muy diversos contextos en aspectos y problemas comunes del currculo, el aprendizaje
y la evaluacin.
En resumen, la acumulacin de experiencia local y la aportada por los proyectos de evaluacin in-
ternacional comparada han hecho posible que hoy nuestros pases exhiban una variedad de instru-
mentos de medicin ms actualizada, de mayor cobertura y profundidad curricular y, por lo tanto,
de mayor pertinencia para los destinatarios de la informacin. Comparando la situacin actual con
los modelos de evaluacin de una dcada atrs, cuando las pruebas eran principalmente referidas a
normas y los tems o actividades se planteaban casi exclusivamente en formato de opcin mltiple,
se puede afrmar que los avances metodolgicos en evaluacin han sido signifcativos.
Formas de reporte, devolucin y uso de los resultados
La actualizacin en los modelos y tipos de instrumentos impacta directamente sobre la forma
en que se reportan y comunican los resultados de las mediciones. En este terreno tambin se ven
adelantos interesantes, en la medida en que los sistemas de evaluacin van afnando sus estra-
tegias y diseos para llegar ms amigablemente a los usuarios pretendidos. En el captulo de
Patricia McLauchlan se desarrolla este tema con ms detalle.
Tanto la evaluacin por criterios como los modelos que permiten establecer niveles de desem-
peo habilitan el diseo de reportes mucho ms interesantes y completos que el simple reporte
de porcentaje de respuestas correctas. La tendencia en la regin es la de presentar informes que
integran, cada vez con ms solvencia grfca y textual, datos numricos con buenas descripciones
verbales del referente evaluado. En un caso tpico, se presentar un grfco de la escala utilizada
para ordenar los resultados y se dividir esa escala en tramos de puntaje; a su vez, cada tramo
estar acompaado por una descripcin de los tipos de saberes demostrados por los alumnos o
poblaciones que all se ubicaron segn los puntajes obtenidos. Paralelamente se presentar los
porcentajes de alumnos de diferentes contextos que alcanzaron cada uno de esos niveles que
los tramos defnen.
Este tipo de reportes facilita la comprensin de los resultados y la refexin sobre cmo mejorar
los procesos curriculares y didcticos. Para audiencias polticas, la prensa y la opinin pblica, la
comprensin de estos informes puede promover refexiones ms sustantivas, ms vinculadas al
contenido de la educacin y sus problemas, y no enfocadas exclusivamente en las cifras alarman-
tes de los resultados, por verdaderas que sean.
Desde una perspectiva pedaggica ms amplia, la medicin y los informes de resultados basa-
dos en niveles progresivos de desempeo guardan el potencial de cambiar algunas concepciones
clave respecto a la evaluacin, al aprendizaje mismo y a la enseanza. El principal aporte en este
sentido sera el de superar la visin de que los estudiantes saben o no saben, son buenos o malos,
sino que todos se encuentran en algn punto del recorrido y que, acciones adecuadas mediando,
pueden alcanzar las metas que el sistema les promete. Aunque esto parezca obvio, trillado quiz,
lo cierto es que en las escuelas circula un alarmante determinismo respecto a qu pueden apren-
der o no algunos estudiantes, y cuando la evaluacin no es sustantiva y se centra puramente en
las comparaciones, no hace ms que reforzar esas concepciones.
El diseo y utilizacin de modelos ms actualizados de evaluacin puede, por el contrario, ayu-
dar a concebir el aprendizaje como un proceso continuo, autnticamente constructivo, pero en el
Las evaluaciones regionales y nacionales en Amrica Latina
134027 _ 0001-0184.indd 58 16/3/09 16:10:34
59
que el logro de las metas objetivamente descritas y evaluadas importan tanto como el recorrido.
En otras palabras, se sostienen metas comunes para todos los estudiantes de un sistema, a la vez
que se diversifcan y adecan los recursos y las estrategias pedaggicas para ayudar a que todos
alcancen los objetivos.
Importa aqu destacar que, en la mayor parte de los pases de nuestra regin, estos modelos y las
concepciones pedaggicas que los sustentan han sido promovidos principalmente por los siste-
mas de evaluacin. Esto no es un dato menor, considerando que unos aos atrs los equipos de
evaluacin tenan escasa o nula injerencia en materia de currculo y pedagoga: se limitaban a
tomar del currculo ofcial aquello que fuera medible con los instrumentos disponibles, para
luego informar sobre qu grupos de alumnos dominaban o no ciertos saberes.
Actualmente, son cada vez ms los pases de Amrica Latina que, a partir de estos modelos, van
integrando el trabajo de los equipos de evaluacin con los de currculo. Esto demuestra en cierta
medida que existe un mayor entendimiento de que no se puede evaluar bien sin buenos refe-
rentes de currculo y que es estril la labor de desarrollo curricular si no es acompaada por un
sistema de evaluacin idneo que pueda dar cuenta de los logros progresivos de los estudiantes
7
.
En su captulo, Elena Martn analiza con ms detalle las complejas relaciones entre evaluacin
estandarizada y currculo.
Otro aspecto de la forma en que se reportan los resultados de las evaluaciones es el de la infor-
macin respecto a la equidad que logran los sistemas educativos. Para que los datos de rendi-
miento tengan sentido y relevancia para la poltica educativa, deben estar ligados a los datos que
el sistema recoge acerca del contexto socioeconmico y cultural de los estudiantes evaluados, y
complementados con diversos anlisis inferenciales que expliquen las diferencias de resultados
entre poblaciones o subsistemas. Esto permite contemplar los entornos y los tipos de estudiantes
que las escuelas atienden, y as contextualizar los resultados de las evaluaciones.
Estos anlisis resultan tiles cuando permiten no solamente clasifcar los logros de estudiantes de
diferentes grupos socioeconmicos, sino cuando adems permiten medir el aporte educacional,
o valor agregado, que realizan las escuelas en cada uno de esos contextos. Por ejemplo, no resulta
muy til comprobar ao tras ao que los estudiantes de escuelas rurales obtienen resultados ms
bajos que los de escuelas urbanas. Ese dato fotogrfco poco aporta para entender qu ocurre
educacionalmente en ambos tipos de escuelas. Sin embargo, si comparamos ao tras ao cunto
evolucion cada escuela en su contexto, es posible descubrir que muchas escuelas rurales logran
ms avances que las urbanas, aunque en trminos absolutos sus resultados sigan siendo inferio-
res. Este es un dato sumamente importante para los sistemas educativos, o debiera serlo al menos,
ya que da en el centro de la problemtica de la equidad. Los programas de evaluacin entonces
tienen mucho para aportar con este tipo de informaciones y, aunque lentamente, cada vez son
ms los pases que lo estn haciendo.
Disponer de buenos datos, sin embargo, no es sufciente para lograr impacto en las decisiones de
poltica y en los procesos pedaggicos del sistema. Para ello, es necesario primero transformar los
7
Para comprender mejor este acercamiento entre unidades de currculo y evaluacin se recomienda la
lectura del caso chileno en Ferrer (en elaboracin) y de los modelos integrados de currculo y evaluacin
desarrollados por el ACER (Australian Council for Educational Research).
Guillermo Ferrer
134027 _ 0001-0184.indd 59 16/3/09 16:10:34
60
datos en informaciones sustantivas. Luego, encontrar los mejores canales y formatos de entrega
para hacer llegar la informacin a las audiencias previstas.
La primera condicin se va cumpliendo cada vez mejor, como se explic anteriormente, mediante
el diseo de informes que resultan ms sustantivos y amigables al lector que los que se encontra-
ban aos atrs. No solo se van mejorando los reportes, sino que adems se van diferenciando en
formato y contenido segn las necesidades de diferentes pblicos y usuarios de la informacin.
Por ejemplo, el nivel de agregacin de datos que recibe una funcionaria en la gestin federal de
un sistema es muy diferente del que se le hace llegar a un docente para su trabajo en el aula o
a un supervisor de escuelas en un distrito comunal. Los avances en este sentido han implicado un
cambio de concepcin, a veces con bastante renuencia, respecto al papel que juegan los evalua-
dores en un sistema. Deben los evaluadores ser tambin comunicadores? O deben concentrar
sus energas en la produccin y entrega oportuna de datos vlidos y confables? Sea por opcin, o
porque las circunstancias lo exigen, lo cierto es que los evaluadores asumen cada vez con mayor
frecuencia el compromiso de transformar datos en informaciones para lograr una mejor com-
prensin de los resultados de las evaluaciones.
La segunda condicin, referida a los canales y formatos de entrega, tambin viene siendo objeto de
mejora en los ltimos aos. Ciertamente los pases que aplican pruebas censales, y en particular
las de altas implicancias, tienen llegada anual con sus reportes a todas las escuelas del sistema, y
en algunos casos a todos los alumnos de los grados evaluados (especialmente en los sistemas que
aplican pruebas de egreso de la educacin media). Los pases que realizan operativos muestrales no
suelen enviar los datos obtenidos a las escuelas de la muestra: en su lugar, analizan los datos y pro-
ducen y distribuyen publicaciones de inters para diferentes audiencias pedaggicas y polticas.
En cualquiera de los dos casos, con censos o con muestras, la entrega de reportes y publicaciones
por s sola no es sufciente para que la informacin se comprenda y sea utilizada. A menudo la
entrega se produce en el contexto de jornadas de capacitacin docente, reuniones de supervi-
sores, conferencias de prensa, o tours de los equipos tcnicos y sus asistentes por diferentes
regiones del pas para comentar y analizar los resultados. Estos esfuerzos se vuelven cada vez ms
necesarios conforme se complejizan los modelos de evaluacin y los tipos de datos que ellos ofre-
cen. No hace falta mucha explicacin, con algunas audiencias, para comprender que una provin-
cia o departamento logr en promedio el 30% de respuestas correctas en matemtica. Pero para
comprender cmo diferentes subpoblaciones de estudiantes de una provincia alcanzan diferentes
niveles de logro, referidos estos a competencias disciplinares de alta densidad conceptual y proce-
dimental, en un recorrido curricular que no distingue necesariamente grados de escolaridad, sino
tramos en un continuo de saberes progresivos y de creciente complejidad, algunas explicaciones
ms personalizadas son necesarias.
La difusin de los datos se ve facilitada, al menos en teora, a medida que los programas de eva-
luacin van utilizando recursos informticos y de Internet para estos fnes. En casi todos los casos
nacionales, las unidades de evaluacin tienen sitios web propios o alojados en algn portal ofcial,
desde donde se puede consultar los resultados de diferentes subsistemas, resultados de escuelas,
contenidos evaluados e incluso los tems o reactivos utilizados durante las pruebas. Dado que en
la mayor parte de los pases se quiere evitar el efecto ranking o de posible estigmatizacin, los re-
sultados de alumnos o instituciones participantes en operativos censales solamente son accesibles
mediante el uso de una contrasea.
Las evaluaciones regionales y nacionales en Amrica Latina
134027 _ 0001-0184.indd 60 16/3/09 16:10:34
61
En general, estas informaciones se ofrecen para ayudar a comprender mejor los resultados y los
referentes curriculares de la evaluacin. Tambin persiguen ese propsito los pases que, luego de
los operativos ofciales, liberan algunos instrumentos o coleccin de tems para que las escuelas
puedan aplicarlos de forma autnoma y as familiarizarse ms directamente con los modelos, los
contenidos y los criterios de correccin que se utilizan en mediciones a gran escala.
PRINCIPALES AVANCES EN LA EVALUACIN Y RETOS DE FUTURO
La descripcin de los sistemas y programas nacionales de evaluacin presentada hasta este punto
no es, ni pretende ser, exhaustiva. La diversidad de enfoques de evaluacin, de metodologas, de
formas de reporte y entrega de resultados, as como de los contextos educativos y polticos en que
se presentan, es tan inmensa como imposible su descripcin en este texto. Aun as, y arriesgando
la sobre-simplifcacin del tema, los avances ms importantes en materia de evaluacin estanda-
rizada en la regin durante las dos ltimas dcadas podran resumirse de la siguiente manera:
Fortalecimiento institucional. Los sistemas nacionales de evaluacin han cobrado mayor es-
tabilidad, continuidad y organicidad de acciones dentro de las administraciones del sector.
Los equipos tcnicos trascienden los cambios de gobiernos, acumulando experiencia y desa-
rrollando expertise que los hace menos vulnerables a los recambios de autoridades y personal
tcnico de los ministerios u otras agencias ofciales.
Integralidad de propsitos y acciones. Conforme ganan institucionalidad y experiencia, los pro-
gramas de evaluacin van abarcando otras reas del quehacer educativo y no solamente la
medicin del logro acadmico. El desarrollo tcnico y la capacidad de conceptualizar la com-
plejidad del sistema educativo va permitiendo estudios cada vez ms integrales de los factores
y procesos que infuyen en el aprendizaje y en la calidad educativa en general.
Experiencia internacional. La vinculacin con organismos internacionales y la participacin en
programas de evaluacin internacional comparada han ofrecido importantes oportunidades
de capacitacin, desarrollo tcnico y metodolgico, as como acceso a nuevos modelos de eva-
luacin y formas de optimizar los referentes del currculo.
Modelos, enfoques e instrumentos. La actualizacin de los propsitos de la evaluacin, enfocada
cada vez ms en la provisin de informaciones tiles para el mejoramiento del sistema educa-
tivo y de la gestin pedaggica en particular, ha movilizado el desarrollo de nuevos enfoques e
instrumentos de medicin. Destacan principalmente la transicin a pruebas referidas a crite-
rios, la determinacin de niveles de desempeo y la medicin del valor agregado que aportan
las escuelas de diferentes contextos. Esto ltimo implica un mejor uso de los datos escolares y
extraescolares que se recogen mediante cuestionarios aplicados simultneamente con las prue-
bas de aprendizaje, as como la necesidad de realizar anlisis longitudinales con instrumentos
validados para ese fn.
Formas de reporte. El uso de nuevos modelos e instrumentos de evaluacin, que a su vez gene-
ran datos de creciente complejidad y sustancia, va impulsando el diseo de reportes de resulta-
dos ms completos, ms comprensibles y potencialmente ms tiles para una amplia variedad
de audiencias.
Difusin y uso de los resultados. Se observa una creciente preocupacin y acciones ms integra-
les para hacer de la entrega de los resultados una instancia formativa y no meramente informa-
Guillermo Ferrer
134027 _ 0001-0184.indd 61 16/3/09 16:10:34
62
tiva. Se van diversifcando los canales de entrega, tanto de forma presencial como mediatizada
por Internet y otros recursos digitales e informticos.
Como puede verse, los logros alcanzados en materia de evaluacin estandarizada en la regin no
son menores, especialmente si se considera que el mayor desarrollo ha ocurrido durante un lapso
de 15 a 20 aos. La tarea, sin embargo, podra decirse que acaba de comenzar.
Son mltiples los desafos que enfrentan los sistemas nacionales de evaluacin para los prximos
aos. Aunque en muchos casos los equipos y sus metodologas se han afanzado, y existen ya
ciertas garantas de continuidad en su labor, los nuevos escenarios socioeducativos, las demandas
polticas y la propia tica profesional seguirn exigiendo cada vez mejores evaluaciones y mejores
estrategias para hacer un uso responsable y efectivo de los datos e informaciones producidos.
Ser necesario seguir revisando, actualizando y socializando los referentes curriculares sobre los
que se evalan los aprendizajes, de manera tal que los resultados cobren sentido pedaggico y
despierten iniciativa de mejora en una mayor cantidad de actores. Si los currculos nacionales
siguen considerndose como amplios lineamientos para la enseanza que cada escuela y cada
docente recortan y ajustan segn su criterio, difcilmente se lograrn acuerdos acerca de qu tipos
de aprendizajes deben ser alcanzados por todos los alumnos del sistema. La evaluacin a gran
escala puede aportar mucho en esta direccin, en la medida en que sus instrumentos prioricen
o jerarquicen algunos contenidos y logren transmitir un mensaje claro y unvoco respecto a qu
tipos de saberes todos los alumnos tienen el derecho a acceder. Para esto, el trabajo conjunto entre
evaluacin y los mbitos de decisin en materia de currculo es imprescindible.
La adopcin de referentes curriculares ms complejos y de mayor especifcidad tendr benefcios
para los programas de evaluacin, toda vez que un referente claro y operacional ayuda en la deli-
mitacin y descripcin de los contenidos que sern objeto de medicin. Pero tambin impondr
desafos importantes en la construccin de reactivos e tems de calidad que, individualmente y en
conjunto, puedan captar con validez la evidencia de aprendizajes complejos.
Tambin impone un desafo importante la medicin de los factores asociados al rendimiento.
Aunque muchos pases, si no todos, aplican cuestionarios de contexto, frecuentemente los da-
tos recogidos se desaprovechan o resultan directamente intiles para cruzarlos estadsticamente
con el rendimiento acadmico. Un trabajo idneo de anlisis de factores asociados, que permita
medir con validez el progreso de los aprendizajes en el tiempo, o que habilite el reporte de valor
agregado, requiere un modelo cuidadosamente diseado y el uso de instrumentos comparables
o equivalentes entre aplicacin y aplicacin. Para mejorar todos estos aspectos tcnicos, segui-
r siendo necesaria la capacitacin profesional continua de los equipos nacionales, as como la
adopcin y sujecin a los estndares tcnico-metodolgicos en medicin que ofrece actualmente
la literatura internacional especializada.
A las altas autoridades polticas y tcnicas del sector les deparan responsabilidades tanto o ms
importantes que las anteriores. En primer lugar, debern evitar demandas de evaluacin urgentes
que pongan en riesgo la calidad de los operativos, que desgasten intilmente los recursos humanos
y que impliquen inversiones de dinero no justifcadas. Por el contrario, les cabe la responsabilidad
de familiarizarse primero con los modelos e instrumentos existentes, y en todo caso proponer
mejoras y movilizar cambios que guarden coherencia con las polticas que se busca implementar
y evaluar, siempre que exista la capacidad tcnica para hacerlo o los recursos para crearla.
Las evaluaciones regionales y nacionales en Amrica Latina
134027 _ 0001-0184.indd 62 16/3/09 16:10:34
Valga, para concluir, una refexin sobre el papel que juegan los docentes en este escenario de
evaluacin estandarizada en la regin. Si consideramos, como repetidamente se afrma, que las
reformas y el cambio educativo solo son exitosos si se materializan en el aula, los avances en ma-
teria de evaluacin no pueden ser la excepcin. Por mejores modelos y datos que obtengamos,
por mejores y racionales decisiones de poltica que se tomen sobre los resultados, poco cambiar
si los docentes no logran, dentro de su compleja labor didctica, realizar una mejor evaluacin
de los aprendizajes.
En la actualidad, maestros y directores de escuela, supervisores, e incluso los formadores de do-
centes, carecen de los conocimientos conceptuales y metodolgicos bsicos para realizar evalua-
ciones objetivas, criteriales y coherentes con las tendencias pedaggicas y curriculares vigentes.
Quienes tenemos la oportunidad de hacer docencia y capacitacin en evaluacin, nos encontra-
mos sembrando prcticamente en terreno virgen. La gran mayora de docentes y pedagogos nun-
ca han sido puestos en situacin de disear un referente curricular slido para la evaluacin y rara
vez estn familiarizados con el concepto de constructo. En su captulo, Juan Manuel Esquivel
trata este tema de forma ms detallada. Solo mediante prcticas intensas logran operacionalizar
una competencia compleja en unidades conceptuales y procedimentales que puedan medirse con
instrumentos de aula. Con difcultad, y tras analizar un vasto nmero de ejemplos, pueden cons-
truir indicadores alineados con el constructo en juego. Luego queda la tarea de disear preguntas,
actividades y situaciones de evaluacin variadas que puedan captar pruebas de logro o aprendiza-
je. Aun as, tras semanas de trabajo, ensayo y error, reconocen que apenas han vislumbrado una
nueva forma de evaluar y de pensar el currculo y la enseanza.
Esto nos hace refexionar sobre el potencial de los sistemas nacionales de evaluacin para contri-
buir a una mejor educacin y nos obliga a preguntarnos por qu todava la evaluacin estanda-
rizada, aun cuando sea idnea y aparezca cargada de datos pedaggicos interesantes, resulta tan
ajena en el mbito local y escolar. Evidentemente, ese espacio que los programas de evaluacin se
han ganado en el sistema educativo todava puede y debe extender sus fronteras. Y a quienes ar-
gumentamos que ese potencial y esa posibilidad existen, nos cabe la responsabilidad compartida
de tender los puentes necesarios para que suceda.
Guillermo Ferrer
63
134027 _ 0001-0184.indd 63 16/3/09 16:10:34
Anexo
Participacin de Amrica Latina, Espaa y Portugal en pruebas
internacionales
PISA (OCDE)
2000: Argentina, Brasil, Chile, Mxico, Per, [Espaa, Portugal].
2003: Brasil, Mxico, Uruguay, [Espaa, Portugal].
2006: Argentina, Brasil, Chile, Colombia, Mxico, Uruguay, [Espaa, Portugal].
2009: Argentina Brasil, Chile, Colombia, Repblica Dominicana, Mxico, Panam, Per, Uru-
guay, [Espaa, Portugal].
TIMSS (IEA)
1995: Colombia, Mxico, [Espaa, Portugal].
1999: Chile.
2003: Chile.
2007: Colombia, El Salvador.
PIRLS (IEA)
2001: Argentina, Colombia.
2006: [Espaa].
Educacin Cvica (IEA)
1999-2000: Colombia, Chile, [Portugal].
Estudios del LLECE (UNESCO-OREALC)
1997 (Primer Estudio Internacional Comparativo): Argentina, Bolivia, Brasil, Chile, Colombia,
Costa Rica*, Cuba, Repblica Dominicana, Honduras, Mxico*, Per*, Venezuela [pases marca-
dos con * participaron, pero no divulgaron resultados].
2007 (SERCE-Segundo Estudio Regional Comparativo y Explicativo): Argentina, Brasil, Chile,
Colombia, Costa Rica, Cuba, Repblica Dominicana, Ecuador, El Salvador, Guatemala, Mxico,
Nicaragua, Panam, Paraguay, Per y Uruguay. Estado mexicano de Nuevo Len.
Las evaluaciones regionales y nacionales en Amrica Latina
64
134027 _ 0001-0184.indd 64 16/3/09 16:10:34
Las mltiples caras de la evaluacin
134027 _ 0001-0184.indd 65 16/3/09 16:10:34
134027 _ 0001-0184.indd 66 16/3/09 16:10:34
67
Indicadores y desafos de los sistemas
educativos en Amrica Latina
Margarita Poggi
INTRODUCCIN
El presente captulo aborda el tema de los indicadores y su relacin con los principales desafos
que enfrentan los sistemas educativos en Amrica Latina en la actualidad. Partiendo de la im-
portancia de producir informacin sobre estos sistemas, una cuestin clave est vinculada con
las preguntas relevantes sobre las que deben informar los indicadores educativos. Por ello se ana-
lizan algunos de los principales desafos que enfrentan en la actualidad los sistemas educativos
de Amrica Latina, ya sea que remitan a problemas histricos o a situaciones emergentes de las
nuevas dinmicas sociales y educativas. Ellos se vinculan con preguntas relevantes sobre las que
debe disponerse de informacin tanto para el planeamiento de las polticas como para su eva-
luacin. Por ltimo, el captulo concluye con una mirada hacia los desafos que se plantean en la
produccin, el anlisis y el uso de la informacin educativa en relacin con los temas anterior-
mente mencionados y a partir de una visin general sobre los avances, pero tambin los desafos
pendientes, que tienen las ofcinas productoras de conocimiento sobre la marcha de los sistemas
educativos en los pases de la regin.
LA INFORMACIN SOBRE LOS SISTEMAS EDUCATIVOS
Distintos actores sociales (tomadores de decisin en poltica educativa, equipos tcnicos que co-
laboran en Ministerios de Educacin, docentes y alumnos y la comunidad en trminos amplios)
tienen cada vez ms claridad respecto a la complejidad de los sistemas educativos. Distintos
factores permiten explicar las razones de esta afrmacin: por un lado, tiene lugar un proce-
so de transformacin de sujetos con culturas de origen social y familiar diversas en la medida
en que se transmiten contenidos relevantes y se forman capacidades; por ello, la temporalidad
generalmente remite al largo plazo, tanto para producir cambios en su estructura y dinmica
interna, como para el proceso de formacin del conjunto de sujetos que se escolariza a lo largo
de la vida. Por otra parte, la dimensin y escala se han multiplicado a la par del crecimiento de
las demandas por la democratizacin, esto es, la ampliacin de la cobertura. Por ltimo, existe
una multiplicidad de organizaciones y actores que estn implicados en el proceso educativo, con
objetivos diversos, en ocasiones coincidentes, en otros casos, contradictorios entre s, razn por
la cual la variedad y cualidad de las demandas no solo se han ampliado, sino que resultan cada
vez ms diversifcadas.
Adems, la organizacin y dinmica de los sistemas educativos y de sus niveles no siempre ha
respondido a una previa planifcacin. Por el contrario, en general las escuelas que integran
los diversos niveles (y estos mismos) preexisten a la organizacin de los sistemas como tales.
134027 _ 0001-0184.indd 67 16/3/09 16:10:34
68
As, los tramos organizados en niveles y las modalidades u orientaciones que algunos de estos
presentan se han desarrollado histricamente con una tradicin propia, generando subculturas
acadmicas diferenciadas para cada uno de ellos. Esto explica asimismo, en parte, la existencia de
normativas y regulaciones no siempre articuladas para los distintos niveles.
No escapa a este sistema complejo la difcultad que plantea la elaboracin de polticas pblicas
para su gobierno y administracin, y la relevancia de la informacin para su diseo, seguimiento,
monitoreo y evaluacin.
As, en las ltimas dcadas en los Ministerios de Educacin de los pases de Amrica Latina se
ha promovido la generacin o fortalecimiento de sistemas de informacin, que incluyen tanto
las llamadas estadsticas educativas como la evaluacin de la calidad. Las principales funciones
que se les reconocen a estos sistemas son las siguientes: a) permiten detectar y volver visibles las
principales tendencias y logros de los sistemas educativos; b) contribuyen a objetivar la discusin
sobre determinadas temticas; c) permiten profundizar la comprensin de los problemas de los
sistemas, subsistemas e instituciones; d) con ello, orientan la seleccin de prioridades en el diseo
de polticas educativas, y e) permiten comunicar de forma sinttica aspectos o parcelas de un
sistema complejo.
Los indicadores resultan cada vez ms necesarios para construir miradas analticas sobre un siste-
ma educativo y por ello forman parte de un sistema de informacin. Resulta importante distinguir
entre un sistema de informacin estadstica, el cual incluye todos los datos educativos en una base
nica y extensiva, y un sistema de indicadores, que tiene por objetivo central considerar y analizar
tendencias en torno a ciertas cuestiones de un sistema educativo y revelar problemas (Sauvageot,
1997). En ese sentido, un indicador es un artifcio que proporciona informacin relevante acerca
de algn aspecto signifcativo de la realidad educativa (Tiana, 1997) y como tal resulta siempre de
una construccin y un consenso. Al mismo tiempo, estos y otros autores sealan que es impor-
tante el diseo de sistemas de indicadores, y no una coleccin de ellos, para generar informacin
ms amplia y precisa sobre un sistema educativo. Mayor es la discusin, sin embargo, sobre la
cantidad pertinente de indicadores para dar cuenta de sus principales tendencias.
En Amrica Latina pueden hallarse, adems de los sistemas nacionales de indicadores, varias
iniciativas orientadas a la produccin y anlisis de informacin. Sin pretensin de ser exhausti-
vos, pueden mencionarse los siguientes. El sistema de indicadores de la UNESCO para el segui-
miento y monitoreo del cumplimiento de las metas de Educacin para Todos y los Objetivos de
Desarrollo del Milenio, en el marco de su Encuesta Anual de Educacin y el Proyecto Mundial
de Indicadores (WEI). Ms especfcamente, los desarrollos del Sistema Regional de Informa-
cin de la OREALC/UNESCO Santiago para el seguimiento en la regin de los compromisos en
materia educativa, tanto en el marco de EPT/PRELAC como de las metas de las Cumbres de las
Amricas, este ltimo proyecto (PRIE) bajo la coordinacin general de la SEP-Mxico. Por otra
parte, el Sistema de Informacin de Tendencias Educativas en Amrica Latina (SITEAL) es una
iniciativa conjunta de la OEI y el IIPE/UNESCO Buenos Aires y se centra en la relacin entre los
procesos educativos y los contextos sociales y culturales y el anlisis de las desigualdades sociales
y educativas. En cuanto a los estudios internacionales y regionales de evaluacin, hay diversos
pases de la regin que participan en ellos y que permiten tambin consolidar informacin sobre
logros de los estudiantes y las variables contextuales y escolares asociadas a ellos. En el captulo
de Enrique Roca de este libro se analizan estos estudios con ms detalle.
Indicadores y desafos de los sistemas educativos en Amrica Latina
134027 _ 0001-0184.indd 68 16/3/09 16:10:34
69
A continuacin se analizarn los principales desafos que enfrenta la educacin en Amrica La-
tina, los cuales remiten tanto a algunos problemas recurrentes como a otros que son ms recien-
tes, en la medida en que la dinmica de los sistemas educativos se encuentra atravesada por las
demandas sociales que deben enfrentar. Se parte de estos desafos, porque ellos generan nuevos
requerimientos a los sistemas de informacin, que sern abordados ms adelante.
PRINCIPALES TENDENCIAS Y DESAFOS DE LA EDUCACIN
EN AMRICA LATINA
1
Puede observarse que los grandes temas de las polticas educativas de la regin remiten en un
cierto sentido a viejos problemas de sus sociedades y sistemas educativos. No obstante, su persis-
tencia en las agendas se vincula con dos cuestiones. La primera tiene que ver con los intentos fa-
llidos (algunos parcialmente, es cierto) para resolverlos. Pero, por otro lado, tambin es necesario
destacar que, sobre un teln de fondo semejante, esos problemas van adoptando nuevas manifes-
taciones o formas. Su presencia en las agendas requiere actualizar los diagnsticos y hacerlos ms
pertinentes a la situacin actual, lo que sin duda signifca una mirada mucho ms precisa para
comprender el contexto y tambin el diseo de estrategias ms consistentes con esta mirada.
Asimismo, es importante sealar que no se agotarn todos los temas que podran integrarse a
una agenda ni se atendern las problemticas educativas especfcas de cada uno de los pases
de la regin. Por el contrario, se pretenden sealar las tendencias prioritarias para las agendas de
poltica educativa que plantean nuevas preguntas a los sistemas de informacin. Los indicadores
educativos deben aportar informacin para responder estas preguntas, asegurando entonces tan-
to la posibilidad de efectuar anlisis en estudios longitudinales (que permitan analizar la evolu-
cin en el tiempo) como sincrnicos (que posibiliten la comparacin transversal entre sistemas o
subsistemas educativos).
En trminos generales, es importante destacar no solo el alto grado de heterogeneidad entre los
sistemas educativos de los pases de la regin, sino fundamentalmente el alto grado de hetero-
geneidad dentro de cada pas cuando se consideran distintos contextos (urbano/rural, grandes
urbes, acceso y egreso diferenciado por sector social, pertenencia a grupos originarios, etc.).
En cuanto a las principales tendencias generales de la situacin educativa de Amrica Latina,
pueden sealarse las cuestiones que se mencionan a continuacin.
La desigualdad social y educativa
En los pases de la regin la desigualdad social se encuentra estrechamente relacionada con las
posibilidades y los lmites que circunscriben los mrgenes de actuacin de las polticas educati-
vas. Hay ya acumuladas pruebas sufcientes para demostrar que la probabilidad de insercin en
la educacin escolar es ms elevada en el quintil ms rico de la poblacin (en especial cuando
se la compara con la que tiene el quintil ms pobre). En efecto, salvo en el nivel primario, que
est prcticamente universalizado, en el nivel inicial y en el secundario las tasas de cobertura
estn directamente relacionadas con el nivel de ingreso de las familias y con el capital escolar de
la familia del nio o joven. Asimismo, es preciso tener en cuenta que la probabilidad de acceder,
1
Este apartado retoma aspectos desarrollados en Poggi, M., Old and new perspectives for traditional
issues in planning, Pars, IIEP-UNESCO (en prensa).
Margarita Poggi
134027 _ 0001-0184.indd 69 16/3/09 16:10:35
70
permanecer y aprender en la escuela es signifcativamente ms alta en la poblacin urbana que
en la poblacin rural. Por otra parte, las tendencias muestran que las desigualdades educativas
tienden a desplazarse hacia los niveles superiores del sistema educativo (secundario superior y
universitario) y hacia la etapa de ingreso a este (tres y cuatro aos de edad).
Es necesario sealar que, en el contexto de sociedades extremadamente desiguales, el aumento de
la escolarizacin en el nivel medio se acompaa de una fuerte acentuacin del carcter estratif-
cado de la oferta institucional de enseanza. El carcter territorial de la oferta educativa refuerza
esta tendencia a la segmentacin escolar. En ciertos contextos, la fragmentacin y jerarquizacin
de los sistemas escolares ha alcanzado tal magnitud y calidad que resulta cada vez ms difcil
pensarlo como un sistema homogneo que tiende a cumplir las mismas funciones y a alcanzar
los mismos objetivos. La desigualdad de la escolarizacin en cada nivel del sistema educativo
determina fuertemente la probabilidad de acceso y terminacin de estudios en los niveles sub-
siguientes, principalmente por los conocimientos que transmite y las habilidades cognitivas y
actitudinales que forma en los estudiantes.
Entre las estrategias priorizadas en la regin, puede encontrarse que una de ellas ha sido diver-
sifcar y fexibilizar la oferta educativa para atender a la diversidad. No obstante, cabe llamar la
atencin porque esa diversifcacin muchas veces deviene una oferta desvalorizada que, ms all
de sus loables intenciones, profundiza las diferencias educativas.
Aun cuando se ha sealado en numerosas ocasiones que la accin efectiva que permite intervenir
para reducir las diferencias sociales y educativas requiere polticas integrales e intersectoriales,
es necesario sealar los enormes esfuerzos que estas requieren y las difcultades que presentan
para su implementacin. No obstante, del anlisis de las polticas pblicas que se desarrollan en
pases de la regin se infere que sigue constituyendo una aspiracin pertinente, que no anula ni
deslegitima la capacidad de los Ministerios de Educacin para intervenir en la disminucin de
estas desigualdades desde los mbitos de su incumbencia. De esta manera, la democratizacin
no se entender solo como una prolongacin de las trayectorias escolares, sin que se atiendan de
igual modo otros de sus aspectos fundamentales: esto es asegurar, de modo efectivo la igualdad
de oportunidades en el acceso al conocimiento y la igualdad de logros, aspectos que constituyen
el horizonte de las polticas educativas y estn en estrecha relacin con el tema de la calidad.
La calidad educativa
Existe un consenso en criticar la concepcin de calidad difundida en la regin en los ochenta y,
fundamentalmente, en los noventa, por considerarla simplifcadora y reductora de las mltiples
dimensiones a las que hace referencia. Diversos pases en la regin vienen realizando esfuerzos
por trabajar en esta lnea. Puede, en este sentido, sealarse el caso de Mxico, en el cual esta
preocupacin se ha planteado hace ya varias dcadas. Asimismo, OREALC/UNESCO Santiago
ha construido una posicin que se plasma en la concepcin de calidad educativa propuesta en la
ltima reunin del PRELAC (2007), en donde se expresa que la calidad de la educacin en tanto
derecho fundamental, adems de ser efcaz y efciente, debe respetar los derechos de todas las
personas, ser relevante, pertinente y equitativa. Ejercer el derecho a la educacin es esencial para
desarrollar la personalidad e implementar los otros derechos.
Esta concepcin supone una mirada ms compleja hacia el tema de la calidad; subraya el derecho a
la educacin, el cual est fundado en los principios de obligatoriedad, gratuidad y en el derecho
Indicadores y desafos de los sistemas educativos en Amrica Latina
134027 _ 0001-0184.indd 70 16/3/09 16:10:35
71
a la no discriminacin. Otra dimensin es la relevancia, que remite principalmente al desarrollo
de saberes y competencias necesarias para participar en los diferentes mbitos de la vida social y
construir proyectos con relacin a los otros. La relevancia tambin puede analizarse en conexin
con las fnalidades educativas que, propias de un momento y contexto dados, se enmarcan en un
proyecto poltico y social y dan sentido a las prcticas que se desarrollan en las escuelas que inte-
gran un sistema educativo. Por otra parte, pertinencia y equidad suponen atender, en el primero
de los casos, a la diversidad de necesidades de los individuos y de los contextos, para que la edu-
cacin sea signifcativa para personas provenientes de distintos estratos sociales y culturas; en el
segundo, signifca asegurar la igualdad de oportunidades para acceder a una educacin de calidad
para toda la poblacin, asegurando las condiciones (recursos y ayudas) que requieren.
La preocupacin por aspectos ms amplios que los tradicionalmente considerados en la concep-
cin de la calidad educativa (efcacia y efciencia), como son los mencionados, supone en conse-
cuencia un interesante replanteo de base que tiene efectos en la defnicin de las polticas para la
regin. En este sentido puede afrmarse que, aun cuando el problema de la calidad educativa ha
estado en las agendas en las ltimas dos dcadas, ha adoptado en los aos recientes una comple-
jidad que exige no solo estrategias diferentes para su evaluacin (y con ello una actualizacin de
los sistemas nacionales de evaluacin), sino fundamentalmente abordajes mucho ms integrales
para su mejora.
La calidad del aprendizaje es siempre el resultado de una combinatoria de factores escolares y
sociales relacionados entre s. Adems de las condiciones sociales y familiares, hay condiciones
de aprendizaje que son fundamentales, vinculadas con el inters por aprender que se constru-
ye tambin como resultado de buenas prcticas escolares. A ello se suman factores sistmicos
(recursos edilicios y equipamiento escolar, condiciones laborales docentes, diseos curriculares
actualizados y pertinentes, estrategias de seguimiento de los procesos escolares de los nios y
jvenes con difcultades para aprender, etc.) como una buena escuela, docentes con una buena
formacin, estrategias y mtodos didcticos adecuados a las caractersticas de la poblacin de
estudiantes.
En la regin, solo en los ltimos aos, el tema de la calidad educativa desde esta visin ms amplia
y compleja se fortalece en las agendas de los ministerios. En parte, porque la experiencia acumu-
lada ha marcado los lmites de reducirla solo a los resultados acadmicos (aunque obviamente no
pueden quedar excluidos); en parte tambin porque, aun cuando estos resultan una dimensin
ineludible del tema, los factores sociales y educativos que intervienen en ella, como se ha dicho,
requieren polticas ms integrales que las que se promovieron.
El fnanciamiento educativo
En promedio, Amrica Latina asigna aproximadamente un 4,7% de su PIB a educacin en la ac-
tualidad. Como regin, se encuentra en segundo lugar por detras de Amrica del Norte y Europa
Occidental, que destinan un 5,7% anual en promedio. Si bien hay datos empricos en la regin de
que la inversin sectorial global creci en los noventa, en muchos casos no hizo ms que compen-
sar lo que se haba perdido en la dcada anterior (Morduchowicz y Duro, 2007). No obstante, para
analizar el signifcado que estos porcentajes suponen, debe tenerse en cuenta que estos son solo
una de las medidas del esfuerzo fnanciero de cada pas en sus sistemas educativos y que no deben
analizarse fuera de su contexto. En algunos, pueden resultar elevados por el tamao de sus econo-
mas o por su menor poblacin escolar. En otros, pueden resultar escasos, cuando se analizan la
Margarita Poggi
134027 _ 0001-0184.indd 71 16/3/09 16:10:35
72
complejidad y envergadura de los problemas que deben atender. Por ello, sigue constatndose que
los esfuerzos fnancieros son dispares y el promedio es bajo, especialmente cuando es comparado
con la inversin de los pases de mayor desarrollo.
Es importante tambin superar los planteos reduccionistas que limitan la discusin solo al uso
ms efciente de los recursos; especialmente porque ha dado lugar a distintas controversias. En el
mismo sentido, ms all de que deba reducirse el nivel de inefcacia en la utilizacin de los recur-
sos disponibles, a la vez es necesario aumentar de forma signifcativa la inversin para el sector,
especialmente si se quieren cumplir algunas de las metas fjadas en distintos acuerdos internacio-
nales. Los pases en la regin ya estn desarrollando algunas estrategias, entre ellas nuevas leyes
de fnanciamiento o de asignacin diferente de los recursos del sector, en donde Argentina, Brasil,
Colombia y Chile son claros ejemplos de ello. Estas normativas requieren una profundizacin de
las tareas de planeamiento para hacer efectivas y viables las metas que ellas plantean.
Si bien se han mencionado hasta aqu tres grandes tendencias que caracterizan los principales
desafos de los sistemas educativos de la regin, pueden destacarse tambin algunos temas ms
especfcos, los cuales adoptan manifestaciones distintas segn cada sistema y la oferta que carac-
teriza cada pas.
El reconocimiento de nuevos sujetos en las instituciones
y los sistemas educativos
Se est asistiendo en los sistemas educativos de la regin a la necesidad de estrategias de escolari-
zacin para atender a la diversidad que caracteriza a la nueva poblacin que se ha integrado a los
sistemas. En sentido estricto, no se trata de nuevos sujetos, ya que hace dcadas que se encuen-
tran asistiendo a las escuelas, pero s puede afrmarse que hasta cierto punto han permanecido
invisibles en ellas. Algunos ejemplos, muy distintos entre s, permiten dar cuenta de esta cuestin:
los alumnos y estudiantes con marcada sobre-edad en primaria y secundaria, provenientes de los
sectores ms pobres (sobre-edad que se produce como un efecto combinado de la repitencia re-
currente o abandonos temporarios y reingresos al sistema); la presencia creciente de jvenes en la
educacin de adultos, en parte por cuestiones sociales, pero tambin por las condiciones de la es-
colarizacin en el nivel secundario, que ha permanecido casi inmutable a pesar de los intentos por
transformarlo; alumnos que pertenecen a distintos pueblos originarios o provenientes de otros
pases de la regin con caractersticas culturales propias. Todos estos grupos requieren la puesta
en marcha de estrategias institucionales y pedaggicas que permitan atender a su especifcidad
para asegurar su proceso de escolarizacin.
La primera infancia y su incorporacin ms temprana
en los procesos educativos
En general, puede constatarse en la regin que, en las polticas de los gobiernos, se est otorgando
mayor prioridad a la atencin y educacin de la primaria infancia, en contraste con la situacin
pasada, en donde claramente el tema tena menor importancia que otros objetivos educativos.
Cabe sealar que dentro de los pases se dan grandes diferencias en cuanto a la oferta: son los
nios de las familias ms pobres y de las que viven en zonas rurales los que tienen muchas menos
posibilidades de acceso, cuando en realidad se trata de quienes ms benefcios podran obtener
de los programas de atencin educativa temprana.
Indicadores y desafos de los sistemas educativos en Amrica Latina
134027 _ 0001-0184.indd 72 16/3/09 16:10:35
73
La educacin de la primera infancia recibe en este contexto una atencin particular en las pol-
ticas del sector, caracterizada por una concepcin integral. En este sentido, involucra no solo al
sistema educativo formal (particularmente el nivel inicial), sino que se concibe como un desafo
que excede a la poltica educativa porque exige articulaciones con los sectores de salud, atencin a
las familias, desarrollo comunitario, etc. Constituye el ejemplo por excelencia en el cual sin accio-
nes integrales, conjuntas y coordinadas de distintos sectores de gobierno no se puede garantizar
una poltica de equidad. En lo que respecta al sistema educativo en particular, la ampliacin de la
oferta de la educacin inicial, en algunos casos, y de la obligatoriedad en la asistencia, en otros,
refeja la importancia del tema para la regin.
La ampliacin en el acceso y la mejora del egreso en educacin secundaria
con aprendizajes relevantes
Cuando se analiza el patrn de la expansin de la escolarizacin en el nivel medio, especialmente
en la dcada de los noventa, es posible afrmar que se ha registrado en un tiempo relativamente
corto y, como consecuencia de ello, los sistemas educativos no han estado siempre en condiciones
de dar las respuestas ms adecuadas a esta demanda. Por un lado, puede constatarse una tenden-
cia en la regin a universalizar y, en algunos casos, hacer obligatoria, la educacin secundaria (como
en Argentina y Chile). Por el otro, se ha detenido el crecimiento en la ampliacin de la cobertura,
caracterstico de la dcada pasada, lo que permite fundamentar una hiptesis vinculada con los
lmites a la expansin del nivel. Obviamente, esta puede explicarse en parte por factores exgenos
a los sistemas educativos, pero no debe descartarse la incidencia de las condiciones propias de la
oferta existente para escolarizar jvenes provenientes de sectores muy heterogneos en trminos
de sus caractersticas socioeconmicas. Adems, las culturas juveniles propias de esta etapa vital
confguran caractersticas muy particulares en el momento de la asistencia al nivel secundario. Es
este tambin otro ejemplo de los nuevos sujetos presentes hoy en las instituciones educativas,
que se mencion anteriormente.
En relacin con lo expresado, puede anticiparse en consecuencia que los prximos pasos para
la escolarizacin en la educacin media (especialmente en la educacin secundaria superior)
requerirn esfuerzos de mucha mayor envergadura tanto en materia de expansin de la oferta
(infraestructura, materiales didcticos, formacin de docentes, etc.) como en la adecuacin de las
estrategias y los modelos pedaggicos. La educacin secundaria deber innovar tanto en cuanto
a su formato organizacional, como en las estrategias y procedimientos de enseanza y de apren-
dizaje, para asegurar el desarrollo de conocimientos y actitudes que habilitan para el trabajo y la
ciudadana activa. Por ello, en este contexto, la cuestin pedaggica adquiere una importancia
estratgica fundamental y el desarrollo de propuestas innovadoras y fundamentadas en experien-
cias resultar importante para dotar con nuevas respuestas a la tradicional escuela secundaria.
La educacin de jvenes y adultos
Tradicionalmente, la educacin de adultos se circunscriba, en primer lugar, a asegurar la alfabeti-
zacin que permita, a aquellos que no haban tenido la oportunidad de asistir a la educacin b-
sica, acceder a los conocimientos fundamentales que supone el dominio de la lengua escrita y del
clculo. Por ello se fueron organizando ofertas especfcas que se hicieron cargo de la alfabetiza-
cin inicial y luego de la educacin bsica o primaria de la poblacin adulta. En la medida en que
la oferta educativa se expandi en las ltimas dcadas, se fortaleci tambin la de la educacin se-
Margarita Poggi
134027 _ 0001-0184.indd 73 16/3/09 16:10:35
74
cundaria para permitir la continuidad de los estudios de los adultos que concluan la primaria, o
que haban abandonado la secundaria, y podran as reinsertarse en el sistema educativo formal.
No obstante lo sealado (que se caracteriza a su vez por matices importantes entre los pases de la
regin, vinculados con las importantes distancias en cuanto a la situacin de este subsistema), se
presentan fuertes pruebas de que la educacin secundaria para adultos incorpora cada vez ms a
jvenes que ingresaron a la secundaria comn, pero no pudieron permanecer en ella y an menos
egresar del nivel. Se puede anticipar incluso que esta tendencia ir en aumento en los prximos
aos, cuando se analizan los grupos de jvenes que no tienen estudios secundarios completos.
Por ello es esperable que en los prximos aos se incremente considerablemente la demanda de
este tipo de oferta educativa, de modo que permita a esos jvenes acceder a los conocimientos
y la certifcacin de los estudios secundarios. Ello plantea un desafo importante en las agendas
educativas, ya que requerir el diseo de programas y ofertas que consideren las nuevas manifes-
taciones de esta problemtica en la oferta para jvenes y adultos.
En fn, no se detallarn aqu otros temas especfcos que pueden detectarse cuando se analizan
diferentes temticas educativas, entre los que pueden mencionarse los siguientes: los docentes, su
formacin y desarrollo profesional; la educacin superior; la dinmica entre la educacin y las
tendencias de desarrollo social y econmico; el gobierno y la administracin de los sistemas edu-
cativos. Cada uno de ellos requerira un tratamiento que excede los lmites del presente captulo.
Solo se han destacado algunas temticas para dar cuenta de ciertas problemticas y sus manifesta-
ciones especfcas en la actualidad y porque ellas adems estn planteando nuevos requerimientos
a los sistemas de informacin.
PRINCIPALES RETOS DE LOS SISTEMAS DE INDICADORES DE LA REGIN
Ya ha sido sealado anteriormente que un sistema de indicadores debe responder a preguntas
relevantes que distintos actores se formulan con respecto a la organizacin y evolucin de un
sistema educativo (y de sus subsistemas). Por ello, en el marco de un nuevo escenario regional
social y educativo que viene confgurndose en los ltimos aos y, al mismo tiempo, sobre la
experiencia de las ltimas dcadas con respecto al desarrollo de los sistemas de indicadores, pue-
den analizarse los desafos que estos tienen de cara al futuro en relacin con tres aspectos clave:
aquellos vinculados con a) la recoleccin y produccin; b) el anlisis, y c) la difusin y el uso de
la informacin social y educativa.
Corresponde realizar una primera aclaracin: es cierto que solo con fnes analticos pueden sepa-
rarse tres etapas en las cuales se toman decisiones con respecto a la informacin sobre un sistema
educativo, pero tienen implicancias directas en el conjunto del proceso. No obstante, para los
fnes de esta presentacin, se separarn artifcialmente para su mejor organizacin. Cabe aclarar
asimismo que algunos desafos que se mencionan en los siguientes puntos son ms estructurales
2
,
mientras que otros se encuentran ms estrechamente relacionados con las nuevas preguntas y, en
consecuencia, los nuevos problemas que resultan de la dinmica propia de los sistemas educativos
de la regin, los cuales se abordaron en el apartado anterior.
2
Puede ampliarse este apartado en el informe del PRIE (2007), Balance de las misiones de diagnstico de
los sistemas de informacin educativa, resumen ejecutivo, UNESCO y Secretara de Educacin Pblica
de Mxico. Ver en: http://www.unesco.org/santiago.
Indicadores y desafos de los sistemas educativos en Amrica Latina
134027 _ 0001-0184.indd 74 16/3/09 16:10:35
75
Sobre la recoleccin y produccin de informacin
Mejorar las metodologas para la recoleccin de informacin.
Este aspecto es clave en la defnicin del marco conceptual y metodolgico de un sistema de
indicadores, pero tambin lo es a medida que este se desarrolla y se releva informacin de modo
continuo y sistemtico. Adems est vinculado con la calidad de la informacin elaborada, ase-
gurando la confabilidad y representatividad de los datos.
Un problema recurrente que se encuentra en este aspecto es la confrontacin entre los datos
duros en relacin con los datos impresionistas, propios de actores del sistema educativo. La
distincin entre objetos empricos y objetos tericos (INEE, 2007) ayuda a resolver esta confron-
tacin ya que, cuando hablamos de informacin estadstica, se trata de construir objetos tericos,
orientados por ciertos propsitos, diferencindolos de los innumerables objetos empricos que se
encuentran en la realidad.
Por otra parte, el problema de la verifcacin resulta siempre clave, lo que implica anticipar los
procedimientos de supervisin y verifcacin en la etapa de recoleccin de la informacin. La
sistematizacin y documentacin del proceso de construccin de un sistema de indicadores solo
recientemente se incorpora como un ejercicio sistemtico en las ofcinas productoras de informa-
cin y tiene implicancias tanto a la hora de recolectar como de interpretar la informacin en los
distintos niveles de agregacin que se hayan previsto.
Prestar especial atencin a los niveles de desagregacin de la informacin disponible y dar respuesta
a requerimientos de relevamientos especfcos de informacin que atiendan a las necesidades nacio-
nales y subnacionales (provincia/estado, municipio, segn organizacin de un sistema educativo).
Si bien un sistema de informacin da cuenta de las tendencias generales de un sistema educativo
(o de algunos de sus subsistemas, niveles, modalidades), debe tenerse en cuenta tambin el alto
grado de heterogeneidad propia de cada uno de los pases de la regin, al que se hizo referencia
anteriormente. Por ello, este aspecto (los niveles de desagregacin de la informacin) se vuelve
especialmente relevante para orientar procesos de decisin de poltica educativa.
Por otra parte, pueden surgir necesidades de produccin de nuevos indicadores, cuestin que
pone en discusin el tema del nmero adecuado de indicadores que debe integrar un sistema. Si
bien a nivel de un sistema nacional de indicadores la discusin parece saldada, ya que se cuenta
con relevantes experiencias en la produccin de estos, cuando se desagrega la informacin dis-
ponible para dar cuenta de la heterogeneidad interna de un sistema educativo, es posible que se
presenten nuevos problemas para resolver en la gestin y, con ello, la necesidad de producir nueva
informacin y generar nuevos indicadores. Ejemplos de ello pueden encontrarse en la microplani-
fcacin educativa vinculada a unidades territoriales especfcas, en donde los indicadores permi-
ten analizar y evaluar aspectos especfcos de la poltica educativa en algunos de sus subsistemas.
Generar informacin sobre reas o temticas relevantes, pero vacantes en trminos de su disponi-
bilidad.
A medida que la dinmica de los sistemas educativos evoluciona, se presentan nuevos problemas
y con ello se identifcan nuevas necesidades de informacin y de produccin de indicadores.
Algunos ejemplos de esto son la importancia de producir nuevos indicadores que den cuenta de
Margarita Poggi
134027 _ 0001-0184.indd 75 16/3/09 16:10:35
76
las distintas dimensiones de la calidad educativa, en las que los resultados acadmicos de los estu-
diantes constituyen solo un aspecto; se ha mencionado tambin la educacin de jvenes y adultos
y las nuevas manifestaciones que ha adoptado; en fn, la informacin que se produce sobre el
fnanciamiento educativo es un rea de vacancia o de desarrollo reciente, pero an insufciente
para los pases de la regin.
Evitar el uso de la informacin producida por los establecimientos educativos para la toma de deci-
siones relativa a la asignacin de recursos a ellos mismos.
Es esta una de las principales razones, aunque no la nica, por las cuales la informacin produ-
cida sobre un sistema encuentra inconsistencias y problemas de validez. Las fnalidades de un
sistema de informacin, el marco conceptual y el metodolgico son etapas de un proceso, a la
vez lgico y cronolgico, pero profundamente imbricadas entre s. Si se desvirta el sentido de
la recoleccin de la informacin, es factible que el resto de las etapas del proceso se vean afectadas
profundamente, con el consiguiente desperdicio de tiempos, esfuerzos y recursos.
Sobre el anlisis de la informacin
Fortalecer experiencias en la regin que promueven la integracin de informacin proveniente de
distintos sistemas de indicadores y estudios de evaluacin y promover el anlisis de la informacin
educativa en forma articulada con aquella proveniente de otras fuentes y otros sectores sociales, para
una comprensin integral de los procesos educativos.
Es de destacar que los sistemas de informacin en la regin vienen realizando avances impor-
tantes en este aspecto. Mientras el primero de los aspectos remite a un mejor aprovechamiento
de los sistemas internos productores de informacin en un ministerio (ofcinas de estadsticas
y de evaluacin); el segundo reenva a la importancia de integrar en el anlisis la informacin
de contexto que es producida por otros organismos pblicos. Cabe resaltar que este punto tiene
tambin implicancias en la organizacin del proceso de recoleccin de la informacin educativa,
al defnir por ejemplo las unidades de anlisis. Si bien es sabido que no siempre resulta sencillo
integrar fuentes distintas y estudios complementarios, es importante sostener esfuerzos en ese
sentido ya que mejora la interpretacin de la informacin disponible, atendiendo a la compleji-
dad de situaciones de cada sistema educativo.
Fortalecer la generacin y difusin de enfoques tericos en los cuales se sustenta el anlisis de la in-
formacin y profundizar la interpretacin de la informacin con el anlisis cualitativo.
Un dato, cualquier dato en s mismo, no informa sobre algn aspecto de una realidad si no es
puesto en relacin con enfoques tericos determinados, que permiten interpretarlo, esto es, do-
tarlo de sentido. Sin pretensin de extendernos en este punto, porque excede los lmites de este
trabajo, es necesario aclarar que una mirada atenta a las desigualdades propias de los pases de
la regin, a las formas en que se manifestan y a las heterogeneidades internas, supone tomar
posicin en un marco determinado desde el cual esta cuestin se interpreta (que tiene tambin
implicancias en el momento de diseo y defnicin de un sistema de indicadores). En este sentido,
los indicadores proveen insumos al debate sobre el tema.
Por otra parte, la comparacin, ya sea en el tiempo para un mismo sistema educativo, como en
un contexto, por ejemplo regional, contribuye a atender a la especifcidad de la situacin educa-
tiva de un pas o regin. En muchas ocasiones, para desarrollar este tipo de interpretaciones es
Indicadores y desafos de los sistemas educativos en Amrica Latina
134027 _ 0001-0184.indd 76 16/3/09 16:10:35
77
ineludible complementar la informacin cuantitativa provista por un conjunto de indicadores
con anlisis cualitativos provistos por estudios e investigaciones sobre aspectos centrales de un
sistema educativo.
Sobre la difusin y el uso de la informacin
Fortalecer el uso en el planeamiento y la evaluacin de las polticas educativas.
Una concepcin actualizada del planeamiento educativo, atendiendo tanto al macro-planeamien-
to como a la micro-planifcacin, debe basarse en un sistema de informacin confable el cual, al
aportar evidencia emprica, contribuye a defnir los problemas sobre los que las polticas preten-
den intervenir, ya sea en el largo, mediano y corto plazo. Es este un insumo fundamental para los
responsables polticos y poltico-tcnicos involucrados en los procesos de toma de decisiones, sin
que ello implique desconocer el conjunto de otros factores que intervienen en dichos procesos.
Asimismo, un sistema de informacin permite tambin ejercicios prospectivos en los que se an-
ticipa la evolucin del sistema, o se construyen escenarios alternativos como parte del proceso de
toma de decisiones.
La articulacin entre planifcacin, gestin y evaluacin de un sistema educativo permite in-
cluir distintos elementos para construir conocimiento sobre la evolucin de un sistema, as como
asegurar la adaptacin de las polticas educativas conforme a los desarrollos observados en el
sistema y su contexto. Si bien no se trata de un proceso lineal, implica identifcar las condiciones
que demanden nuevas acciones; inventar, disear y desarrollar posibles cursos de accin; elegir
entre diferentes alternativas, desarrolladas previamente para solucionar un problema identifca-
do y cuyas consecuencias ya han sido analizadas. En todos estos procesos, la informacin es una
herramienta clave.
Promover diversas acciones de difusin y de capacitacin de los distintos usuarios de la informacin.
Uno de los principales problemas con el uso de los indicadores educativos es, en primer lugar,
su falta de uso; en otros casos, los problemas derivados de una interpretacin incorrecta de la
informacin que proveen porque, como se afrm anteriormente, esta supone un conocimien-
to relativamente complejo de los alcances, las posibilidades y los lmites del mismo sistema de
indicadores y, al mismo tiempo, un conocimiento de los sistemas educativos sobre los cuales se
produce informacin.
Parte de esta problemtica se resuelve pensando en los destinatarios diferenciados de la informa-
cin y con ello en la elaboracin de distintos tipos de informes recurriendo a estilos de comuni-
cacin acordes. En ese sentido se constatan esfuerzos interesantes en los pases de la regin en los
ltimos aos.
Pero, adems, el desarrollo de acciones de capacitacin en el uso de la informacin constituye una
estrategia vlida para contribuir a la sustentabilidad y al mejoramiento de los sistemas de infor-
macin. Al respecto se debe pensar en distintas gradaciones en cuanto a la especializacin en el
conocimiento de un sistema educativo y en la informacin producida sobre este, recorriendo un
amplio espectro de actores educativos, desde las mismas reas de los ministerios vinculadas con
la gestin de los sistemas educativos, pasando por diferentes niveles de responsabilidad segn la
organizacin del gobierno de un sistema educativo. Adems, el acercamiento a usuarios no es-
pecializados de la informacin con alto impacto social, como los periodistas, por ejemplo, pue-
Margarita Poggi
134027 _ 0001-0184.indd 77 16/3/09 16:10:35
de resultar interesantes perfles para organizar acciones especfcas destinadas para ellos. Si bien
puede contarse en la regin con algunas experiencias en esta ltima lnea, son ms espordicas y
no se encuentran sufcientemente desarrolladas.
Sobre el conjunto del proceso
Profundizar las acciones de formacin y capacitacin de los recursos humanos en las reas de esta-
dstica y evaluacin de Ministerios de Educacin de la regin.
En la produccin de un sistema de informacin (tomado ahora en la perspectiva ms amplia
que incluye las etapas ya sealadas), es necesario contar con la intervencin de especialistas de
diferentes disciplinas y, si bien se han realizado acciones relevantes de formacin, es necesario
sostenerlas y profundizarlas en el tiempo. La multidisciplinariedad que caracteriza a los equipos
responsables de todo el proceso de produccin de la informacin exige adems acciones diferen-
ciadas y especfcas de formacin y, a la vez, implica sostener una visin general e integrada sobre
dicho proceso.
Sostener la inversin en el largo plazo para asegurar el mejoramiento y uso de la informacin.
Generar sistemas de indicadores ms complejos, que permitan seguir tendencias en los sistemas
educativos, requiere importantes recursos. Como es sabido, las reas productoras de informacin
son muy demandadas en los Ministerios de Educacin; no obstante, no siempre cuentan con los
recursos adecuados o quedan sujetas en mayor medida que otras dependencias a la disponibilidad
de recursos. Asegurarlos en el largo plazo (en formacin de recursos humanos, en equipamiento
y su actualizacin permanente) supone reconocer el importante papel que en esta materia debe
jugar el Estado, el cual no puede delegarse en ninguna otra organizacin social. El apoyo poltico
es de vital importancia para que un sistema de informacin sea efectivo, tanto en lo referido a la
produccin como a la utilizacin de los datos.
A MODO DE CONCLUSIN
Resulta claro a partir de los aspectos desarrollados en el presente captulo que la informacin so-
bre un sistema educativo, y un sistema de indicadores generado para tal fn, no puede deslindarse
de dos cuestiones centrales.
Por un lado, las preguntas sobre las temticas relevantes de un sistema educativo, sobre las que
se pretende producir informacin. Aqu el conocimiento de las tendencias, tanto internaciona-
les y regionales como las nacionales, provee una perspectiva importante para la formulacin de
dichas preguntas. Por ello, la necesidad de actualizacin de un sistema de indicadores remite a la
necesidad de aprehender mejor los nuevos problemas que enfrentan los sistemas educativos, sin
que se pierda de perspectiva el anlisis de sus tendencias histricas. Pero, por otro lado, resultan
clave tanto los enfoques conceptuales como metodolgicos, porque remiten a una discusin so-
bre los supuestos epistemolgicos que estn detrs de ellos; esto es, qu se conoce de un sistema
educativo y cmo se lo conoce; en otros trminos, qu porcin de la realidad de este representa
un sistema de indicadores educativos.
Por ltimo, la produccin de informacin a travs de indicadores y su relacin con el planea-
miento de las polticas educativas constituye una va para problematizar determinados temas y
colocarlos en la agenda pblica, que involucra ineludiblemente los ms altos niveles polticos de
Indicadores y desafos de los sistemas educativos en Amrica Latina
78
134027 _ 0001-0184.indd 78 16/3/09 16:10:35
79
un Ministerio de Educacin. En materia de polticas pblicas, se ha afrmado que quien defne
es quien decide. Esta cuestin permite subrayar entonces la importancia que tienen las ofcinas
productoras de informacin, como instancias de apoyo clave para los ms altos niveles de res-
ponsabilidad poltica, en la defnicin de los problemas y en la generacin de consenso en torno
a ellos, a partir de las pruebas y de los anlisis que proveen. Por supuesto, esto supone reconocer
tambin la estrecha, y en muchas ocasiones inseparable, relacin entre las dimensiones tcnicas y
valorativas implicadas en toda decisin de poltica educativa.
Margarita Poggi
134027 _ 0001-0184.indd 79 16/3/09 16:10:35
134027 _ 0001-0184.indd 80 16/3/09 16:10:35
81
La evaluacin de polticas y programas:
desafos para la gestin en educacin
Marta Kisilevsky
PRESENTACIN
Reconocido como uno de los atributos de capacidad estatal, la evaluacin en particular aquella
referida a programas y proyectos ha experimentado un importante crecimiento en las ltimas
dcadas en reas como salud, asistencia social y educacin.
A la complejidad propia del diseo y la gestin de los servicios sociales universales, la poltica
educativa suma algunas particularidades (su institucionalidad, la naturaleza de sus contenidos
bsicos y los actores que la sostienen) que le conferen atributos propios de los procesos que se
suceden en torno al ciclo de la intervencin pblica.
En un intento por pensar desde esta especifcidad, este trabajo pone el foco en la relacin entre la
evaluacin de programas y los procesos decisorios a travs de los cuales se disean e implemen-
tan las polticas y los programas educativos. Se hace un recorrido por sus caractersticas bsicas,
las particularidades derivadas del contexto institucional, sus contribuciones y problemas referi-
dos a los estudios evaluativos, as como los desafos con que se enfrentan tanto evaluadores como
gestores para la utilizacin de sus resultados.
La refexin est situada en la interfase que tiene lugar entre los procesos de evaluacin y la din-
mica particular que asumen el diseo y la implementacin de la poltica educativa; interrogando
acerca de las condiciones, aspectos problemticos y desafos presentes desde ambas esferas de la
relacin.
EVALUACIN DE PROGRAMAS EN EDUCACIN
En su sentido ms general, evaluar supone determinar el valor o mrito de algo a partir de esta-
blecer criterios y estndares relevantes y realizar posteriormente un anlisis adecuado a ellos.
En el mbito de los programas sociales, tal como seala Mokate (2000, p. 2), la evaluacin requie-
re de la especifcacin y concertacin de expectativas, criterios o estndares y su aplicacin a la
valoracin de las iniciativas. Se trata entonces de procesos que, si bien estn situados en el campo
del conocimiento cientfco y tcnico, exigen ser puestos en dilogo con aquel que se constituye
desde la subjetividad de los actores, sus expectativas, necesidades, criterios y valoraciones.
Desde esta perspectiva, algunos autores enfatizan el carcter refexivo de la evaluacin: tomar
distancia de la accin para tomar esta como objeto de anlisis, para revisar qu es lo que se est
proponiendo o qu se est haciendo o qu se ha hecho, analizar las caractersticas de las metodo-
134027 _ 0001-0184.indd 81 16/3/09 16:10:35
82
logas de intervencin planteadas o desplegadas, y determinar si la orientacin es efectivamente
hacia la direccionalidad deseable, aclarando cules escollos y cules facilidades se presentan y qu
logros se esperan o se han obtenido (Nirenberg; 2008, p. 231).
Esta doble pertenencia de los estudios evaluativos de los programas sociales (al campo cientfco
y tcnico y a aquel que se constituye desde la subjetividad de los actores) se expresa en los perfles
de sus profesionales, en los modelos de investigacin adoptados, en las metodologas de anlisis,
en las tcnicas y en la naturaleza de los datos utilizados y construidos.
Acorde con esta lgica dual, los estudios evaluativos en programas sociales coinciden en la nece-
sidad de combinar los criterios de confabilidad y validez con aquellos que se orientan a abonar a
la construccin del mbito pblico y a la recuperacin de la perspectiva de los actores
1
.
En estas elaboraciones terico-metodolgicas (as como tambin en sus resultados) existen im-
portantes acuerdos acerca de la importancia que tiene la perspectiva de los actores (sociales y gu-
bernamentales) para la comprensin de los procesos de gestin de los programas. Esta jerarqua
conferida a la mirada de los actores se funda en distintas preocupaciones, entre otras: la necesidad
de fortalecer con informacin la democratizacin de la accin estatal; la importancia de contar
con su perspectiva en la construccin de la valoracin de los procesos pblicos; o bien, por la
necesidad de reconstruir la complejidad de la cascada de la implementacin (en tanto los pro-
cesos y los resultados de los programas dependen de los actores que intervienen). Su relevancia se
fundamenta desde distintas justifcaciones.
Sin embargo, nos interesa destacar que no parece ser sufciente reivindicar la importancia de la
mirada de los actores para reconstruir desde un estudio evaluativo la complejidad de la gestin.
A nuestro juicio, las difcultades que encuentra parte de las aproximaciones terico-metodol-
gicas ms utilizadas devienen menos de la falta de reconocimiento acerca de la importancia de
recuperar la mirada de los actores (que instituye esta doble pertenencia a la que hacamos refe-
rencia), que de la propia delimitacin de quines son los actores de la gestin de un programa. Y en
consecuencia, cules son los sujetos de la evaluacin.
En este punto, esta pregunta lleva a plantearnos una segunda cuestin que es la relacin entre
programa educativo y poltica educativa, sus vnculos recprocos y sus fronteras. Dicho de otra
manera, es posible reducir la complejidad de la poltica pblica al artifcio del recorte que su-
ponen los programas desde sus documentos? Aqu radica a nuestro juicio el nudo en torno
al cual se articulan algunas de las difcultades que encuentran las evaluaciones para alcanzar una
relacin virtuosa entre evaluacin y mejora de la gestin.
Programas y polticas
Aunque existen similitudes entre ambos conceptos y siendo concientes de las limitaciones que
encuentra este trabajo para tratar este tema, interesa advertir acerca de ciertos matices que desa-
fan al momento del diseo de la evaluacin de programas.
1
En este registro de la cuestin, podemos citar aportes ya clsicos como los que hicieron dcadas atrs
E. Cohen y R. Franco (1987), as como otros ms recientes, entre los que pueden citarse los trabajos de
V. Ruiz, O. Nirenberg y J. Brawerman (2000 y 2003) y de S. Hintze (2001).
La evaluacin de polticas y programas: desafos para la gestin en educacin
134027 _ 0001-0184.indd 82 16/3/09 16:10:35
83
Al hablar de programa hacemos referencia a acciones que se orientan a objetivos defnidos con-
forme a un determinado diagnstico de una situacin o problema. Ahora bien, a lo largo de su
ciclo de vida, los programas no se mantienen en estado puro ya que, cuando se ponen en mar-
cha, se relacionan con otros programas o con otras formas de organizacin (servicios, demanda,
instancias de apoyo, entre otras).
La relacin de los programas educativos con la poltica educativa en los distintos niveles
(nacional, provincial, departamental o del establecimiento) depende de las caractersticas que
asumen los procesos de gestin, las condiciones del contexto, las acciones derivadas de otros
programas e intervenciones y las capacidades estatales. Este ltimo aspecto resulta clave en tanto
las capacidades disponibles colaborarn con el modelado del programa como respuesta a las
cuestiones problematizadas en cada nivel. La gestin permite establecer esta conexin entre la
poltica educativa y la ingeniera del programa ya que, cuando se habla de gestin de la poltica
educativa, se est hablando (tambin) de programas en acto (Chiara y Di Virgilio, 2008).
En trminos de los interrogantes que orientan nuestro trabajo, estas afrmaciones llevan a recoger
en el propio diseo de la evaluacin aspectos tales como: la trama de otras intervenciones con las
que el programa en cuestin se vincula; las acciones de otros actores (sociales y gubernamentales
no directamente vinculados con el programa, pero que pueden incidir por accin u omisin en
su desarrollo); las estrategias desplegadas en los distintos niveles jurisdiccionales y las capacida-
des estatales puestas en juego, entre otros.
En suma, esta perspectiva recupera al programa en acto en la poltica educativa y supone
avanzar en la formulacin de interrogantes/organizadores de los estudios evaluativos que estn a
la altura de la complejidad que desafa a los gestores de los programas, no en tanto instancias ais-
ladas (discretas podramos decir), sino convertidos en parte de la red poltica. Desde nuestras
preocupaciones, atender a estas necesidades de los gestores resulta relevante en tanto sern estos,
en ltima instancia, quienes podrn retomar (o no) los resultados de los estudios en la toma de
decisiones.
Particularidades del campo educativo
Precisadas estas fronteras e identifcadas algunas de sus zonas grises, consideramos necesario
indagar en los atributos particulares que asumen los programas en educacin y la relevancia que
tienen para el desarrollo del sector.
A diferencia de otros campos de la poltica social, la poltica educativa presenta algunos rasgos
particulares su diseo institucional, la naturaleza de sus contenidos bsicos y sus actores, que
vale la pena destacar a los efectos de ver cmo interpelan a los marcos analticos de la evalua-
cin.
Con relacin al primer aspecto, los atributos de la matriz institucional del sector educativo cons-
tituyen coordenadas fundamentales para el diseo de la evaluacin de programas. Se trata de
estructuras organizadas bajo la modalidad de servicios
2
con fuertes contenidos jerrquicos en
2
Una forma tradicional de organizar las funciones sustantivas es creando unidades que se han especiali-
zado en la produccin o distribucin de un servicio que la institucin debe entregar a la comunidad (Varas
Gonzlez, 1984).
Marta Kisilevsky
134027 _ 0001-0184.indd 83 16/3/09 16:10:35
84
la estructuracin de las relaciones interinstitucionales y en las que intervienen a su vez distintas
jurisdicciones con altos niveles de autonoma. En el caso argentino, como en otros pases de la
regin, se trata de una organizacin federal de gobierno que defne competencias diferenciadas
y tambin concurrentes, las que han sido afectadas en las ltimas dcadas por los procesos de
descentralizacin del sector. Estas particularidades cobran especial relevancia, en tanto se trata
tambin de un sector organizado bajo la lgica de sistema, cuestin que confere particular valor
a la articulacin entre ciclos y niveles.
En segundo lugar, las cuestiones relativas a la enseanza y el aprendizaje, que estn en el foco de
la preocupacin del sistema educativo, son problemas complejos, esto es, difcilmente acotables,
porque son multidimensionales (intervienen factores de muy distinta ndole: sociales, pedaggi-
cos, institucionales, polticos, culturales, psicolgicos) (Bardach, 1997).
Por ltimo, otra de las particularidades tiene que ver con los actores, de cuyas intervenciones
deviene la polisemia de sus problemas y de las intervenciones; en cada caso, los distintos actores le
asignan signifcados, sentido de la urgencia y relevancia diferente. Este atributo est dado precisa-
mente porque coexisten (en su defnicin, anlisis y resolucin) en los distintos niveles (nacional,
provincial, departamental y del establecimiento) el punto de vista de los alumnos y sus familias y
de los dems actores del sistema (maestros, supervisores, directivos, funcionarios y tcnicos) que
contribuyen tambin a su defnicin.
Estas particularidades del sector educacin desafan a los estudios evaluativos en los siguientes
aspectos, a saber:
La necesidad de dar cuenta y explicar las articulaciones entre las lneas de accin previstas en
los programas con las otras formas de organizacin con las que se articula matricialmente. Las
tensiones que se produzcan entre las intervenciones derivadas de los programas y la organiza-
cin de los servicios educativos tienen que poder ser explicadas (no solo detectadas).
La trama institucional que resulta de la descentralizacin es particularmente heterognea en
los niveles provinciales
3
, lo cual supone estructuras organizacionales diferentes, recursos hu-
manos y presupuestarios distintos. Dada esta situacin, los efectos de un programa pueden
ser unos u otros, segn cules sean las caractersticas que asuman los procesos de gestin, las
condiciones del contexto y las capacidades institucionales en cada una de esas matrices para
llevarlos adelante. Desde esta perspectiva, el contexto institucional es un factor condicionante
que debe ser retomado en el diseo del estudio evaluativo.
Los estudios evaluativos tienen que poder promover la generacin de preguntas que estn a
la altura de la complejidad de los problemas. Si bien se reconoce que un estudio evaluativo
necesariamente tendr que operacionalizar las preguntas, deber hacerlo buscando perder lo
menos posible el carcter complejo y multidimensionado del problema.
Si consideramos que los problemas tienen distintos signifcados desde los diferentes actores,
resulta central que el diseo del estudio evaluativo pueda, recuperando la teora del cambio que
sustenta el programa, ponerla en tensin con las perspectivas que los distintos actores tienen al
respecto.
3
Se corresponde con el nivel estadual de gobierno.
La evaluacin de polticas y programas: desafos para la gestin en educacin
134027 _ 0001-0184.indd 84 16/3/09 16:10:35
85
ESTUDIOS EVALUATIVOS: ENTRE LA DECISIN Y LA ACCIN
Ahora bien, hasta aqu hemos enunciado algunas cuestiones que han buscado conectar la pro-
blemtica particular de los programas en educacin con los atributos necesarios en los estudios
evaluativos de programas. Sin embargo, los estudios evaluativos tienen lugar (al igual que los
programas) en contextos histricamente determinados y cumplen diversas funciones que hay que
considerar en la etapa de su diseo.
La evaluacin tiene como funcin principal la de tomar decisiones en torno a una determinada
intervencin. Sin embargo, las funciones de los estudios evaluativos son diversas; Fernndez Ba-
llesteros (1997) seala cuatro posibles, a saber:
1. Conocer acerca de las actuaciones sobre el programa.
2. Justifcar las decisiones ya emprendidas.
3. Fundamentar un gasto presupuestario.
4. Contrastar teoras.
Dada la multiplicidad de motivaciones y necesidades que fundan el origen de un estudio evalua-
tivo, parece adquirir particular importancia entonces la tarea del equipo evaluador indagando
acerca de para qu ha sido encargada la evaluacin, esto es, cules son sus propsitos tanto
explcitos como implcitos. Se trata de un primer avance para tender puentes entre la decisin
y la accin desde la evaluacin.
Si en el campo de la poltica pblica en general los vnculos entre decisin y accin estn muy
mediatizados, en la poltica educativa este nexo est adicionalmente atravesado por tensiones de
distinto orden. Estas tensiones derivan, en parte, de cuestiones ya aludidas relativas a los atribu-
tos de la matriz institucional del sector y a las mediaciones que existen entre la decisin poltica
expresada en la formulacin de un programa y la accin efectiva en el nivel de la implementacin
en los establecimientos y en las aulas.
Las caractersticas de las intervenciones as como sus resultados e impactos estn fuertemente
condicionados por las reglas de juego, los actores y sus capacidades, que se despliegan en cada una
de las matrices provinciales. En el caso del sector educacin en Argentina post-descentralizacin,
esta afrmacin adquiere gran importancia en tanto la diferencia de los contextos institucionales
es muy importante y depende de la naturaleza de su forma de organizacin, la insercin poltica
de la cartera educativa en el gobierno provincial, el perfl de los equipos tcnicos, la relevancia
que tienen las inversiones derivadas del programa en el contexto del presupuesto provincial, entre
otros.
Esta situacin pone en cuestin las orientaciones metodolgicas ms clsicamente utilizadas en
evaluacin de programas, que suponen la posibilidad de evaluar los efectos netos de un progra-
ma como si este constituyera una unidad diferenciada separada del contexto institucional en el
que opera regularmente.
Dada esta situacin, resulta necesario avanzar en distintos interrogantes que den cuenta de las
tensiones que se suceden en la implementacin, tales como: cules fueron las estrategias adop-
tadas para llevar a cabo los cambios propuestos por el programa en cada uno de los niveles?;
Marta Kisilevsky
134027 _ 0001-0184.indd 85 16/3/09 16:10:35
86
cules son las modalidades de gestin del programa en el nivel provincial?; cmo han incidido
las diferentes matrices institucionales y la capacidad de gestin en el desarrollo del programa en
cada jurisdiccin?; cules han sido los modos tpicos de constitucin de los equipos tcnicos
provinciales en tanto dispositivo de articulacin entre la gestin nacional, la gestin provincial y
las escuelas?
4
La heterogeneidad es entonces parte constitutiva de las situaciones que desafan a los gestores. En
consecuencia, dar cuenta de ella es imprescindible para poder generar un conocimiento que sea
relevante y signifcativo, que ilumine el proceso de toma de decisiones de la gestin.
Si toda evaluacin compromete una refexin sistemtica y fundada acerca de la accin, esta re-
fexin no se da en abstracto, sino en el contexto de las relaciones entre los actores de la gestin
del programa y de la poltica educativa. Para que exista una relacin virtuosa entre evaluacin y
accin en la gestin parece necesario que desde la evaluacin se indague en las preocupaciones
que dan lugar a la evaluacin y se formulen de manera explcita las preguntas que orientan
dicha refexin.
Sin lugar a dudas, no se trata de una transpolacin de las preocupaciones de quien solicita la eva-
luacin a las preguntas que orientarn la indagacin. La formulacin de las preguntas constituye
un momento crucial del diseo del estudio evaluativo y comprende un trabajo crtico del equipo
evaluador que debe tener en cuenta las siguientes cuestiones (DINIECE, 2008)
5
:
a. Las necesidades y motivaciones que dieron lugar al requerimiento.
b. El estado del arte respecto a la problemtica en la que se inscribe el estudio.
c. El momento del desarrollo del programa en que la evaluacin tendr lugar.
d. La mirada de otros actores vinculados con la implementacin del programa y sus preocupa-
ciones.
En consecuencia, la defnicin de las preguntas de un estudio evaluativo es un proceso de cons-
truccin que pone en dilogo las motivaciones de la gestin con los avances en el campo acad-
mico. Se trata de un momento inicial pero clave en el proceso de construccin del objeto de la
evaluacin. Recuperando la preocupacin que anima las refexiones de estas pginas, las pregun-
tas que se formulen deben reunir una serie de atributos, a saber: a) ser pertinentes con relacin
al objeto a evaluar, o sea, el programa; b) ser relevantes con relacin a las necesidades sociales e
institucionales que le dan origen y, por ltimo, c) ser factibles de ser respondidas con los recursos
y el tiempo disponible.
Desde estos interrogantes se orienta la seleccin de la estrategia de investigacin ms adecuada
para darle respuesta. Las decisiones en torno al diseo de las evaluaciones responden a criterios
tanto polticos (derivados de los requisitos propios de la rendicin de cuentas orientada a la cons-
truccin de esfera pblica) como tcnicos (entre los que se destacan los principios de validez y
confabilidad).
4
Tomado del estudio evaluativo PIIE (2007).
5
Se retoman aqu los criterios enunciados en DINIECE, 2008.
La evaluacin de polticas y programas: desafos para la gestin en educacin
134027 _ 0001-0184.indd 86 16/3/09 16:10:35
87
Sin embargo, a estas consideraciones generales se suma la necesidad de generar un tipo particular
de conocimiento (y sus instancias de validacin) que sea capaz de retroalimentar sinrgicamente
la gestin en sus niveles crticos.
LOS DESAFOS EN TORNO A LA UTILIZACIN DE LOS RESULTADOS
DE LAS EVALUACIONES DE PROGRAMAS: PROBLEMAS Y ESTRATEGIAS
Desde la experiencia acumulada en estudios evaluativos de programas en educacin es posible
sistematizar algunas difcultades, problemas y nudos crticos con que se enfrenta la bsqueda de
una relacin virtuosa entre estudios evaluativos y decisin en la poltica educativa.
A nuestro juicio, estas difcultades y problemas se sitan tanto en la esfera de la gestin de la po-
ltica educativa como en el diseo mismo de los estudios evaluativos.
Con relacin a la primera, la gestin de la poltica educativa, cabe destacar los siguientes nudos
crticos que, entre otros factores, obstaculizan la relacin entre estudios evaluativos y decisin en
la poltica pblica:
1. En primer lugar, podemos citar la falta de incentivos para incorporar la evaluacin a la dinmica
de la poltica educativa. Si bien se han verifcado importantes avances respecto a la importancia
de la revisin de las acciones pblicas y de la rendicin de cuentas hacia otras instituciones y
hacia la ciudadana en general, an las evaluaciones son visualizadas como auditoras que,
cuando son explcitas respecto a los problemas existentes, pueden ser excesivamente costosas
para sus gestores. Desde estas representaciones, que forman parte del sentido comn de los
gestores y funcionarios, se constituye y modela una cultura institucional que est poco habi-
tuada a recibir imgenes que formulen una crtica. Este registro se ve reforzado, en parte, desde
otros actores quienes desde una nocin dbil acerca del compromiso de la construccin de la
esfera pblica utilizan la informacin en las pujas intraburocrticas.
2. En segundo lugar, desde la trastienda de los estudios evaluativos, pueden consignarse las
debilidades que se encuentran en los diseos de los programas que se van a evaluar. La forma
de organizacin de la gestin bajo la modalidad de programas requiere del cumplimiento de
algunos requisitos que constituyen los componentes del mismo, a saber: la enunciacin de un
problema y el diagnstico que lo sostiene, una teora del cambio explcita que fundamenta la
orientacin, un conjunto de objetivos que se propone el programa y la poblacin objetivo, un
conjunto de actividades y lneas de accin, la explicitacin de los recursos con los que cuenta,
la cobertura a alcanzar, as como los resultados e impacto. Estos componentes suelen estar
presentes de manera explcita en los documentos de los programas, aunque con niveles des-
iguales de coherencia interna. Sin embargo, el equipo de evaluacin puede encontrarse con un
conjunto de lneas de trabajo denominadas por sus responsables como programa, pero que
no tenga explicitados la totalidad de estos componentes, o bien los mismos padezcan de ciertas
inconsistencias internas (DINIECE, 2008). Frente a esta difcultad, el equipo evaluador deber
reconstruir el objeto que se pretende evaluar: se trata de una tarea inicial necesaria para hacer
posible el diseo del estudio evaluativo.
3. Un tercer factor que desafa la relacin entre evaluacin y decisin poltica es la complejidad
institucional que mediatiza la teora del cambio que sustenta el programa. Aunque, tal como
ya enunciramos, la matriz institucional (diversa, conforme a las distintas provincias, depar-
Marta Kisilevsky
134027 _ 0001-0184.indd 87 16/3/09 16:10:36
88
tamentos y establecimientos en que el programa despliega sus acciones) es parte insoslayable
y constitutiva de la gestin de la poltica educativa, es indudable que se trata de un factor que
relativiza los resultados de los estudios evaluativos. Si bien los programas estn organizados
conforme a una determinada teora del cambio, las caractersticas de las matrices instituciona-
les (diversas segn las jurisdicciones) mediatizan la relacin causal entre las acciones previstas
en un programa y los efectos esperados.
En la otra esfera, existe un conjunto de factores sobre los cuales los responsables de las evaluacio-
nes tienen mayor margen de gobernabilidad, y se trata de aquellos derivados del diseo mismo de
los estudios evaluativos:
1. Uno de los factores relativos al diseo alude a la composicin del equipo de evaluacin y la
dinmica de trabajo asumida con el equipo a cargo del programa. La conformacin del equipo
evaluador es un momento fundacional en el proceso evaluativo. Si bien algunos perfles bsi-
cos deben timonear la formulacin del estudio, los perfles deben defnirse conforme a los
requerimientos del diseo del proyecto y deben comprender perfles ms sustantivos (relativos
a la problemtica educativa de que se trate) y otros ms orientados a la gestin de polticas.
La capacidad comunicativa, de dilogo y problematizacin conjunta con los actores es una
competencia de fundamental importancia para garantizar un tratamiento virtuoso de la re-
lacin entre los resultados y las decisiones de los gestores. Esta competencia deber ponerse
en juego en reuniones y encuentros de trabajo con decisores/solicitantes de la evaluacin y en
entrevistas en detalle y conversaciones con actores vinculados con el programa; estos espacios
son tanto o ms importantes que los mismos informes que resultan del estudio.
2. El segundo factor se refere a cmo el diseo adoptado para el estudio puede captar las dife-
rencias conforme a estas mediaciones institucionales y los atributos de capacidad de los actores.
En contextos federales como el argentino resulta fundamental la posibilidad de recuperar los
estudios institucionales y de poltica educativa en el nivel provincial para generar informacin
que resulte adecuada a la diversidad de contextos de implementacin en que los programas se
despliegan.
3. Un tercer factor tiene que ver con la escala de los resultados. Si bien las posibilidades presu-
puestarias inciden considerablemente en estos casos, la representatividad de los datos debera
poder estar a escala de la intervencin (nacional, si el programa es nacional, o provincial, si
se corresponde con una iniciativa de esta jurisdiccin); esta decisin es central para construir
interlocucin y legitimidad frente a los interlocutores de la gestin.
4. Por ltimo, un factor que incide y es complementario de los anteriores tiene que ver con la natu-
raleza del diseo del estudio. Los estudios solo cuantitativos o cualitativos pueden perder o bien
potencial analtico o bien capacidad de reconstruccin de escala. Para dar cuenta de la compleji-
dad de los fenmenos bajo estudio se requiere una adecuada triangulacin de fuentes e integra-
cin de datos cuantitativos con la perspectiva de los actores y los registros documentales.
Se trata de una tarea compleja, que exige rigurosidad en las competencias especfcamente edu-
cativas, pertinencia metodolgica en los aspectos institucionales del diseo y capacidades de co-
municacin para el intercambio. Desde nuestra experiencia parece ser aunque difcil la mejor
apuesta aportar virtuosamente a informar desde la evaluacin la accin pblica.
La evaluacin de polticas y programas: desafos para la gestin en educacin
134027 _ 0001-0184.indd 88 16/3/09 16:10:36
89
Currculo y evaluacin estandarizada:
colaboracin o tensin
Elena Martn
INTRODUCCIN
En el primer captulo de este mismo libro, Alejandro Tiana apunta algunos de los principales
debates que se mantienen en el campo de la evaluacin. Uno de ellos es precisamente el de la rela-
cin entre las polticas curriculares y las polticas de evaluacin. Dicho en otros trminos, la re-
lacin entre el proceso de defnicin de las intenciones educativas y el proceso de comprobar en
qu medida estas intenciones se van alcanzando.
El objetivo de este captulo es profundizar en la naturaleza de esta relacin, presentando argu-
mentos que ayuden a desentraar si se trata de procesos que se potencian entre s; si, por el con-
trario, se corre el riesgo de que las evaluaciones estandarizadas del rendimiento acadmico de
los estudiantes interferan en las funciones del currculo; o si, como sucede en muchas ocasiones,
depende de cmo se pongan en cada caso en marcha ambos procesos.
Para realizar este anlisis, en el primer apartado se recuerda el papel que el currculo desempea
en la calidad de la enseanza y se apuntan las cuatro caractersticas que mayor relacin tienen, a
nuestro modo de ver, con las evaluaciones estandarizadas. A las funciones de estas evaluaciones
se dedica precisamente el segundo epgrafe. En el tercero se presentan los principales riesgos que
pueden derivarse de determinadas prcticas evaluadoras y, fnalmente, el captulo acaba propo-
niendo algunas medidas que ayudaran a que evaluacin y currculo constituyeran dos pilares de
la calidad educativa.
LA DEFINICIN DE LAS INTENCIONES EDUCATIVAS
La funcin del currculo es defnir las intenciones educativas que un sistema escolar tiene para
con su alumnado. Es decir, seleccionar, de entre todas las capacidades que un ser humano necesita
desarrollar para desenvolverse en su entorno como un ciudadano con plenos derechos y deberes,
aquellas que no estn aseguradas por otros contextos educativos y requieren, por tanto, de la in-
tervencin educativa intencional que supone la escuela. El currculo es, pues, un proyecto social
en la medida en que se propone contribuir a un tipo determinado de persona. Esto signifca entre
otras cosas que su defnicin no puede ser ajena a opciones ideolgicas y que variar en determi-
nados aspectos dependiendo del grupo social de referencia.
Acertar en la seleccin de lo imprescindible resulta, por otra parte, una tarea sumamente difcil,
ya que implica discernir aquellos aprendizajes propios de la educacin bsica obligatoria, sin los
cuales alguien se enfrenta al resto de su vida en inferioridad de condiciones. No se trata, pues, de
todo lo que desearamos que aprendieran nuestros jvenes, sino de lo que les pondra en riesgo
134027 _ 0001-0184.indd 89 16/3/09 16:10:36
de no conseguir apropiarse de ellos. Asumir esta diferencia entre lo bsico imprescindible y lo
bsico deseable (Coll y Martn, 2006a) representa ya una primera difcultad, a la que se aaden
otras muchas, como el rpido cambio del conocimiento, el peso de la tradicin o la diversidad de
concepciones sobre el valor de los distintos saberes.
La tercera caracterstica del currculo que nos interesa destacar, adems de su naturaleza social y
por ello ideolgica y su funcin de seleccin de lo esencial, es la difcultad que implica su desa-
rrollo al perseguir que todos los alumnos aprendan lo bsico comn y, a ser posible mucho ms, y
para ello prestar ayudas especfcas y diferenciadas que se ajusten a la diversidad de formas de ser
y de aprender de todos los estudiantes. Armonizar lo comn y lo diverso es difcil, pero tambin
imprescindible si se quiere que el currculo defnido llegue realmente a convertirse en aprendiza-
jes relevantes. El debate sobre las ventajas y desventajas de un currculo abierto, as como las que
se producen en torno a las decisiones de descentralizacin curricular, cobran sentido desde esta
perspectiva.
Finalmente, el aspecto que quiz ms relevante resulte desde el punto de vista de las relaciones en-
tre currculo y evaluacin estandarizada sea el hecho de que lo que se pretende ayudar a adquirir a
travs de la intervencin escolar son competencias, es decir, aprendizajes complejos, que adems
remiten a mbitos muy variados del desarrollo humano.
El nfasis actual en las competencias no se trata de un mero cambio terminolgico, aunque de
no apoyarlo convenientemente pudiera correrse el riesgo de acabar sindolo. Es cierto tambin
que no es una propuesta totalmente novedosa, ya que presenta claras afnidades con los modelos
centrados en capacidades. No obstante, supone un nfasis en determinados puntos nucleares del
aprendizaje que, de llevarse a la prctica, podran contribuir de forma muy notable a la mejora
de la enseanza. En concreto, conviene recordar los cuatro rasgos esenciales de la adquisicin de
una competencia.
El primero, su funcionalidad. Ser competente implica ser capaz de utilizar un conocimiento para
solucionar un problema. Los saberes inertes, que no sirven para actuar, no constituyen aprendi-
zajes signifcativos. La segunda caracterstica remite a la implicacin del conjunto de la persona
en esta movilizacin. Ser competente supone activar conjuntamente recursos cognitivos y emo-
cionales: hay que entender, pero hay que querer, hay que mantener el esfuerzo, hay que superar
la ansiedad de la incertidumbre y de los errores que forman parte de cualquier aprendizaje. La
integracin de varios elementos se manifesta tambin, como tercera caracterstica, en el uso con-
junto de tipos de contenido que es preciso coordinar para actuar de forma competente. Cualquier
problema relevante requiere conocimientos de tipo conceptual, pero tambin procedimientos y
desde luego formas de aproximarse al problema que remiten a determinados valores y actitudes.
El ltimo atributo de la competencia es su adecuacin al contexto, el uso funcional de los conoci-
mientos solo producir una actuacin competente en la medida en que responda a las demandas
especfcas del contexto. Se es ms competente cuanta mayor sea la variedad de contextos en los
que se acta con xito, pero no se aprenden competencias generales descontextualizadas, sino que
se desarrolla la capacidad de analizar lo especfco del contexto y ajustar la respuesta a ello. La
experiencia en muchos contextos va permitiendo ampliar el rango de actuacin y generalizar lo
aprendido.
La caracterizacin de lo que signifca una competencia ilustra con claridad la complejidad de su
naturaleza, que a su vez aumenta cuando se destaca el amplio rango en el que debe desarrollarse.
Currculo y evaluacin estandarizada: colaboracin o tensin
90
134027 _ 0001-0184.indd 90 16/3/09 16:10:36
91
Desde la acertada propuesta de los pilares del informe Dlors, no ha cesado de hacerse hincapi
en que las competencias remiten a campos que trascienden lo que ha venido siendo la tradicin
ms academicista. Sirva como ejemplo el nfasis que Cox (2008) hace en la difcultad de alcanzar
las capacidades de creatividad, innovacin y fexibilidad que el informe de la New Commission
on the Skills of the American Workforce de Estados Unidos, publicado en 2006, propone como
metas esenciales, si se contina con las polticas actuales.
En sntesis, el currculo en el que se plasman las intenciones educativas responde a una serie de
funciones: adecuarse a las demandas sociales propias del grupo social para el que se defne y a sus
opciones ideolgicas mayoritarias; seleccionar los aprendizajes bsicos imprescindibles; permitir
la atencin a la diversidad para garantizar que estos aprendizajes bsicos los adquieren todos los
alumnos, aunque ello exija distintos procesos de enseanza; contribuir al aprendizaje de compe-
tencias complejas y que cubran los diversos mbitos del desarrollo. Los procesos de evaluacin
estandarizada deberan corresponderse con estas caractersticas. A valorar en qu medida esto
sucede dedicaremos el tercer apartado, pero antes conviene recordar las funciones que por su
parte se atribuyen a la evaluacin del rendimiento acadmico.
EL PAPEL DE LAS PRUEBAS DE EVALUACIN ESTANDARIZADA
La funcin fundamental de este tipo de pruebas es comprobar si el sistema escolar est cum-
pliendo el encargo recogido en las intenciones educativas que se expresan en el currculo. Es
responsabilidad de las administraciones educativas, como instrumentos del Estado, garantizar el
derecho a una educacin de calidad de todos los estudiantes. Para supervisar el cumplimiento de
esta obligacin es preciso contar con instrumentos de evaluacin de los logros educativos, entre
los que se encuentran estas pruebas.
Esta funcin de comprobacin de los niveles de aprendizaje puede utilizarse con una fnalidad
diagnstica y formativa o puede ponerse al servicio para fnes de mayor impacto asociadas a pro-
cesos de acreditacin de los estudiantes o de las propias instituciones educativas.
Su carcter comn tiene, entre otros, el objetivo de que en esta comprobacin se preste espe-
cial atencin a la equidad de los resultados. Una vez superado el concepto de equidad como
mero acceso a un puesto escolar e incluso como la igualdad de oferta educativa, el indicador
ms adecuado es la igualdad de resultados. Es decir, que estos no estn asociados a determinadas
caractersticas del alumno, como gnero, etnia o nivel sociocultural. Las pruebas de evaluacin
estandarizada, cuando tienen en cuenta estas variables en sus anlisis, ilustran el nivel de equidad
de los sistemas educativos.
Algunos autores atribuyen tambin a las pruebas la capacidad de ayudar a que los docentes acuer-
den entre s el contenido esencial de sus evaluaciones y, en algunos casos, tambin la forma de
llevarlas a cabo. La enorme disparidad en las prcticas evaluativas de los docentes es un problema
comprobado empricamente (Grisay, 2002). Cuando los resultados de las evaluaciones estanda-
rizadas se hacen llegar a los centros adecuadamente, como explicaremos con ms detalle en el
ltimo apartado, pueden servir para suscitar interesantes discusiones sobre la forma de evaluar
en el aula.
Esas discusiones pueden llegar a que la revisin sea ms amplia y abarque el conjunto del currcu-
lo. Los datos de rendimiento de los alumnos sin duda ofrecen una informacin interesante sobre
Elena Martn
134027 _ 0001-0184.indd 91 16/3/09 16:10:36
92
los aprendizajes realizados por estos, en comparacin con los del resto de las instituciones, que
puede desencadenar procesos de innovacin curricular.
A estas funciones algunos autores aaden la de defnir el currculo. Por ejemplo, en el interesante
documento que PREAL ha publicado recientemente (Ravela, Arregui, Valverde, Wolfe, Ferrer,
Martnez Rico, Aylwin y Wolf, 2008) se recoge esta funcin:
El desarrollo de un sistema nacional de evaluacin estandarizada puede obligar a realizar una dis-
cusin informada sobre qu aspectos del currculo formal son exigibles a todos los estudiantes y a
defnir con claridad qu es lo que todos los estudiantes deberan haber aprendido al fnal de cada ciclo
educativo (p. 8. El nfasis en cursiva es nuestro).
En este mismo sentido se considera en muchos casos que las evaluaciones estandarizadas del
rendimiento acadmico no solo defnen lo bsico del currculo, sino que deben guiar el conjunto
de las polticas curriculares (Solomon, 2002). Ferrer y Arregui (2003) lo expresan as en otro de
los documentos editados por PREAL:
Este es tambin el momento de revisar el contexto de poltica curricular: en qu momento de implanta-
cin de los programas curriculares se encuentran el pas y sus regiones; cules son las difcultades que
evidencian las pruebas nacionales, los informes de supervisin regionales, las investigaciones acad-
micas y la prueba internacional misma para decidir qu tipo de mejoras (si no cules exactamente) se
pueden recomendar a las autoridades nacionales y subnacionales de educacin (p. 24).
Estas dos ltimas afrmaciones son, a nuestro juicio, las ms polmicas y por ello queremos anali-
zarlas en el siguiente apartado, junto con otros posibles riesgos de la evaluacin estandarizada.
LOS RIESGOS PARA EL CURRCULO DE LAS EVALUACIONES
ESTANDARIZADAS DE LOGRO
Es habitual encontrar en los textos que tratan este tema la idea de que el problema de la evalua-
cin estandarizada es, en todo caso, que no es un instrumento sufciente para garantizar todas las
funciones de control, rendicin de cuentas y mejora que se atribuyen a los procesos evaluativos.
Nosotros coincidimos sin duda en estas limitaciones y sealaremos las que se referen a la valo-
racin del cumplimiento de las funciones del currculo, pero nos atreveramos a afrmar que en
algunos casos la evaluacin estandarizada implica riesgos que no se reducen a omisiones, sino a
posibles errores tanto en el plano de las polticas de la administracin como del funcionamiento
de los centros.
Por lo que se refere a las ausencias, lo ms llamativo es la difcultad y, en algunos casos, imposibi-
lidad de evaluar determinadas competencias. Incluso los sistemas de evaluacin ms evoluciona-
dos, como pueden ser las pruebas de PISA, el TIMMS o las que realiza el LLECE, que se han ex-
puesto en la primera parte del libro, se limitan a evaluar algunos conocimientos de matemticas,
de ciencias de la naturaleza y de lengua habitualmente comprensin lectora. Esto supone una
gran limitacin desde la perspectiva de los mbitos del saber. Los aprendizajes vinculados con lo
artstico, lo social, lo emocional o lo moral estn prcticamente ausentes. Este reduccionismo a
menudo se refeja tambin en una primaca de los conocimientos conceptuales y, aunque en me-
nor medida, de los procedimientos frente a las actitudes y los valores.
Esta seleccin, que con acierto Martnez Rizo (2005) denomina muestreo de contenidos, a veces
se explica por razones tcnicas, pero el argumento de mayor peso remite ante todo a prioridades
Currculo y evaluacin estandarizada: colaboracin o tensin
134027 _ 0001-0184.indd 92 16/3/09 16:10:36
93
acadmicas que con demasiada frecuencia no son coherentes con lo que por su parte proclaman
los documentos internacionales de mayor calado sobre las competencias bsicas (OCDE, 2005;
Comisin Europea, 2004). La creatividad, la innovacin y la fexibilidad, que se citaban ms arri-
ba como capacidades esenciales para el mundo actual y futuro, no tienen una mayor vinculacin
con los conocimientos habitualmente evaluados que con el resto de los saberes.
Nadie sensato negara el carcter bsico del uso funcional de la lengua, tanto escrita como oral,
la capacidad de ordenar y representarse el mundo a partir de sus caractersticas matemticas, ni la
necesidad urgente de la alfabetizacin cientfca. El problema es que tambin cualquier persona
lcida compartira que es imprescindible ser capaz de enjuiciar la moralidad del comportamiento
propio y ajeno, de conmoverse con aquello que lo merece, de controlar la ansiedad que genera la
incertidumbre o de sentirse responsable del bienestar fsico y emocional de los que nos rodean
e incluso de aquellos a los que no conocemos personalmente. Sin embargo, estas competencias
apenas aparecen en las pruebas estandarizadas de evaluacin.
Incluso si pudiramos llegar a justifcarlo por la complejidad tcnica que supone evaluar estos
aprendizajes argumento que podra cuestionarse en algunos casos, no por ello hay que dejar de
indicar que las evaluaciones mandan desde este punto de vista un mensaje muy pernicioso acerca
de las intenciones educativas. Establecen un metanivel de lo bsico al seleccionar, de lo que ya
ha defnido el currculo como esencial, aquello que parece preocupar de verdad y que por ello se
evala para el conjunto del sistema.
No es fcil que este mensaje que tan ntidamente llega a los docentes quiera luego hacerse com-
patible con que el profesorado otorgue igual importancia al resto de los conocimientos defnidos
como igualmente bsicos. Puede lograrse, pero no es una forma de actuar que contribuya al cam-
bio radical que la seleccin del qu ensear necesita en este momento. Por el contrario, introduce
una tensin que pocas veces se resuelve con el adecuado equilibrio.
La evaluacin de competencias, por otra parte, exigira en sentido estricto que las pruebas in-
cluyeran algunos tipos de tareas que no es posible, al menos por el momento, llevar a cabo en
un modelo estandarizado. Si bien se est avanzando mucho con la incorporacin de preguntas
abiertas, de respuesta construida, todava estamos lejos de lo que un seguimiento continuado del
comportamiento de un alumno por parte de un docente puede informar acerca de su nivel de
competencia. Es cierto que las pruebas internacionales citadas, as como otras nacionales, mues-
tran una forma de evaluar competencias en s misma modlica, muy por encima del nivel medio
de los colegios e institutos, pero esto no signifca que estemos siendo capaces de realizar evalua-
ciones autnticas de todos los aprendizajes que remiten a las competencias bsicas, aumentando
con ello la invisibilidad de los conocimientos que no quedan recogidos en esas pruebas.
El carcter estandarizado de las evaluaciones plantea un segundo riesgo para el currculo: la di-
fcultad de ser coherentes con el nivel de diversidad al que deben dar respuesta las intenciones
educativas. La descentralizacin administrativa del currculo y la autonoma de las instituciones
escolares dos procesos relacionados, pero no idnticos, como seala Tiana en este mismo vo-
lumen se han mostrado potentes factores de calidad y, sin embargo, muchas veces entran en
contradiccin con la prioridad de lo comn que caracteriza a las evaluaciones estandarizadas.
Por otra parte, se trata no solo de la homogeneidad de contenido de los aprendizajes que se in-
cluyen en las pruebas, sino tambin de las formas de demostrar los aprendizajes. Como muchas
veces sucede, est claro que quienes resuelven las pruebas han aprendido; sin embargo, no lo est
Elena Martn
134027 _ 0001-0184.indd 93 16/3/09 16:10:36
94
tanto que muchos de los que tienen ciertas difcultades con ellas tengan niveles de competencia
tan bajos como los que se derivan de los resultados. Las pruebas refejan un determinado modelo
de cmo enfrentarse al conocimiento, el ms habitual. Este modelo es sin duda valioso, pero no
agota todas las formas de usar el conocimiento para resolver problemas. Esta disonancia se hace
ms notoria cuando se analizan los resultados de grupos de estudiantes pertenecientes a culturas
minoritarias.
La diversidad es no solo de estudiantes, sino tambin de escuelas. Los anlisis que se realizan
tomando el centro como unidad de calidad son especialmente interesantes, pero hay que tomar-
los con mucha prudencia. La autonoma curricular implica que las escuelas establecen priori-
dades en las intenciones educativas sin que ello tenga que hacer peligrar lo bsico. Pero adems
entre los distintos momentos de aplicacin de las evaluaciones se producen muchos cambios
que hacen difcil interpretar adecuadamente los niveles de rendimiento y, sobre todo, las causas
a las que podran atribuirse. Como sealan Linn, Baker y Betebenner (2002), es preciso tener
en cuenta la volatilidad de las escuelas: de un ao a otro cambian las cohortes de alumnos, la
plantilla de profesores, el equipo directivo, lo que hace muy difcil atribuir los resultados ni-
camente a las decisiones curriculares que el centro haya podido tomar. Cuando a esto se une una
mala poltica de difusin y apoyo a las escuelas en la interpretacin de los resultados, la imagen
que estas pueden hacerse no supone en la mayor parte de los casos un buen punto de partida
para los planes de mejora.
Finalmente, querramos abordar un problema de mayor calado, ya que se refere a una crti-
ca de carcter epistemolgico. Como hemos expuesto en detalle en otro lugar (Coll y Martn,
2006b), quiz la mayor debilidad del modelo que propone una relacin directa entre evaluacin
estandarizada y currculo sea el reduccionismo epistemolgico que, a nuestro juicio, comporta
el supuesto de que es posible remontarse sin mayor difcultad de las informaciones sobre los
resultados de rendimiento del alumnado a los factores que los explican, de que es posible reali-
zar inferencias sobre las causas del rendimiento directamente a partir de la medida del mismo.
Y lo que es an ms complejo y discutible, el supuesto de que las causas a las que se atribuyen los
resultados de rendimiento se sitan inequvocamente en el mbito del currculo. Actualmente
sabemos que el proceso mediante el cual las intenciones educativas establecidas en un currcu-
lo o en una relacin de estndares acaban concretndose en unas determinadas experiencias
docentes y de aprendizaje para el profesorado y el alumnado en los centros educativos y en las
aulas, y a travs de ellas en unos determinados niveles de rendimiento, es sumamente complejo
y que en l intervienen e inciden, orientndolo en uno u otro sentido, multitud de factores. In-
tentar recorrer y reconstruir, siquiera parcialmente, el proceso en sentido inverso con el fn de
identifcar y valorar los factores curriculares directamente implicados en el mismo es una tarea
ciertamente mucho ms compleja y cargada de incertidumbres de lo que sugiere una lectura
ingenua del esquema que estamos comentando. No es una tarea imposible, pero s costosa y
de resultados previsiblemente discutibles. El reduccionismo epistemolgico que impregna esa
racionalidad se manifesta de nuevo con claridad si atendemos a su vertiente ms propositiva y
proactiva, es decir, a la utilizacin de las informaciones sobre el rendimiento del alumnado con
el fn de tomar decisiones en el mbito del currculo. Incluso suponiendo que las precauciones
adoptadas nos permitan recorrer y reconstruir el proceso en sentido inverso, llegando as a for-
mular conjeturas razonables sobre la incidencia de los factores y procesos relativos al currculo
en los niveles de rendimiento observados, cmo podemos derivar lgicamente a partir de ellas
propuestas concretas de cambio curricular? Entre los resultados de las evaluaciones de rendi-
Currculo y evaluacin estandarizada: colaboracin o tensin
134027 _ 0001-0184.indd 94 16/3/09 16:10:36
95
miento, su interpretacin y su proyeccin en propuestas concretas de qu se debe modifcar en
el currculo, hay un salto epistemolgico que solo puede justifcarse recurriendo a elementos
ajenos en sentido estricto al esquema que estamos analizando. El elemento clave de los procesos
de toma de decisiones implicados en la conduccin de los cambios curriculares no son los resulta-
dos de las evaluaciones de rendimiento, sino el fltro interpretativo utilizado para derivar a partir
de ellos propuestas concretas de accin. Y el ingrediente principal de este fltro son precisamente
las intenciones educativas, de cuya consecucin el rendimiento evaluado es en defnitiva un indi-
cador, y que constituyen, como antes sealbamos, el referente ltimo para valorar la idoneidad
de un determinado currculo. En sntesis, las evaluaciones de rendimiento pueden proporcionar
y proporcionan informaciones sumamente tiles sobre el grado de consecucin de las intencio-
nes educativas, pero no seran la fuente de la que surgen estas intenciones ni tampoco el instru-
mento adecuado para su legitimacin.
Sera til hacer una revisin de las reformas curriculares que se han realizado en los pases de
Amrica Latina, en la que se analizara en qu medida las decisiones tomadas se han fundamen-
tado en resultados de evaluaciones de rendimiento. Cuando en nuestro caso llevamos a cabo
este estudio en las reformas curriculares espaolas ocurridas entre 1990 y 2005, no encontramos
ninguna conexin. Los cambios curriculares se basaban en opciones tericas de carcter pisco-
pedaggico y, ante todo, en posiciones ideolgicas que impregnaban tanto el currculo como el
conjunto de las reformas del sistema educativo. En un interesante trabajo que Ferrer (2004) llev
a cabo acerca de las reformas curriculares de Argentina, Chile, Colombia y Per, tambin seala
que la repercusin de los datos sobre rendimiento incide poco en la toma de decisiones de poltica
educativa. Sin embargo, su impacto en la innovacin en las escuelas parece ser mayor:
Es tambin en Chile donde los datos sobre resultados de aprendizaje parecen tener mayor impacto en
la toma de decisiones informadas para el diseo de polticas. Prueba de esto es el uso de los resultados
para la incorporacin de escuelas seleccionadas a ciertos programas focalizados, o para la asignacin
de incentivos institucionales y docentes. En Argentina, los datos no han sido utilizados mayormente
para la toma de decisiones, aunque s para el diseo de estudios de seguimiento a la implementacin
curricular. En Colombia, el uso de los resultados tampoco ha informado decisiones puntuales de pol-
tica, aunque las autoridades del sector se referen a ellos frecuentemente para fundamentar sus opinio-
nes y juicios sobre la calidad y necesidades del sistema.
El uso de los resultados para fnes pedaggicos parece ser ms extendido que el uso como herramienta
de responsabilizacin poltica o escolar. Todos los pases realizan algn tipo de devolucin de los re-
sultados que involucra el anlisis de algunos tems tomados de las pruebas, y luego presentan una serie
de recomendaciones pedaggicas para solucionar los problemas ms crticos. En los casos de Chile y
Bogot, donde las pruebas son censales, los resultados se devuelven a todas las escuelas, y docentes
y directores pueden ver cules son algunos de los contenidos en que sus propios alumnos tuvieron
mayor difcultad, y as tomar medidas remediales (p. 172).
Todos los datos apuntan a que las evaluaciones estandarizadas de rendimiento por s solas no
garantizan una mejora del diseo ni del desarrollo curricular. Sin embargo, cuando se ponen en
marcha determinadas medidas, los resultados sobre el rendimiento de los estudiantes pueden ser
un potente instrumento de cambio. En el ltimo apartado de este captulo analizaremos cules
son las actuaciones de las que, a nuestro juicio, dependen que evaluacin y currculo se poten-
cien mutuamente. Destacaremos nicamente las que consideramos ms relevantes de entre las
muchas que se han venido sealando en la bibliografa ms reciente (ver, por ejemplo, Ravela y
otros, 2008).
Elena Martn
134027 _ 0001-0184.indd 95 16/3/09 16:10:36
LA COLABORACIN ENTRE CURRCULO Y EVALUACIN
Si la propuesta que se ha defendido en el apartado anterior se considera acertada, sera lgico
admitir tambin que, para que los resultados de la evaluacin puedan provocar mejoras curricu-
lares, es preciso llevar a cabo procesos de interpretacin cuyo acierto depender en gran medida
del nivel de conocimiento que quienes realizan la interpretacin tengan de los mltiples factores
que pueden estar de hecho mediando entre las intenciones educativas defnidas y el desarrollo
curricular real. Esta condicin se cumple con mucha ms facilidad cuando el anlisis de los re-
sultados se lleva a cabo en el nivel del centro que cuando se hace para el conjunto del sistema
educativo. La escuela se convierte as en la unidad clave para esta conexin. Por otra parte, esto
puede ayudar a resolver la tensin entre el carcter necesariamente comn de las pruebas estan-
darizadas y las diferencias que la autonoma curricular produce de hecho en los aprendizajes de
las distintas escuelas.
Resulta fundamental, por lo tanto, hacer llegar a cada escuela los datos de la forma ms adecuada.
Es decir, lo antes posible, presentando los resultados con claridad y ofreciendo las comparaciones
pertinentes, apoyando con expertos y ofreciendo la colaboracin que sea necesaria por parte de
la Administracin para apoyar los cambios que se propongan.
En el interesante trabajo que Benveniste (2002) realiz analizando el caso de Uruguay se destaca
que el positivo impacto que las evaluaciones de rendimiento tuvieron sobre la educacin de este
pas se debi, entre otras cosas, al sentimiento de confanza logrado por la unidad de evaluacin
responsable de las evaluaciones entre los cuadros de maestros que, en opinin de este autor, poda
ser atribuido a cuatro factores:
1. Estricta confdencialidad de los resultados de las pruebas.
2. Rpida devolucin de los resultados de las pruebas a las autoridades de las escuelas.
3. Contextualizacin de los puntajes de las pruebas segn la situacin sociocultural.
4. Abstencin de responsabilizar directamente a los maestros por los logros acadmicos.
En el trabajo con los centros debera incluirse tambin a las familias. La opinin de los padres so-
bre las pruebas de evaluacin es fundamental, y no siempre es fcil transmitir a la opinin pblica
los resultados de estos procesos. La interpretacin que los docentes pueden ayudar a hacer a las
familias puede resultar muy til para ir creando una cultura de la evaluacin, adems obviamente
de para ayudarles a conocer con rigor la situacin en la que se encuentra su hijo y el resto del
alumnado de la escuela.
Por otra parte, es conveniente recordar que quienes disean y desarrollan en ltimo trmino el
currculo son los docentes. Ellos son, pues, la pieza clave en la interpretacin de los resultados de
la evaluacin y la elaboracin y desarrollo de los planes de mejora curricular. La formacin del
profesorado, centrada en este caso en el anlisis de los resultados de las pruebas de evaluacin, re-
sulta una pieza clave. En el caso de Uruguay se organizaron seminarios largos de dos y tres meses,
que ayudaron al trabajo interno de cada escuela.
El trabajo de los docentes est mediado, adems de por la formacin, por los materiales curricu-
lares, que se convierten as en un factor determinante en la gestin del cambio. Pocos docentes
acceden al currculo leyendo directamente las normas y tambin son escasos los que elaboran sus
Currculo y evaluacin estandarizada: colaboracin o tensin
96
134027 _ 0001-0184.indd 96 16/3/09 16:10:36
97
propios materiales didcticos. Los libros de texto y los materiales curriculares en general, en los
distintos soportes en los que en este momento se presentan, desempean un papel fundamental,
sobre todo si se utilizan en el marco de acciones de formacin inicial y en servicio.
Schmidt y Prawatt (2006) realizaron un estudio en 37 pases en el que comprobaron que los libros
de texto eran el factor que ms correlacionaba con la coherencia y consistencia del currculo,
ejerciendo una infuencia mucho mayor que el control administrativo centralizado.
El trabajo ms directo con las escuelas y los profesores es el medio ms potente para generar la
discusin sobre el currculo que, en su caso, pudiera llevar a cambios en las intenciones educa-
tivas. No obstante, hay que ser realistas y ajustar las expectativas. Como Goh, Cousins y Elliot
(2006) sealan en su artculo, apenas hay cultura de utilizar los datos de evaluacin entre los
equipos de las instituciones docentes. Por ello, las administraciones deberan planifcar de forma
meticulosa estas actuaciones y mantener el apoyo de forma constante.
Por otra parte, es importante coordinar estos procesos de refexin con otros foros de debate ms
amplios en que puedan participar expertos as como las propias administraciones. En la revisin
que Ferrer y Arregui (2003) realizaron sobre el impacto de las evaluaciones internacionales en
Amrica Latina se seala que debe aprovecharse el momento en que se entregan los resultados
de las pruebas para generar discurso innovador y para convocar foros de interpretacin en los
distintos niveles del sistema educativo.
No obstante, a nuestro juicio, las actuaciones que se han sealado hasta aqu deben completarse
con otras ms estructurales y duraderas. Probablemente, una de las mejores formas para pro-
mover la colaboracin entre currculo y evaluacin estandarizada del rendimiento acadmico es
contar con instituciones nacionales que se dediquen a ambos temas y que trabajen en absoluta
coordinacin. La existencia de centros de desarrollo curricular y de institutos de evaluacin es
imprescindible para la calidad de la enseanza, pero la clave reside en su trabajo conjunto. Las
pruebas deben ser realizadas por expertos en currculo y estos deben analizar posteriormente los
resultados para analizar las consecuencias de los resultados. El reciente documento de PREAL
sobre las evaluaciones que Amrica Latina necesita (Ravela y otros, 2008) seala precisamente
esta medida como una de las necesarias.
Cuando se dan la mayora de estas condiciones, se comprueba que los resultados de las evaluacio-
nes de rendimiento ayudan a la mejora del currculo y de la calidad de la educacin en general.
La opinin de uno de los docentes entrevistados en el trabajo de Benveniste (2000) sobre el caso
de Uruguay refeja la idea que, a nuestro modo de ver, es la ms importante: que la difusin de los
resultados de la evaluacin sirva para abrir caminos:
Esta evaluacin masiva en nuestro aprendizaje ha permitido ofrecer [], a nivel del sistema educa-
tivo, algunas herramientas que permitieran corregir en parte esta situacin de bajo rendimiento de
los nios mediante algn sistema de actualizacin de los docentes y proponiendo algunas estrategias
tiles, sobre todo a nivel de psicologa, de lengua y matemticas. Yo creo que, desde este punto de
vista, tuvo una funcin formativa muy importante a nivel del pas. Permiti que muchos docentes se
conectaran [con sus alumnos] porque muchos saban que las cosas estaban mal, pero no estaba muy
clara la explicacin del porqu. Sirvi para buscar caminos (Entrevista UGN10, p. 21. El nfasis en
cursiva es nuestro).
Elena Martn
134027 _ 0001-0184.indd 97 16/3/09 16:10:36
134027 _ 0001-0184.indd 98 16/3/09 16:10:36
99
La evaluacin de centros: riesgos
y posibilidades
Leda Badilla
INTRODUCCIN
Como se ha sealado en la introduccin del libro, uno de los problemas en el campo de la eva-
luacin educativa es la poca atencin que se ha puesto a la evaluacin de los centros escolares
contrastada con otros mbitos, como son los logros del aprendizaje. Es en el centro educativo
donde convergen funciones evaluativas relacionadas con logros acadmicos, pero tambin
con las familias, los docentes, los estudiantes, la evaluacin misma y el sistema educativo en
general.
Evaluar el centro educativo de una manera ms integrada responde a una mejor forma de com-
prender la organizacin escolar pero, sobre todo, a mejorar los procesos que ocurren dentro
y fuera de l. El objetivo del captulo es analizar los antecedentes y los supuestos tericos en los
que se fundamenta este tipo de evaluacin, presentar algunos modelos de evaluacin de centros que
ilustran estos principios y destacar las difcultades que podran explicar la escasa presencia de la
evaluacin de centros y algunas sugerencias para superarlas.
ANTECEDENTES
Desde los aos cincuenta, la corriente educativa asociada a la igualdad de oportunidades trajo
consigo una serie de informes que alertaron sobre el fracaso escolar y las desigualdades educati-
vas de origen social y econmico
1
.
En los aos sesenta prevaleci la lgica del desarrollo expansionista que agreg poco anlisis
a la relacin existente entre polticas educativas, acciones y resultados. Posteriormente se hizo
evidente que, a pesar de la extensin de la cobertura, el fracaso escolar persista. La atencin se
dirigi entonces a comprender las fnalidades del centro escolar y cmo este es afectado por dife-
rentes factores. El Informe Coleman (Coleman et al., 1966) concluy que el contexto familiar est
fuertemente relacionado con el resultado acadmico de los estudiantes, lo que se explicaba en ese
momento por la herencia cultural, el nivel educativo de los padres y sus expectativas educativas y,
por otro, por la escasa relacin entre los recursos disponibles en el centro y el rendimiento de los
estudiantes. Diez aos ms tarde, Coleman volvi a analizar sus datos, considerando otros estu-
dios, y afrm que los efectos de la escuela en los estudiantes eran ms importantes que lo seala-
1
En los aos cincuenta, el informe Abandono temprano y el Informe Crowter. En los aos sesenta,
los informes Gilly en Francia, Coleman en Estados Unidos de Norteamrica, as como los estudios de
Roeder y colaboradores en Alemania.
134027 _ 0001-0184.indd 99 16/3/09 16:10:36
do por l mismo diez aos antes (Casassus, 2003). Las reacciones ante los resultados expresados
en el informe no se hicieron esperar: se gener ms investigacin para profundizar y determinar
el papel de la escuela en el rendimiento de los estudiantes, as como nuevas propuestas de inves-
tigacin e intervencin.
En 1983 se public el informe Una nacin en riesgo, que critic el desempeo de la educacin
norteamericana, lo que provoc un giro en la poltica educativa de ese pas orientndola hacia la
calidad, nocin que reemplaz los temas igualdad y democracia, que inspiraron muchos de
los estudios de las dos dcadas anteriores.
La calidad de la educacin se puso sobre el tapete en las polticas educativas de la mayora de los
pases y se vincul a diferentes componentes de la educacin, como el currculo, los docentes, la
gestin escolar y la supervisin, entre otros.
La evaluacin de los centros educativos tambin se abord desde la lgica organizativa; por ello,
algunos modelos desarrollados en las ltimas dcadas se ubican como paradigmas organizativos.
Tal es el caso del modelo de las escuelas efcaces, el cultural-pluralista o los modelos para la cali-
dad, entre otros (Martn-Moreno, 2007).
El movimiento Mejora de la efcacia escolar
Este movimiento surge como una de las nuevas propuestas que introduce variables de proceso
atribuidas a la institucin escolar e identifca factores de efcacia y calidad de la educacin. Se
caracteriza porque rene dos tendencias: una vinculada a la efcacia escolar, y otra a la mejora de
la escuela. Aunque sus enfoques tericos y metodolgicos son diferentes, ambas colaboran para
que los centros mejoren (Muoz-Repiso et al., 2000). Esta aproximacin es una forma de com-
prender los datos evaluativos articulndolos a elementos tericos. De este modo se abandona la
idea de que los aspectos socioculturales o intelectuales seran los que expliquen linealmente el
fracaso de los estudiantes. Los estudios de escuelas efcaces se ocupan de cuestiones sustantivas,
como la investigacin emprica, los procesos de cambio educativo y organizativo, la efcacia de
programas especfcos, las prcticas evaluativas, la participacin de la direccin, la autonoma y el
trabajo docente, entre otros (Bez, 1994).
Los estudios de efcacia escolar (Muoz-Repiso et al., 2000):
Consideran una visin sistmica del centro.
Incluyen cuatro niveles de anlisis: estudiantes (aptitudes, habilidades, perseverancia, calidad
de la docencia), aula (calidad de la docencia, incentivos y tiempo de dedicacin), escuela (me-
tas signifcativas compartidas, funcionamiento acadmico diario, coordinaciones entre par-
ticipantes, organizacin para el aprendizaje) y contexto (comunidad local, administraciones
regional y central).
Trabajan con hiptesis y resultados empricos.
Utilizan la investigacin previa de forma fexible para defnir nuevos temas de investigacin, y
orientan la intervencin.
Emplean el modelo CIPP (contexto, entrada, proceso y producto) con algunas variaciones.
La evaluacin de centros: riesgos y posibilidades
100
134027 _ 0001-0184.indd 100 16/3/09 16:10:36
101
El movimiento sobre mejora de la escuela despeg con la utilizacin de nuevos materiales di-
dcticos (dcada de los sesenta), posteriormente incursion en la intervencin en las prcticas
educativas y, por ltimo, se identifca como la gestin del cambio.
Los estudios de efcacia escolar, por su parte, dan especial importancia al clima del centro educati-
vo como agente decisivo, ya que determina el comportamiento de otros factores como las tasas de
xito, la repeticin y la satisfaccin global. Entre los factores de efcacia se mencionan el liderazgo
profesional, los objetivos compartidos, el clima positivo de trabajo, el refuerzo positivo a los estu-
diantes, la calidad del proceso enseanza-aprendizaje que se lleva a cabo en el aula.
Afortunadamente, ambos enfoques escuelas efcaces y mejora de la escuela han convergido en
un modelo conjunto Modelo de mejora de la efcacia escolar (Muoz-Repiso et al., 2000),
en el que se identifcan siete elementos que se relacionan con el xito de los programas de mejora.
Ellos son la cultura escolar, el papel de la direccin, la organizacin escolar, la planifcacin, los
procesos de enseanza-aprendizaje, el estmulo externo y las experiencias previas.
Otras experiencias
Se esperara que la evaluacin de centros fuera una prctica comn, con algn grado de sistema-
tizacin, pero por lo general no es as. Si bien existen proyectos educativos en los que se incluyen
centros con determinadas caractersticas, no constituyen evaluaciones propiamente dichas. Las
tendencias a poner en prctica ciertos proyectos o iniciativas surgen cada cierto tiempo. En la
mayora de los pases de la regin, los temas de estos proyectos se designan con expresiones como
Escuelas de calidad, Escuelas prioritarias, Escuelas lderes, Colegios Bandera Azul, entre
otras. Me referir a tres experiencias que estn documentadas.
Una de ellas la presenta el Laboratorio Latinoamericano de Evaluacin de la Calidad de la Edu-
cacin (UNESCO, 2002); se trata de un estudio cualitativo realizado en establecimientos de siete
pases de la regin
2
, escogidos por sus resultados destacables, especfcamente en matemtica, en
el Primer Estudio Regional Comparativo. El califcativo de destacables se aplica a esas escuelas
porque el rendimiento de sus estudiantes estuvo por encima de lo que se esperara dado el nivel
educativo de sus padres. El desempeo positivo de estas escuelas, a pesar de las condiciones de
adversidad en que se insertan, se atribuye principalmente a dos factores: la gestin escolar y la
prctica pedaggica en el aula. En el primer caso, se considera el ambiente de aprendizaje, el pa-
pel de alumnos y padres, la organizacin escolar para la gestin, el establecimiento de relaciones
emocionales positivas, normas para la convivencia social, la estabilidad laboral y capacidad de
liderazgo tanto de directores como de docentes y la efcacia en la organizacin, entre otros. En lo
referente a la prctica pedaggica del aula, estas escuelas han mostrado innovacin en las estrate-
gias y principios para promover el aprendizaje; el espacio es un recurso que se utiliza de diversas
formas, no hay una perspectiva pedaggica nica; el educador se muestra como orientador; los
mtodos didcticos son muy variados; se utilizan tecnologas de la informacin; existe preocupa-
cin por el desarrollo integral de los estudiantes entre otros.
Otro proyecto tuvo lugar en Argentina, donde se desarroll una experiencia evaluativa en algunas
jurisdicciones de la ciudad de Buenos Aires (Rodrguez y Puiggrs, 2002). Su propsito fue mejo-
2
Los pases participantes fueron: Argentina, Bolivia, Chile, Colombia, Costa Rica, Cuba y Venezuela.
Leda Badilla
134027 _ 0001-0184.indd 101 16/3/09 16:10:36
102
rar los aprendizajes por medio de vnculos democrticos al interior de las prcticas pedaggicas.
En este caso, el equipo docente asumi una responsabilidad central, en el sentido de defnir los
aspectos que tomara en cuenta la evaluacin, as como el anlisis de la informacin y las lneas de
accin que se deban seguir una vez conocidos los resultados. Los aspectos se referen a procesos
de aprendizaje sistemtico y no sistemtico, el clima institucional, los recursos materiales y la
atencin a diversas problemticas sociales. Los resultados se vincularon, a su vez, a un proyecto
permanente de capacitacin, as como a acuerdos interinstitucionales y de participacin no tradi-
cional de las familias en la escuela. Tambin se puso en prctica un mapa curricular consensuado;
se hizo visible lo que se ensea y lo que se evala, as como la necesidad de contar con espacios
institucionales para defnir acuerdos de trabajo y la puesta en prctica de una variedad de climas
de trabajo y organizacin, entre otros.
La tercera experiencia la constituye el programa Escuelas de Calidad puesto en prctica en Mxi-
co. La evaluacin externa realizada a los centros de educacin preescolar que participaron en
dicho programa entre 2003 y 2006 muestra que esos centros elaboraron estrategias de mejora y
perfeccionamiento en sus planes de transformacin escolar. En esas escuelas se atiende a las fami-
lias de escasos recursos econmicos; se fortalece la gestin; se pone en prctica el liderazgo de las
directoras de los centros; se crean condiciones para el trabajo colegiado; se abren las instituciones
a la comunidad, adems de que los resultados de la evaluacin externa se hacen pblicos (Myers
et al., 2006).
SUPUESTOS TERICOS DE LA EVALUACIN DE CENTROS
El enfoque de evaluacin de centros que, a nuestro juicio, resulta ms interesante es el que entien-
de que la prctica evaluativa no puede centrarse solo en el estudiante. Llegar al juicio evaluativo
requiere, entre otras tareas, reconocer la posicin de los sujetos que participan, las individualida-
des y contingencias en relacin con alguna situacin que les involucra en el propio centro y en su
contexto cercano. Este juicio refexivo (iek, 1998) induce a pensamientos ms profundos sobre
los hechos de la vida cotidiana y la naturaleza de las cosas. Por su parte, los centros escolares se
caracterizan por la evaluacin de lo particular (Simons, 1999). Lo particular se establece como
la bsqueda del sentido del razonamiento prctico, que no es algo que se aprende primero de la
teora y luego en la prctica individual, sino que se confronta con una necesidad, lo que nos per-
mite construir ese juicio informado (Carr, 1996) deseable cuando nos encontramos frente a una
evaluacin seria.
Partimos de la realidad de que las transformaciones escolares no se efectan aisladamente, sino
que se relacionan con otras, situadas en contextos diversos que de una u otra forma convergen en
la vida del centro. El centro escolar lo concebimos como la unidad donde es posible el cambio.
Por ello la evaluacin no la podemos asumir si no es articulada a los docentes, a la cotidianidad
del aula, a los estudiantes, a los padres y madres y a los equipos docentes. El propsito que funda-
menta este enfoque de evaluacin es formativo, es decir, de mejoramiento.
Fundamentada en la larga trayectoria de evaluar centros escolares, Simons (1999) concluye que
es la escuela, y no el aula, la unidad principal de cambio, es a ella a la que se dirigen los esfuerzos
de desarrollo. Del mismo modo para Estefana y Lpez (2003) es a nivel de centro educativo
donde tiene sentido hablar de implicacin personal [...], de unidad bsica de cambio o del reto de
pequeas innovaciones como referencias para un cambio ms global (p. 17).
La evaluacin de centros: riesgos y posibilidades
134027 _ 0001-0184.indd 102 16/3/09 16:10:36
103
El centro se evala con el propsito de producir informacin que sea pertinente y particular, por
un lado, para formular propuestas que mejoren la capacidad formativa de este y, por otro, para
alimentar las polticas educativas, ya que
se va confgurando como uno de los pilares bsicos de la evaluacin del propio sistema, y seguramen-
te como el aspecto fundamental del mismo, por la infuencia que tiene sobre el resto de los aspectos
que confguran e interactan conjuntamente (Estefana y Lpez, 2003, p. 43).
Cada centro va construyendo una identidad propia que lo distingue de otros centros, segn las
circunstancias en las que se desempee y las reas curriculares o extracurriculares que lo carac-
tericen.
La metodologa y las tcnicas para evaluar los centros suelen ser ms amplias, adaptables y fexi-
bles, comparadas con los modelos clsicos de corte cuantitativista, debido al contexto cultural de
procedencia de los diferentes participantes.
La utilizacin de diferentes tcnicas de investigacin (cualitativas o cuantitativa o ambas) ha sig-
nifcado, para sus respectivos defensores, algunas crticas. Se contina fortaleciendo los aspectos
tcnicos, no as los tericos o metodolgicos
3
, lo que podra constituirse en un riesgo, ya que con
frecuencia las tcnicas se vinculan ms a las conclusiones de los estudios, en lugar de integrarse
con los conceptos, escenarios y creencias. Se recomienda mejorar las tcnicas de recoleccin de
datos, as como asegurar ms validez (House, 1999).
Buscamos centros competentes?
En la actualidad, las tendencias en la evaluacin educativa se dirigen a las competencias, entendi-
das estas como la actuacin efcaz en situaciones determinadas, que se apoyan en los conocimien-
tos adquiridos y en otros recursos cognitivos (Condemarn y Medina, 2000).
La competencia bien entendida no es solo que las personas se apropien de la informacin, la
procesen y la logren aplicar, sino que integren valores sociales, habilidades interpersonales y acti-
tudes. Adems se requiere que dicha integracin se movilice para enfrentar situaciones complejas
que presentan analogas en su estructura (Perrenoud, 1999) y el contexto en el cual la competen-
cia se materializa (de Macedo, 2002). Si lo que prima es la efciencia tcnica, la estandarizacin o
el funcionamiento, estaramos frente a procesos que no son las competencias bien entendidas.
Aceptamos una evaluacin por competencias que se base en juicios refexivos porque, como ya se
ha sealado, estos permiten la articulacin de la prctica educativa con sus determinantes y con
los estados contingentes. La evaluacin por competencias contextualiza, lo que no signifca que
evaluar competencias sea un asunto sencillo. Son los diferentes actores de la comunidad educati-
va quienes con sus prcticas, problemas o expectativas sugieren si efectivamente las competencias
de los profesionales que conducen los procesos de la educacin cuentan con las competencias que
permitan valorar la diversidad de desempeos esperados.
3
Desde mi prctica evaluativa, considero la nocin de pluralismo cognitivo y eclecticismo (Alonso, 1998).
El primero valora crticamente la diversidad terica, ya que no todas las teoras ni todos los mtodos son
utilizables en general, sino que cada teora y cada metodologa se adeca a los conocimientos de las rea-
lidades sociales, desde donde los investigadores nos posicionamos. Mientras que desde el eclecticismo
se aaden elementos tericos dispersos e inconexos para tratar de explicar una realidad social.
Leda Badilla
134027 _ 0001-0184.indd 103 16/3/09 16:10:36
104
Qu hace el centro educativo como unidad frente a las condiciones de adversidad social a las que
se ven sometidos nios y jvenes? Cmo abordan sus problemas socioeducativos si es que efec-
tivamente se abordan? Qu tipo de competencias requiere un centro en un contexto dado? Es
esa puesta en prctica de una serie de competencias la que nos permite evaluar las producciones
y aportaciones de la proyeccin profesional docente.
La evaluacin del centro, entonces, conduce a identifcar problemas que se dimensionan, en tr-
minos de las percepciones y motivaciones de los diferentes actores en este proceso, desde un
nosotros y no desde un aquellos, desde las diferentes temporalidades
4
.
El proceso evaluativo es complejo desde el momento en que se aborde dentro de una perspectiva
humano-social. Diferentes actores educativos interactan con el centro desde sus identidades,
concepciones de mundo, valores, problemas y condicin socioeconmica. En consecuencia, la
unidad centro educativo se construye permanentemente.
Un centro competente es aquel que:
Conoce las particularidades que pueden estar afectando el aprendizaje de sus estudiantes.
Logra difundir y poner en prctica un proyecto educativo consensuado y evaluable.
Toma conciencia, acepta y acta de acuerdo con la variabilidad de las relaciones personales.
Adeca el currculo ofcial a las condiciones especfcas del centro: contexto socioeconmico y
cultural, caractersticas particulares de estudiantes, docentes, padres, madres, padres, munici-
palidades, entre otros.
Logra que sus miembros participen en actividades especfcas cuyos resultados siempre sean de
mejora y alcanzables.
Logra que la autoridad se practique de formas mltiples y democrticas.
Conoce y respeta los procesos de comunicacin y coordinacin.
Maneja la incertidumbre y las contingencias.
Tiene capacidad para identifcar confictos y buscar soluciones.
Logra apertura hacia el entorno y viceversa.
Hace atractivo y adecuado el espacio fsico.
Respeta la diversidad sociocultural de estudiantes, sus familias y los docentes.
Llegar a construir un centro competente requiere de acciones evaluativas internas, externas o
ambas, y un acompaamiento profesional.
4
Ardoino (2000) destaca la presencia de las metforas de la observacin (inspeccin) y del espacio (pa-
nptica) en las prcticas evaluadoras controladoras, ms que la escucha y, por consiguiente, el tempo,
este ltimo en trminos de procesos no acabados.
La evaluacin de centros: riesgos y posibilidades
134027 _ 0001-0184.indd 104 16/3/09 16:10:37
105
Evaluacin interna y evaluacin externa
Tanto la evaluacin interna como la externa cuentan con mtodos y procedimientos propios, que
responden a sus propsitos. Lo importante de destacar es que ambas modalidades se articulan
entre s cuando las instituciones optan por realizar dos tipos de evaluacin. La mayora de los
pases europeos han incorporado de manera sistemtica ambas modalidades en los centros de
enseanza obligatoria (Eurydice, 2004).
La evaluacin externa puede conducirla un solo evaluador, como generalista, o bien varios eva-
luadores. Puede responder a objetivos de supervisin de normativas o bien al desarrollo de la
calidad escolar. En la evaluacin interna, el centro se evala l mismo desde sus docentes, direc-
cin, estudiantes, familias, juntas escolares. Esta participacin asegura los procesos de mejora,
porque los mismos actores identifcan los problemas, lo que los compromete tambin en las
soluciones.
Los contenidos de las evaluaciones se vinculan de uno u otro modo a los alumnos, los docentes,
las responsabilidades que asumen los centros, la gestin y la administracin, el funcionamiento
global de la institucin y los resultados de los estudiantes.
Las dos perspectivas evaluativas pueden desarrollarse de forma paralela; a veces los temas por
evaluar son los mismos.
La evaluacin interna es un proceso refexivo que permite a la institucin autorreconocerse en sus
fortalezas y debilidades y proceder a subsanar estas ltimas casi de forma inmediata. Es necesario
reconocer que cada evaluacin interna es nica. Por su parte, la evaluacin externa la llevan a cabo
especialistas, es ms imparcial. Ambas modalidades cuentan con procedimientos e instrumentos
propios, no excluyentes. Otra modalidad derivada de las dos anteriores es la semiexterna, que se
lleva a cabo desde el mismo centro, pero con la participacin de especialistas externos (Estefana
y Lpez, 2003). Lo que s est claro es que una escuela necesita cierto grado de autonoma para
ejercer su responsabilidad profesional y perfeccionarse desde dentro (Simons, 1999, p. 240).
Elementos que constituyen la evaluacin integral de centros
La tendencia generalizada de contar con una serie de indicadores suele perder de vista las especi-
fcidades y particularidades a las que hiciera referencia en las secciones precedentes. En todo caso,
los indicadores deben ser consistentes con el enfoque metodolgico que orienta la evaluacin,
que a su vez es coherente con la teora pedaggico-educativa que sirve de sustrato al objeto de la
evaluacin.
El anlisis global inicial de una evaluacin y su consecuente apertura hacia la realidad nos com-
promete con las preguntas por qu se va a evaluar este centro?, para qu evaluarlo?, a quin van
dirigidos los resultados de la evaluacin?, cules son las posibles consecuencias? Los elementos
ms comunes sobre los que trabaja la evaluacin de centros son los siguientes:
Estudiantes
Caractersticas y condiciones socioeconmicas.
Contexto socioafectivo.
Leda Badilla
134027 _ 0001-0184.indd 105 16/3/09 16:10:37
106
Habilidades para el aprendizaje.
Habilidades en diferentes reas curriculares.
Docentes
Clima de trabajo.
Relacin con estudiantes y familias.
Atencin a la diversidad.
Procesos
Del centro, que se articulan a diferentes actores.
Del aula.
Familia
Valoracin de la gestin del centro.
Vinculacin a docentes.
Contexto sociocultural.
Participacin e interaccin con el centro.
Las fuentes de informacin ms relevantes para la evaluacin externa o interna son:
Informes anteriores de los que disponga el centro.
Estudiantes.
Docentes.
Padres y madres.
Director del centro.
Planes de estudios.
Las fuentes por s solas no brindaran ms que informacin. Lo que interesa es pasar a mejores
elaboraciones analticas y, consecuentemente, a mejores valoraciones refexivas. Un plan de eva-
luacin plantea requisitos como son la formacin de equipos, la elaboracin de materiales, la sen-
sibilizacin sobre la cultura evaluadora tanto a nivel administrativo como en los propios centros.
Cabe aqu replantear las funciones que tradicionalmente ha desempeado la supervisin escolar
y considerarla dentro de este plan de mejora (Estefana y Lpez, 2003).
Quines juzgan el quehacer del centro?
Diferentes actores involucrados en la prctica educativa, conjuntamente con los evaluadores, tie-
nen derecho a participar en la construccin de juicios refexivos sobre el desempeo del centro.
La evaluacin de centros: riesgos y posibilidades
134027 _ 0001-0184.indd 106 16/3/09 16:10:37
107
Es claro que los docentes constituyen un grupo fuerte para juzgar lo que el centro hace; tambin
es cierto que los juicios sern ms consistentes y equitativos en la medida en la que participen
diferentes interesados. La evaluacin interna la llevarn a cabo los mismos centros educativos
con un comit coordinador del proceso. Es importante que participen diferentes representan-
tes de la comunidad educativa, que estn vinculados al centro o tengan algn tipo de cercana.
Para ello contarn con apoyo de la administracin de la educacin en sus rganos asesores o
normativos.
La evaluacin externa la conducirn las respectivas supervisiones educativas, conjuntamente
con las direcciones especializadas del nivel central o regional y diferentes representantes de la
comunidad educativa, como pueden ser padres y madres de familia u otros rganos especiali-
zados.
Otra modalidad interesante de evaluacin de centros la constituye el programa padres y docen-
tes (PTA), que funciona en algunos estados norteamericanos. En l se involucra a la escuela con
los padres y la familia bajo seis criterios: la estrecha comunicacin entre la escuela y los padres, y
estos y la escuela; el desarrollo de habilidades de apoyo en la labor de ser padres; la participacin
directa en el aprendizaje de sus hijos; el voluntariado de los padres en la escuela; la plena partici-
pacin de los padres (voz y voto) en las decisiones que afectan a los nios y las familias, as como
la utilizacin de los recursos comunitarios para fortalecer escuelas, familias y aprendizajes. Cada
criterio posee sus respectivos instrumentos para la evaluacin, y los resultados cuentan formal-
mente para la toma de decisiones (National PTA, 2000).
Una vez analizados los resultados, tanto en la evaluacin externa como la interna, se pasar a la
elaboracin de planes de mejora, con plazos consensuados entre las partes participantes. Es decir,
la informacin requiere comprensin e interpretacin, ya sea a lo interno del centro como a lo
externo, para el mejoramiento que se busca.
Es recomendable que la coordinacin de los equipos externos o internos de evaluacin la ejerza
una persona con formacin en el campo de la evaluacin. Esta persona es la que organiza las
visitas, la administracin de instrumentos, entrevistas, etc., pero sobre todo asesora en aspectos
terico-metodolgicos a lo largo del proceso evaluativo. El plan de mejoramiento se concreta en
proyectos educativos de centro, a los que har referencia ms adelante.
Instrumentos utilizados en la evaluacin
En el proceso evaluativo se debe prestar atencin a la elaboracin de instrumentos. Aunque esta
parezca una tarea simple, es quiz la ms compleja si se siguen los procedimientos tcnicos que
demanda la validez de los resultados. No basta con pasar a expertos los instrumentos ya elabo-
rados por un grupo o una persona para que los juzguen; es indispensable clarifcar los constructos
que se valorarn y las consiguientes ponderaciones que diferentes especialistas realicen para cada
uno de ellos. Los pilotajes y sus resultados permiten cuidar an ms rigurosamente las facetas de
la validez.
Por lo general, se utilizan escalas tipo Likert, listas de cotejo, gua de tpicos para los grupos focales
u otros instrumentos especfcos para determinadas tcnicas evaluativas. Si el enfoque evaluativo
aborda perspectivas ms cualitativas, tambin es indispensable la utilizacin de procedimientos
de triangulacin, previamente defnidos, que garanticen la credibilidad de los resultados.
Leda Badilla
134027 _ 0001-0184.indd 107 16/3/09 16:10:37
108
El informe de evaluacin
Es una de las fases ms delicadas cuando se desarrollan evaluaciones serias. Todo el trabajo de
campo, la sistematizacin de la informacin producida puede verse afectada si no se lleva a cabo
una adecuada devolucin de resultados. La caracterstica ms importante es la coherencia entre
todos los elementos contenidos en el informe.
La informacin producida y analizada se devuelve al centro. Se discute en grupo para tomar
decisiones. Se requiere un informe que est disponible y pueda ser ledo previamente por los in-
teresados. Las personas involucradas socializan la informacin para:
Comprender los diferentes problemas y abordarlos considerando sus causas y posibles conse-
cuencias.
Concretar acciones de mejora. Cada mejora se clarifca y sus respectivas acciones se planifcan,
esto no acaba hasta tanto el cambio se consolide en el centro escolar.
Expresar los problemas en un lenguaje comprensible para todos.
Los cambios para la mejora del centro escolar se concretan, como lo sealramos, en un proyecto
institucional, que es conocido como proyecto educativo de centro (PEC).
El proyecto educativo de centro
El proyecto educativo de centro (PEC) se ha constituido en una herramienta que permite la pla-
nifcacin, la gestin y el consiguiente desarrollo del centro. Los componentes del PEC se pueden
resumir en: el anlisis institucional y su horizonte; los objetivos; las normas para la convivencia
y funcionamiento; los aspectos curriculares internos y externos, y las evaluaciones de proceso y
producto que demanden los elementos citados (Castillero et al., 2002).
El PEC de cada escuela es particular y diferente al de otros centros en lo que concierne a valores,
rasgos, dinmicas externas e internas, procesos, prcticas e intenciones educativas. Diferencias
que se traducen en lo que el centro es y hacia dnde se dirige.
Las normas para el funcionamiento del centro contemplan la participacin de la comunidad educati-
va, la gestin democrtica, la informacin y la comunicacin, as como las relaciones con el entorno.
Los aspectos curriculares son los que hacen ms evidente al PEC en una realidad concreta. El
centro se vuelve competente para atender a las particularidades de sus estudiantes en lo que se
refere a estilos de aprendizaje; condiciones socioemocionales y socioeconmicas, entre otras.
La ejecucin y evaluacin del PEC, por lo general, comprende un anlisis situacional del centro;
un subproyecto curricular; un plan de desarrollo y un plan operativo. El subproyecto curricular
considera elementos de formacin cultural, intelectual, cientfca, tecnolgica, socioafectiva, lin-
gstica, ambiental (Castillero et al., 2002).
Cabe sealar que, en paralelo al PEC, trabaja la supervisin escolar, que a lo largo de los aos ha
ido cambiando hacia estrategias ms democratizantes, cooperativas, orientadoras y fexibles.
ALGUNOS MODELOS PARA LA EVALUACIN DE CENTROS
En la evaluacin de centros con frecuencia se observa la utilizacin del modelo CIPP (contexto-
entrada-proceso-producto) con algunas variantes en su diseo o aplicacin. Lo fundamental del
La evaluacin de centros: riesgos y posibilidades
134027 _ 0001-0184.indd 108 16/3/09 16:10:37
109
modelo se mantiene en sus tres propsitos: servir de gua para tomar decisiones, proporcionar
informacin para los responsables de la institucin o programas y comprender los fenmenos en
estudio (Stufebeam y Shinkfeld, 1993).
En la evaluacin del contexto se valora el estado global del objeto, se examinan metas y priori-
dades.
La evaluacin de entrada posibilita un programa que efecte los cambios necesarios, en este caso,
en un centro escolar. Es preciso contar con un grupo asesor que gue los diferentes procedimientos
a poner en prctica dependiendo de las aplicaciones que se busquen segn objetivos propuestos.
En la evaluacin de proceso se comprueba la realizacin de un plan, proporciona informacin a
interesados.
La evaluacin de producto tiene como propsito interpretar y juzgar los logros de un programa.
Las diferentes fases evaluativas citadas aplican mtodos y tcnicas para producir y analizar la
informacin requerida.
En general, los modelos evaluativos siguen las siguientes fases: consultas a diferentes grupos para
producir la informacin necesaria; anlisis de la informacin y defnicin de estrategias para el
centro con la participacin de los rganos o personas cuyo juicio sea necesario. La devolucin de
la informacin requiere un lenguaje comprensible para los diferentes participantes. Esto con el fn
de que efectivamente la evaluacin conduzca a las mejoras necesarias en el centro.
Basndose en el modelo CIPP se ha desarrollado un interesante modelo de evaluacin de centros
por parte del Instituto de Evaluacin y Asesoramiento Educativo (IDEA)
5
con un enfoque que
contempla: el contexto (sociocultural del alumno y del centro); la familia; el nivel inicial de los es-
tudiantes en diferentes asignaturas; los procesos del centro y del aula, y los resultados en cada uno
de ellos. El modelo establece lneas diferentes de relaciones: cada nivel infuye en el ms prximo,
algunos niveles infuyen en otros ms complejos y los diferentes niveles interactan entre ellos
(Marchesi y Martn, 2002).
Toda la investigacin evaluativa ha puesto de manifesto que el nivel socioculutural de la familia
del estudiante es una variable estrechamente relacionada con el rendimiento escolar, como tam-
bin lo es, aunque en menor medida, el contexto sociocultural del centro escolar El alumno no
puede despojarse de sus condicionantes sociales ni del centro en el que se forma; por ello se hace
necesario integrar estos aspectos diversos incorporndolos en un marco interpretativo coheren-
te (Tiana, 2001, p. 61).
En el modelo de IDEA se evalan: los procesos de centro relativos a la valoracin del equipo di-
rectivo; la actitud ante la participacin y la diversidad del alumnado; la relacin con los alumnos;
la relacin entre los profesores; el trabajo por departamento; el conocimiento del funcionamiento
del centro; la satisfaccin de las condiciones de trabajo.
En los procesos de aula se incluyen la atencin a la diversidad; la amplitud del currculo, la eva-
luacin, el clima del aula. Se evalan las habilidades metacognitivas, las actitudes y valores, y las
diferentes reas o asignaturas curriculares.
5
IDEA cuenta con su sede en Espaa y con proyectos especfcos en algunos pases latinoamericanos.
Leda Badilla
134027 _ 0001-0184.indd 109 16/3/09 16:10:37
Por otra parte, se evala el rendimiento del alumnado en las reas curriculares, pero tambin en
actitudes, habilidades metacognitivas y desarrollo emocional. La evaluacin responde a un en-
foque longitudinal que permite analizar la evolucin del alumnado a lo largo de su escolaridad y
relacionarla con el resto de los factores sealados.
POSIBILIDADES Y RIESGOS DE LA EVALUACIN DE CENTROS EDUCATIVOS
En este ltimo apartado expondremos brevemente, a modo de sntesis, las potencialidades que la
evaluacin de centros ofrece como elemento de mejora de la calidad de la educacin, as como los
riesgos que puede entraar si no se realiza con las sufcientes garantas.
Las posibilidades que brinda la evaluacin
La funcin educativa de la evaluacin facilita la refexin en los diferentes niveles del sistema, lo
que a su vez permite conocer, reconocer y comprender el centro educativo en sus capacidades
para dirigir otras prcticas educativas posibles. No podramos cambiar lo que no comprende-
mos.
Si las evaluaciones responden a necesidades de los centros, es probable que se crea en ellas porque
refejan la realidad que estos viven y se aumenten as las posibilidades de que la calidad mejore;
lo mismo sucedera con las comprensiones e interpretaciones de las prcticas educativo-pedag-
gicas que reporta la evaluacin.
Si la evaluacin utiliza informaciones producidas por diferentes personas (estudiantes, padres y
madres, docentes, directores), estar dando credibilidad a los juicios que surjan, ms an si esas
informaciones estn contextualizadas.
Un diseo fexible de evaluacin se basa en diferentes fuentes de observacin y aborda tanto pro-
cesos como productos, se preocupa de lo general como de lo especfco.
Un centro que se evala, interna o externamente, cuenta con una mayor probabilidad de que
mejoren las prcticas educativas, la gestin del centro en benefcio de la calidad, la planifcacin
de acciones, los aprendizajes de docentes, padres y madres, estudiantes, directores. Se llegan a
reconocer valores que antes no fue posible identifcar.
La evaluacin se desarrolla en funcin de cada centro y sus circunstancias. Las caractersticas co-
munes de las escuelas nos hacen observarlas como homogneas; sin embargo, cada una presenta
rasgos propios con implicaciones curriculares y extracurriculares variadas.
La adecuada devolucin de la informacin producida por la evaluacin, as como las motiva-
ciones que muevan al centro, aseguraran la mejora, tanto para el mismo centro como para las
familias y los estudiantes.
Los riesgos a los que nos podramos enfrentar
Los riesgos se vinculan con la propia naturaleza de la evaluacin como un campo del conocimien-
to controversial. Durante aos y an hoy se le ha querido dar un carcter tcnico-administrativo
e instrumental, desplazando su sustento terico y axiolgico, as como sus implicaciones polticas
y sociales. La evaluacin cataliza los cambios, pero ella por s sola no constituye el cambio.
La evaluacin de centros: riesgos y posibilidades
110
134027 _ 0001-0184.indd 110 16/3/09 16:10:37
111
El valorar un centro cuando no hay investigacin bsica sufciente, o cuando los recursos no per-
miten conducir la evaluacin, o bien cuando el centro se resiste, puede hacer ms difcil, compleja
o larga la evaluacin.
Las expectativas, tras una evaluacin, son altas. Para que los cambios tengan sostenibilidad es
necesaria la comunicacin abierta, la cooperacin y la participacin comprometida, sin perder
de vista otra serie de factores que permanentemente infuyen en el centro, como la movilidad del
personal, las bajas motivaciones, rutinas, temor o resistencia ante los cambios que podran tener
lugar.
A veces los establecimientos u rganos educativos no cuentan con profesionales con competen-
cias para conducir los planes de mejora.
Una vez evaluado el centro, es necesario asegurar la permanencia del equipo docente en la insti-
tucin, ya que es en l en quien recae principalmente la construccin y puesta en prctica de un
plan de mejoramiento o proyecto educativo de centro. La responsabilidad no es solo de la direccin
del centro.
El manejo prudente de la comunicacin de los resultados redundar en la credibilidad de la eva-
luacin.
Si los aspectos de la organizacin escolar se compaginan con los procesos acadmicos derivados
de la evaluacin, las propuestas para la mejora sern coherentes y coordinadas y los elementos
contingentes tanto como las incertidumbres se manejarn con mayor seguridad.
Podramos concluir que el centro escolar media entre el aula y el sistema y, como consecuencia,
es el ncleo y objeto de la evaluacin; sin embargo, la evaluacin del sistema suele limitarse a la
consideracin de los resultados del logro acadmico de los alumnos. Pero las escuelas necesitan
conocerse desde dentro, adems de ser valoradas desde fuera, para determinar sus prioridades y
las acciones afrmativas que les permitan la mejora global.
La idea de mejorar la escuela se vincula de forma directa a polticas educativas que la siten en
primer plano para favorecer su calidad.
Lo anterior, a la vez, nos remite a fomentar una cultura evaluativa en los centros, que se traduzca
en prcticas que generen aprendizajes permanentes para toda la red que constituye la comunidad
educativa, y para procesos de cultura organizativa, como el clima laboral, el liderazgo, la planif-
cacin, que se consolidan en el proyecto educativo de centro.
La escuela no puede producir cambios si estos no se llegan a insertar en un marco de polticas
bien defnidas y si no se hacen acompaar de profesionales con las competencias necesarias para
llevar adelante los planes de mejora y el apoyo continuo.
Leda Badilla
134027 _ 0001-0184.indd 111 16/3/09 16:10:37
134027 _ 0001-0184.indd 112 16/3/09 16:10:37
113
La evaluacin del desempeo docente
para el desarrollo de las competencias
profesionales
Pedro Ravela
LA EVALUACIN COMO HERRAMIENTA DE CAMBIO EN LA EDUCACIN
La evaluacin tiene un enorme potencial como herramienta para promover y sostener el cambio
en la educacin, en la medida en que se la utilice bien. En la ltima dcada y media, la mayor par-
te de los esfuerzos, tanto a nivel internacional como nacional, han estado puestos en el desarrollo
de sistemas de evaluacin estandarizada de los aprendizajes de los estudiantes. Esto ha signifcado
un aporte para la educacin, en la medida en que ha permitido hacer visible en qu grado los
estudiantes estn aprendiendo lo que se espera que aprendan.
Sin embargo, como herramienta aislada y sin articulacin con otros instrumentos de poltica
educativa, la evaluacin difcilmente pueda producir cambios (GTEE, 2008).
El problema se agrava cuando se intenta organizar el conjunto de la poltica educativa sobre la
base exclusiva de la evaluacin estandarizada, por ejemplo, estableciendo premios econmicos
en funcin de los resultados de la misma. Se ignora de esta manera que las evaluaciones tienen
diseos especfcos, apropiados para ciertos fnes, pero no para otros. Se desconoce adems la
necesidad ineludible de establecer un conjunto articulado de polticas educativas.
Y, sobre todo, se olvida que en el sistema educativo ocurren cotidianamente mltiples formas
de evaluacin, en general realizadas de manera inapropiada, que si fuesen realizadas de forma
adecuada tendran un potencial de cambio enorme. Algunas de ellas son evidentes, como la eva-
luacin de los aprendizajes de los estudiantes que realizan los propios docentes. Otras pasan fcil-
mente desapercibidas, a pesar de su importancia, como es el caso de las evaluaciones con fnes de
seleccin de personas para ocupar roles de responsabilidad en la conduccin de distintos sectores
del sistema educativo.
La evaluacin del desempeo docente es una de estas formas de evaluacin, que tienen lugar coti-
dianamente en los sistemas educativos, que en general se llevan adelante de manera muy precaria
y asistemtica, pero que, bien realizadas, tendran un enorme potencial de cambio. El presente
captulo est destinado a analizar este tema.
La mejora de la docencia es la poltica educativa ms importante
Uno de los aportes de las evaluaciones a gran escala es que ofrecen un panorama comparado de
resultados de la accin educativa, en el marco del cual es posible efectuar estudios de profundi-
zacin, que permitan entender cmo y por qu ciertos pases logran que todos sus estudiantes
134027 _ 0001-0184.indd 113 16/3/09 16:10:37
114
aprendan y que las desigualdades internas se minimicen. El SERCE puso de manifesto, en Am-
rica Latina, los muy buenos resultados de la educacin en Cuba, a partir de lo cual algunos in-
vestigadores como Carnoy y Marshall (2005) desarrollaron trabajos comparativos que permiten
comprender mejor qu es lo que explica los resultados
1
.
Uno de los estudios ms recientes y enriquecedores es el conocido como Informe McKinsey, un
trabajo de investigacin realizado entre marzo de 2006 y mayo de 2007 con el fn de comprender
las claves de poltica educativa que explican que ciertos pases, muy diferentes entre s en trmi-
nos sociales y culturales, como Finlandia, Singapur, Australia, Corea del Sur y Canad, logren
resultados destacados en trminos de las capacidades y conocimientos de sus estudiantes (Barber
y Mourshed, 2007).
Despus de analizar una gran cantidad de informes de investigacin, de entrevistar a ms de cien
expertos y responsables de polticas educativas, y de visitar escuelas en 25 pases, el informe llega
a conclusiones muy sencillas y muy contundentes a la vez, tanto en su contenido como en la for-
ma de expresarlas. De acuerdo con el Informe McKinsey, hay tres principios clave detrs de los
sistemas educativos con muy buenos desempeos:
1. La calidad de un sistema educativo no puede ser superior a la calidad de sus docentes.
2. El nico camino para mejorar los aprendizajes es mejorar la enseanza.
3. Un buen desempeo como pas requiere que todos los estudiantes aprendan.
El estudio muestra, con abundantes referencias, que un buen docente hace una gran diferencia en
el aprendizaje de sus estudiantes. Un mal docente, en cambio, en especial en los primeros grados
de la escolaridad, puede generar daos irreversibles. Los pases que logran los mejores resultados
en las evaluaciones internacionales se caracterizan por:
seleccionar a los candidatos a la formacin docente en el tercio superior de los egresados de la
educacin secundaria;
ofrecer buenos salarios iniciales, como forma de hacer de la docencia una profesin atractiva;
ofrecer a los docentes mltiples oportunidades de mejora durante su carrera profesional, con
nfasis en la mejora de las prcticas de enseanza;
establecer altas expectativas de desempeo para todos los estudiantes;
establecer mecanismos para identifcar tempranamente a los estudiantes con difcultades para
alcanzar dichas expectativas y ofrecerles enseanza adicional.
Como resulta obvio, buenos procedimientos de evaluacin son indispensables para la correcta
implementacin de estas lneas de accin. Hay procesos de evaluacin involucrados en:
1
En general, han resultado mucho ms enriquecedores los estudios de carcter cualitativo, realizados en
el marco de una evaluacin a gran escala, que los llamados estudios de factores asociados, que solo
analizan el comportamiento estadstico de variables medidas en cuestionarios administrados junto con
las pruebas.
La evaluacin del desempeo docente para el desarrollo de las competencias profesionales
134027 _ 0001-0184.indd 114 16/3/09 16:10:37
115
la seleccin de los candidatos que van a cursar carreras docentes (para evaluar no solamente los
conocimientos y competencias de tipo cognitivo, sino tambin las capacidades emocionales y
la motivacin para la docencia);
la identifcacin de quienes no son aptos para la docencia durante los primeros aos de ejer-
cicio de la misma (este aspecto es clave dado que, como afrma el informe, una mala decisin
puede tener como consecuencia cuarenta aos de mala enseanza);
la identifcacin de los profesionales ms competentes, con el fn de ofrecerles incentivos que
los retengan en la docencia, as como nuevos roles de tutora y orientacin a otros docentes,
como modo de difundir su conocimiento prctico al interior de la profesin;
la creacin de mecanismos de evaluacin formativa que ofrezcan oportunidades para revisar la
propia prctica y para recibir supervisin y orientacin (una buena formacin inicial es con-
dicin necesaria pero no sufciente para tener buenos docentes, es necesario adems que estos
puedan aprender a partir de la prctica refexiva y compartida en torno a la enseanza);
identifcar tempranamente a los estudiantes que no estn logrando aprender, as como el tipo
de difcultades especfcas, como modo de poder intervenir oportunamente (este ltimo aspec-
to excede el tema de este captulo, que est referido a la evaluacin del desempeo docente).
LA DOCENCIA: UNA PROFESIN REIDA CON LA EVALUACIN
Sin embargo, probablemente una de las razones importantes entre otras muchas por las que el
cambio es tan difcil en la educacin radica en que el rechazo a la evaluacin parece formar parte
de la cultura docente.
En la mayora de las actividades humanas la evaluacin, entendida como valoracin y refexin
en torno a la propia actividad y a los modos de mejorarla, juega un papel central. Los individuos
aprenden y mejoran a partir de la evaluacin. Pinsese en ofcios tan dispares como el de un
carpintero, un msico y un escritor. En todos estos casos, es natural e inevitable recibir devolu-
ciones, tanto de los destinatarios del trabajo como de otros colegas con mayor experiencia o de
los iguales. Estas devoluciones constituyen un elemento importante y utilizado para mejorar los
desempeos y productos del trabajo.
Sin embargo, hay otras actividades que estn menos sujetas a la mirada de los otros como, por
ejemplo, la atencin psicolgica, la enseanza y la atencin mdica. Se trata de actividades que
no tienen un producto visible como un mueble, una pieza musical o un libro y que involucran
la relacin personal con otros individuos, relacin que suele desarrollarse en espacios privados,
como el aula o el consultorio.
En estos casos, el resultado del trabajo es de carcter subjetivo, se produce en la interioridad de las
personas
2
y, por tanto, no es directamente visible. Por otro lado, existe una marcada jerarqua de
saberes
3
entre el profesional y el estudiante, paciente o cliente, que limita las posibilidades de estos
2
Tambin la pieza musical o libro tienen un efecto subjetivo, pero existe un producto previo a la vista de
todos. No ocurre lo mismo con el trabajo de los psiclogos, mdicos y docentes.
3
Tambin los carpinteros, msicos y escritores poseen un saber especializado pero, debido al carcter
esttico o comercial de sus productos, por defnicin todos los destinatarios de su trabajo pueden juzgar-
Pedro Ravela
134027 _ 0001-0184.indd 115 16/3/09 16:10:37
116
de formular devoluciones jerarqua esta que, normalmente, la mayora de los profesionales que
ostentan el saber se encargan de explicitar y remarcar.
Finalmente, en estos tres mbitos de actividad, la relacin entre el profesional y el educando,
paciente o cliente se produce en espacios fsicos a los que normalmente no tienen acceso otras
personas, ni siquiera otros colegas, salvo que esto sea explcitamente acordado previamente. Pero
no se trata de actividades que puedan ser observadas espontneamente por otros individuos
que no sean los involucrados en la relacin de trabajo.
Esto hace que sea particularmente importante, en este tipo de actividades profesionales, generar
procedimientos y dispositivos especfcos para producir devoluciones que permitan valorar y
refexionar sobre la prctica, esto es, evaluaciones.
Pero hay adems un elemento diferencial entre la educacin y los otros tipos de actividades men-
cionados, que hacen que la necesidad de evaluacin sea ms imperiosa: la educacin es un derecho
de los ciudadanos, que el Estado debe asegurar y que, normalmente, incluye como consecuencia
un currculo, es decir, una defnicin de lo que todos los estudiantes tienen derecho a aprender.
Esto no ocurre en las actividades del primer tipo. Si al pblico, a la crtica o a los colegas no les
gusta la obra que produjo el msico, este puede simplemente decir pues entonces no la escuchen,
a m s me gusta, y yo compongo para expresarme, no para agradarles. No siempre ocurre as,
porque el artista necesita tener un pblico, pero puede ocurrir y es legtimo.
Lamentablemente, el modo de razonar recin descrito tiene fuerte presencia en los mbitos edu-
cativos. A veces de manera explcita y otras de modo implcito, los docentes dicen o piensan pues
yo enseo esto as, si los estudiantes aprenden o no, el problema es de ellos. Esta actitud no se
condice con el rol social y profesional que corresponde a los educadores, en tanto responsables de
la puesta en prctica del derecho a la educacin.
En defensa de los docentes debe decirse que el aprendizaje no es resultado exclusivamente de lo
que ellos hacen, sino tambin, y principalmente, del esfuerzo del estudiante. Pero este hecho no
exime a los docentes de realizar todo lo que sea necesario y posible por mejorar sus modos de
ensear. Debera ser un imperativo tico de la profesin poner ms atencin en lo que los estu-
diantes necesitan aprender y en las difcultades que tienen, que en lo que al docente le gusta y le
interesa ensear.
La profesin inevaluable
La aversin a la evaluacin est fuertemente arraigada en la cultura de la profesin docente. En
primer lugar, porque evaluar a los estudiantes es una de las actividades ms ingratas y aburridas
en la profesin no porque necesariamente deba ser as, sino porque se suele hacer mal. En
segundo lugar, porque prevalece la idea de que, en defnitiva, la educacin no puede ser evalua-
da, en virtud de su complejidad y subjetividad. No puede ser evaluado ni el aprendizaje de los
estudiantes ni el trabajo del docente. Para algunos docentes es una cuestin de difcultad prctica.
Para otros, una cuestin de principios, una postura ideolgica contraria a cualquier evaluacin,
en tanto implica un ejercicio de poder.
lo de acuerdo con sus propios criterios. No ocurre lo mismo en la enseanza.
La evaluacin del desempeo docente para el desarrollo de las competencias profesionales
134027 _ 0001-0184.indd 116 16/3/09 16:10:37
117
Esto ltimo se traduce en la defensa acrrima de la libertad de ctedra (el docente ensea lo que
le parece, independientemente de que sea o no relevante para los estudiantes); en una oposicin
cerrada a cualquier mirada externa sobre el propio trabajo; e, incluso, en la negativa a coordi-
nar con otros profesores, porque eso me limita en lo que yo quiera ensear
4
. Existe en muchos
docentes una concepcin platnica de la enseanza
5
: educar consiste en recorrer las aulas ha-
blando de lo que a uno le parece apropiado, seguido por los estudiantes que puedan y quieran
entenderlo; los dems pueden seguir por otro camino. Wiggins (1998) defne la docencia como
una profesin egocntrica, en el sentido piagetiano del trmino: los educadores solemos tener
difcultad para salir de nuestro propio punto de vista, tenemos difcultad para escuchar y com-
prender lo que ocurre con nuestros estudiantes, tenemos difcultad para darnos cuenta de cundo
nuestra enseanza no es clara o adecuada. No logramos imaginar cmo es posible que temas que
son tan obvios e importantes para nosotros no lo sean para los estudiantes. Tendemos a escuchar
lo que queremos y, como los estudiantes necesitan demostrarnos que entienden y que saben, se
genera una suerte de complicidad: nosotros hacemos como que les enseamos, ellos hacen como
que aprenden. Pero no comprendemos qu es lo que realmente est ocurriendo.
Parte de esa difcultad para des-centrarse, para salir de los propios puntos de vista e ir al encuen-
tro de los estudiantes, est relacionada con la preocupacin central por cubrir el programa, por
dar los temas. Necesito dar estos temas. Necesito cumplir el programa. Si los estudiantes
aprenden o no, no es mi problema.
El otro componente central del problema es el aislamiento que caracteriza el ejercicio de la docen-
cia, particularmente en la educacin media. Cada profesor ensea su curso como mejor le parece
y puede. Cualquier revisin formal del trabajo docente es percibida como una amenaza o como
una intrusin, dado que nadie puede entender lo que ocurre en mi clase como yo (Wiggins,
1998, p. 297). Son escasas las instancias de trabajo conjunto, que impliquen una mirada comn
y compartida sobre lo que se quiere que los estudiantes aprendan ms all de las declaraciones
generales de principios. No es casualidad que este hecho, el poseer una visin compartida, expl-
cita y comunicada con claridad a los estudiantes con relacin a lo que se espera que aprendan, sea
uno de los factores que aparecen como relevantes para el logro educativo en las investigaciones
sobre el tema.
Al respecto, Wiggins (1998, p. 302) se pregunta por qu aceptamos que los desempeos de los
estudiantes permanezcan guardados detrs de una puerta siempre cerrada. Por qu no es la nor-
ma que todas las tareas, pruebas y muestras del trabajo de los estudiantes estn a la vista, con los
comentarios del docente, como forma de promover la evaluacin entre pares y responder a las
demandas de padres y supervisores?
Este aislamiento y encierro, esta falta de apertura a la mirada de los otros, que caracteriza a la do-
cencia, es una de las razones ms poderosas que impiden el cambio y la mejora en la enseanza.
Si los docentes como cuerpo profesional no asumen la responsabilidad de evaluar y adecuar
de forma permanente su trabajo en funcin de lo que ocurre con los estudiantes, simplemente
4
Palabras textuales de un docente uruguayo en una reunin institucional de coordinacin en una secun-
daria pblica.
5
La mayora de las veces de un modo implcito, no dicho, a veces inconsciente.
Pedro Ravela
134027 _ 0001-0184.indd 117 16/3/09 16:10:37
118
cada uno estar satisfaciendo su visin personal de cmo deben hacerse las cosas. Pero la misin
profesional consiste en generar capacidades especfcas en los estudiantes: madurez intelectual y
emocional, capacidad de comprensin de fenmenos complejos, capacidad de refexin, conoci-
mientos (Wiggins, 1988, p. 300). Hacerlo bien requiere abrirse al escrutinio de los dems, de los
pares profesionales en primer lugar, pero tambin del resto de los interesados en la tarea educativa
(familias, autoridades, sociedad civil, entre otros).
La resistencia a la evaluacin
La evaluacin externa y la evaluacin del desempeo docente son particularmente resistidas y
rechazadas por diversas razones, algunas de ellas legtimas, como lo es el hecho de que muchos
sistemas de evaluacin estn tan mal diseados e implementados, que generan ms problemas
que aportes.
Tenti (2003) destaca la paradoja de que los docentes son probablemente los profesionales que ms
evalan (a sus estudiantes) y, al mismo tiempo, los que ms rechazan toda forma de evaluacin
externa sobre su propio trabajo. En el fondo, propone Tenti, se trata de la resistencia a ser obser-
vados por una sociedad que duda de la calidad del trabajo que los docentes estn realizando.
Durante los ltimos aos, por una serie de circunstancias complejas [...], (los docentes y las institu-
ciones educativas) ya no son solo sujetos activos de la evaluacin, sino que ahora son tambin objeto
de evaluacin [...]. Qu es lo que justifca que luego de tantas evaluaciones a las que son sometidos
los alumnos desde que entran hasta que salen de determinado nivel educativo sean nuevamente ob-
jeto de examen, esta vez por instancias extraescolares [...] generalmente ubicadas dentro del mbito
del servicio pblico? A primera vista es tentador decir que el sistema educativo es examinado porque
existe una sospecha [...]: la sociedad desconfa de lo que hace y produce el sistema educativo (incluso
sus propios exmenes) [...]. Todo parece indicar que sobre el sistema educativo planea una sospecha
que puede expresarse del siguiente modo: no existe necesariamente una correspondencia entre el co-
nocimiento y las competencias efectivamente en los alumnos y los certifcados, diplomas o ttulos
efectivamente distribuidos por las instituciones escolares [...]. En este contexto, no debera extraar
que los propios agentes escolares se hayan sentido un tanto incmodos frente a este tipo de polti-
cas que ponen un manto de duda sobre lo que ellos hacen y producen cotidianamente en sus aulas
(Tenti, 2003, pp. 166-168).
En la misma obra, Navarro (2003) afrma que en realidad el comn de los docentes est ms dis-
puesto a que la profesin sea evaluada de lo que suele aparecer pblicamente a travs de las postu-
ras sindicales. Segn Navarro, tres variables inciden sobre una actitud positiva hacia la evaluacin
del desempeo docente: 1) trabajar en condiciones favorables; 2) el clima escolar y el sentido de
efcacia y logro en la enseanza; y 3) la edad (hay una mayor apertura a la evaluacin entre los
ms jvenes). Sin embargo, aun cuando exista una predisposicin positiva hacia la posibilidad
terica de la evaluacin, suele haber rechazo a las experiencias concretas que se han implementa-
do en la regin en la ltima dcada, como consecuencia de las debilidades de los propios sistemas
implementados. Ha sido muy difcil poner a funcionar sistemas que representen una expresin
competente y sostenible en el tiempo [...]; poner en prctica el principio de evaluacin es mucho
ms complejo y difcil que aceptar el principio en teora (Navarro, 2003, pp. 154-159).
Las experiencias revisadas en la seccin precedente, sin embargo, sugieren hacerse por lo menos la
pregunta de si el fracaso de los intentos por introducir evaluaciones del desempeo docente pueden
atribuirse a las presiones sindicales y a la oposicin de los docentes, o si estas ltimas son ms bien
La evaluacin del desempeo docente para el desarrollo de las competencias profesionales
134027 _ 0001-0184.indd 118 16/3/09 16:10:37
119
el producto de intentos fracasados y poco convincentes desde el punto de vista tcnico y gerencial de
implantar el principio de evaluacin (Navarro, 2003, p. 159).
CONFUSIONES CONCEPTUALES
Buena parte del problema de la evaluacin docente tiene que ver con confusiones conceptuales
acerca de los fnes de la evaluacin, as como en torno a la naturaleza del trabajo docente y al tipo
de incentivos que pueden funcionar en la docencia.
Los fnes de la evaluacin
La primera confusin se deriva de la omisin en distinguir entre evaluaciones de tipo formativo,
dirigidas a propiciar el aprendizaje de los docentes y la mejora de sus prcticas, de las evaluaciones
con consecuencias, como las destinadas a califcar al docente, a entregarle un reconocimiento sa-
larial o a clasifcar a los docentes en funcin de sus conocimientos y competencias profesionales.
Normalmente se habla de evaluacin docente sin distinguir entre unas y otras (Ravela, 2006).
En la prctica habitual de la supervisin en muchos de nuestros pases, ambas fnalidades se en-
cuentran presentes en el mismo acto de evaluacin, lo cual promueve actitudes contradictorias
en quien es evaluado. Si la evaluacin tiene como fnalidad exclusiva ayudarme a identifcar mis
difcultades y encontrar caminos para superarlas, mi actitud ser mostrar esas debilidades. En
cambio, si la evaluacin tiene como fnalidad califcarme, legtimamente mi actitud ser la con-
traria: intentar mostrar la mejor faceta de mi trabajo profesional y evitar ofrecer fancos dbiles
(Ravela, 2008).
Cuando ambas fnalidades estn presentes en el mismo acto de evaluacin, predomina el temor
a la califcacin y la necesidad obvia de ser bien califcado. Como adems la evaluacin se realiza
con un instrumental totalmente rudimentario desde el punto de vista tcnico, la evaluacin no
cumple adecuadamente con ninguna de las dos fnalidades y se torna un ritual burocrtico.
De lo anterior se deriva una primera lnea de trabajo para la evaluacin docente: es necesario
diferenciar los dispositivos de evaluacin dirigidos a promover el aprendizaje profesional y la
mejora de la enseanza, de los dispositivos de evaluacin dirigidos a califcar o categorizar de
alguna forma a los docentes.
Los incentivos en la docencia
La segunda confusin se deriva de trasladar a la docencia el tipo de incentivos que funcionan en
otros mbitos de actividad y de trasladar la lgica de la empresa al campo educativo. Todas las
personas, incluidos los docentes, aspiran a recibir por su trabajo un salario que les permita vivir
dignamente. Una parte importante de las personas aunque no necesariamente todas aspiran
a que, si realizan un esfuerzo especial y destacado en su trabajo, ello se vea reconocido en su re-
muneracin. Pero solo algunas personas y una parte de las organizaciones colectivas tienen como
objetivo principal en la vida hacer mucho dinero.
Si bien la mayora de las empresas tienen como fnalidad principal generar ganancias en dine-
ro, existen muchos otros tipos de organizaciones que se mueven por otros fnes y, por tanto,
por otros incentivos que el dinero. Entre ellas, la gran mayora de las organizaciones educativas.
Y para la gran mayora de las personas que dedican su vida a la educacin existen mltiples
Pedro Ravela
134027 _ 0001-0184.indd 119 16/3/09 16:10:37
120
fuentes de satisfaccin y, por tanto, de incentivos: el trabajo bien realizado, el entusiasmo y el
reconocimiento de los estudiantes, la calidad de las relaciones interpersonales, la profundizacin
en los conocimientos de la disciplina que se ensea, el xito de los estudiantes en su aprendizaje,
el compartir la preparacin de su trabajo con colegas, el dar a conocer su trabajo, el participar de
una comunidad intelectualmente creativa y desafante, entre otros, adems del salario.
En este sentido, la evaluacin de los docentes puede operar como generador de incentivos de una
manera mucho ms amplia que la de otorgar ms dinero a quienes trabajan mejor. Puede ayudar a
realizar mejor el trabajo y, por tanto, a crear toda la gama de incentivos que del trabajo bien hecho
y del logro de los estudiantes se deriva.
Pago por resultados y pago por mrito
Otra confusin habitual, relacionada con el denominado pago por mrito, es la relativa a la vin-
culacin de la remuneracin a los resultados de los estudiantes en pruebas estandarizadas, por un
lado, o al buen desempeo de la labor profesional, por otro. Obviamente hay cierta relacin entre
buen desempeo y resultados, pero esta relacin no es perfecta ni mucho menos.
El aprendizaje de los estudiantes depende del buen desempeo del docente, pero depende tam-
bin de otros mltiples factores: la nutricin, el apoyo familiar, la historia acadmica y los maes-
tros que el estudiante tuvo anteriormente y, sobre todo a partir del nivel medio, la voluntad de
aprender del propio estudiante, y el tiempo y esfuerzo que est dispuesto a dedicarle al aprendi-
zaje (Ravela, 2006).
Si bien es indiscutible que un buen docente hace una diferencia en lo que aprenden los estudian-
tes, tambin lo es el hecho de que un mismo muy buen docente obtiene resultados muy diversos
segn la motivacin de los estudiantes con los que trabaja, su historia escolar previa y las peculia-
res caractersticas del grupo que tiene delante.
El pago por resultados es un camino plagado de problemas. A los ya mencionados es necesario
agregar que es de difcil implementacin requiere evaluaciones censales permanentes en todas
las disciplinas, adems de controles de mltiples variables de contexto, que desconoce el hecho
de que las pruebas estandarizadas evalan solo una parte de los objetivos educativos, que se presta
para promover la reduccin del currculo y a generar mltiples conductas reidas con la tica.
El pago por desempeo tiene ms sentido. En Cuba, por ejemplo, cada docente es evaluado to-
dos los aos, como consecuencia de lo cual es califcado como muy bueno, bueno, regular o
insufciente. Los docentes tienen un salario base, un componente salarial por antigedad y un
componente salarial por desempeo, que tiene tres categoras. Los docentes que son califcados
con muy buenos, al ao siguiente suben un escaln en el salario por desempeo, al tiempo que
los califcados con regular bajan un escaln. Los docentes califcados con insufciente (alre-
dedor del 3% cada ao) son retirados del aula y deben realizar una nueva etapa de formacin
durante un ao
6
.
6
Ms detalles pueden encontrarse en los materiales aportados por el director del Instituto Central de
Ciencias Pedaggicas de Cuba, Hctor Valds, con ocasin de un Seminario sobre Evaluacin del Desem-
peo Docente, dictado en mayo de 2008 en el Instituto de Evaluacin Educativa de la Facultad de Cien-
cias Humanas de la Universidad Catlica del Uruguay. Disponible en la siguiente direccin de Internet:
La evaluacin del desempeo docente para el desarrollo de las competencias profesionales
134027 _ 0001-0184.indd 120 16/3/09 16:10:37
121
Sin embargo, un sistema de pago por desempeo no debera limitarse a otorgar un reconocimien-
to salarial, sino que debera formar parte de un sistema que identifque, retribuya y, sobre todo,
capitalice la capacidad profesional de los mejores docentes. Esta propuesta ser desarrollada con
mayor amplitud en los apartados que siguen.
El desafo principal para la evaluacin en este campo no es tanto propiciar la distribucin de
premios en dinero, como ayudar a identifcar a los mejores docentes para otorgarles funciones
de mayor responsabilidad en la mejora de la enseanza y una remuneracin acorde a ello, as
como tambin identifcar a los docentes con difcultades para realizar su labor de manera apro-
piada para ayudarles a mejorar su trabajo. Uno de los errores de muchas propuestas de pago por
desempeo radica en ignorar que, si bien eso puede servir de reconocimiento para quienes hacen
bien su trabajo lo cual es en s mismo valioso, no resuelve el problema de quienes no tienen
sufciente conocimiento de la disciplina que deben ensear o no saben cmo ensearla.
Si bien algunas reformas incrementaron los mecanismos de rendicin de cuentas o introdujeron in-
centivos basados en el desempeo para mejorar la motivacin, lo hicieron sin brindar a los docentes
oportunidades para darse cuenta de sus debilidades o conocer mejores prcticas (Barber y Mourshed,
2007, p. 27).
Con lo cual volvemos al inicio de este apartado. Son necesarios dos tipos de dispositivos de eva-
luacin docente: unos que contribuyan a la creacin de nuevas capacidades y otros que establez-
can mecanismos para identifcar y reconocer a los buenos docentes.
Esta tensin entre evaluacin formativa y evaluacin con consecuencias se deriva de una con-
tradiccin inherente a los seres humanos. Todos tenemos una tendencia natural a crecer y a ser
mejores, pero simultneamente coexiste en nuestro interior una tendencia a la rutina, a quedar-
nos en lo que tenemos, a perder el sentido de lo que hacemos. Por eso, a la vez que motivaciones
internas, necesitamos incentivos y exigencias externas.
Lo que resta de este captulo est destinado a la refexin sobre estos dos conjuntos de disposi-
tivos de evaluacin del desempeo docente con fnalidades diferentes. Uno tiene que ver con la
motivacin interna, con el aprendizaje y con la mejora de la prctica. El otro tiene que ver con
la exigencia y el reconocimiento externos, con la acreditacin y con la carrera docente.
EVALUACIN, INCENTIVOS Y CARRERA DOCENTE
Todo sistema educativo de gran escala necesita contar con un buen sistema de evaluacin docen-
te, dirigido a establecer categoras profesionales en funcin de los conocimientos, competencias
y responsabilidad en el cumplimento de la tarea. Esto es de vital importancia por dos motivos
fundamentales.
En primer lugar, para establecer reconocimientos formales para los docentes que mejor realizan
su funcin. En la actualidad, la mayora de los sistemas educativos en nuestra regin otorgan el
mismo tratamiento funcional y salarial a todos los docentes, independientemente de la calidad y
compromiso profesional con que realicen su tarea. Las diferencias tienen que ver con la antige-
dad o con el tipo de establecimiento en que el docente se desempea, pero no con la calidad de
su trabajo.
http://www.ucu.edu.uy/Home/Facultadesyreas/CienciasHumanas/Institutos/EvaluacinEducativa/
Actividades/Formacin/tabid/1262/Default.aspx.
Pedro Ravela
134027 _ 0001-0184.indd 121 16/3/09 16:10:37
122
Esto, en el largo plazo y en un contexto en que muchos docentes adolecen de serias carencias for-
mativas, en tanto otros incumplen en forma reiterada sus obligaciones bsicas asistir a sus clases,
prepararlas adecuadamente, preocuparse por el aprendizaje de todos los estudiantes, desestimu-
la a los mejores docentes y conduce a una cultura de autocomplacencia, ausencia de exigencias y
falta de compromiso que adems se transmite a los estudiantes.
Esta situacin puede ilustrarse recurriendo a los versos de Enrique Santos Discpolo, en su tango
Cambalache:
Hoy resulta que es lo mismo
ser derecho que traidor...
Ignorante, sabio, chorro,
generoso, estafador...
Todo es igual. Nada es mejor.
Lo mismo un burro que un gran profesor.
No hay aplazados, ni escalafn,
los inmorales nos han igualado...
Con estos versos podra caracterizarse la poltica de recursos humanos de la mayora de los siste-
mas educativos en nuestra regin.
En segundo lugar, un sistema de evaluacin de esta naturaleza es vital para que el sistema educa-
tivo pueda identifcar a los buenos docentes con el fn de encomendarles nuevas tareas. En la ac-
tualidad, el sistema educativo es ciego con relacin a sus propios recursos humanos. Carece de
mecanismos para identifcar, promover y aprovechar la capacidad de sus mejores docentes, sim-
plemente porque no sabe quines son ni dnde estn. El talento y el valor personal y profesional
que poseen estos docentes es desperdiciado por el sistema. Solo lo conocen y aprovechan algunos
de quienes se encuentran en sus entornos inmediatos, pero el sistema como tal no lo hace.
Para articular estos dos propsitos sera necesario un sistema de carrera docente de tipo escalar
(Morduchowicz, 2002), que se caracteriza por establecer categoras profesionales que suponen
niveles crecientes de competencia profesional, entre las que se transita a travs de mecanismos
formales de evaluacin del desempeo. Cada categora supone una mejora salarial con relacin a
la anterior, as como la asuncin de nuevos roles y responsabilidades.
El Cuadro 1 ilustra un sistema de este tipo (Ravela, 2008). Los docentes participaran del mismo
de forma voluntaria y en los momentos en que lo deseen, tantas veces como lo deseen. Una eva-
luacin sistemtica, a travs de diversidad de instrumentos, dara lugar a la ubicacin del docente
en una categora profesional, en una escala de cuatro posiciones.
A medida que el docente avanza en esta escala, mejorara su remuneracin y el reconocimiento
profesional pero, sobre todo y ms importante, su carga de horas en aula se reducira (sin eli-
minarse nunca del todo) para asumir nuevas funciones: acompaamiento a futuros docentes en
proceso de formacin, tutora a estudiantes con difcultades, induccin de nuevos docentes, ela-
boracin de materiales curriculares, coordinacin de equipos de docentes, evaluacin de otros
docentes.
La evaluacin del desempeo docente para el desarrollo de las competencias profesionales
134027 _ 0001-0184.indd 122 16/3/09 16:10:38
123
Esta lgica de carrera docente tiene como virtud principal, ms all del reconocimiento a los
buenos docentes, que generara un crculo virtuoso en el sistema educativo, en la medida que se
crean nuevas funciones que son indispensables y que los roles de orientacin y modelamiento
son ocupados por los mejores docentes cosa que nuestros sistemas de seleccin actuales no
garantizan en absoluto, con lo cual muchas funciones, como la del supervisor, estn fuertemente
devaluadas.
Cuadro 1. Una propuesta de sistema de evaluacin y de carrera docente articulados
Nivel o posicin Funciones Requisitos de acceso
Etapa inicial Enseanza en carcter interino. Ttulo docente.
Etapa
profesional
Enseanza con carcter
de titular.
Orientacin o tutora
de estudiantes.
Cinco aos en el nivel anterior.
Informes favorables de desempeo
de sus directores.
Pruebas de conocimientos
disciplinares y de didctica.
Profesional
avanzado
Enseanza.
Tutor de prctica docente.
Seguimiento y orientacin
a nuevos docentes.
Elaboracin de materiales
curriculares y guas para
la enseanza.
Cinco aos en el nivel anterior.
Informes favorables de desempeo
de sus directores.
Pruebas de didctica.
Presentacin de carpeta de materiales
de enseanza empleados en sus
clases.
Curso de capacitacin para orientacin
de docentes.
Profesional
experto
Enseanza.
Coordinador de departamento
o asesor pedaggico.
Formador de docentes
en servicio.
Evaluador de pares.
Cinco aos en el nivel anterior.
Informes favorables de desempeo
de sus directores.
Pruebas de conocimientos avanzados
en su disciplina.
Presentacin de carpeta que recoja su
trabajo como orientador de docentes.
Presentacin de carpeta de materiales
curriculares elaborados.
Curso de capacitacin para evaluacin
de docentes.
La construccin de un sistema como el propuesto tiene varios requisitos importantes. En primer
lugar, es preciso construir un marco conceptual apropiado y de amplia aceptacin acerca de qu
es buen desempeo docente. Ello requiere el involucramiento de la profesin docente. En segun-
do trmino, la legitimidad del sistema se apoya sobre el diseo de un conjunto de instrumentos y
procedimientos de alta calidad tcnica, que den lugar a procesos de evaluacin rigurosos, vlidos,
justos y reconocidos como legtimos por el cuerpo docente. En tercer lugar, es necesario cons-
Pedro Ravela
134027 _ 0001-0184.indd 123 16/3/09 16:10:38
124
tituir progresivamente un cuerpo de evaluadores cuya idoneidad sea ampliamente reconocida.
Con el paso del tiempo, el propio sistema permitir identifcar a docentes expertos para que
acten como evaluadores.
Entre los instrumentos centrales para los procesos de evaluacin del desempeo docente que un
sistema as involucrara cabe destacar los siguientes:
Informes del desempeo del docente en los centros educativos en los que trabaja, que incluyan
aspectos tales como el cumplimiento de las obligaciones funcionales, la participacin en la
comunidad educativa, el vnculo con los estudiantes y el compromiso con los proyectos insti-
tucionales.
Pruebas de dominio de los conocimientos de las disciplinas que el docente ensea.
Pruebas de didctica de dichas disciplinas.
Carpetas o portafolios con muestras de diversas facetas de su trabajo.
Observacin del docente en el aula y entrevista en detalle por parte de evaluadores pares o
supervisores, especialmente entrenados para la tarea.
Un sistema como el propuesto tendra la potencialidad de provocar, a medio plazo, una dinmica
positiva en varias dimensiones del sistema educativo:
Los mejores profesores estaran orientando a los nuevos docentes, supervisando a sus colegas,
evaluando y seleccionando a sus futuros reemplazos.
El sistema comenzara a otorgar reconocimiento simblico y econmico a los buenos docentes.
Permitira vincular mejoras salariales importantes con capacidad y compromiso profesional
reconocidos y con el desempeo de nuevas funciones.
Abrira nuevas oportunidades profesionales que serviran para retener buenos docentes en el
sistema.
Enriquecera al sistema educativo con nuevas funciones, indispensables e inexistentes, que se-
ran desempeadas por los docentes ms competentes.
Permitira al sistema aprovechar y crear un efecto multiplicativo a la capacidad de sus mejores
docentes.
EVALUACIN, CONOCIMIENTO PRCTICO Y MEJORA DE LA ENSEANZA
La propuesta incluida en el apartado anterior est basada en un esquema de evaluacin con con-
secuencias, articulado con un sistema de carrera docente que involucra los aspectos salariales y
de funciones docentes.
En paralelo con el anterior, sera necesario disear un conjunto de dispositivos dirigidos a rom-
per el carcter cerrado, aislado y egocntrico en sentido piagetiano del trmino del ejercicio
de la profesin, con el fn de transformarla en una profesin abierta a la mirada de los otros y al
aprendizaje continuo a partir de la refexin sobre la prctica.
La evaluacin del desempeo docente para el desarrollo de las competencias profesionales
134027 _ 0001-0184.indd 124 16/3/09 16:10:38
125
Abrir realmente el aula a los pares y a supervisores u orientadores pedaggicos requiere de un
dispositivo de evaluacin sin consecuencias funcionales que puedan constituir amenazas para
el evaluado, pues esto, si bien legtimo para otra fnalidad, pervierte la fnalidad formativa. Si el
docente va a ser califcado de algn modo, el carcter formativo de la evaluacin se esfuma.
Un antecedente interesante en la regin lo constituye El Salvador, que hace algunos aos transfor-
m el cuerpo de inspectores en un cuerpo de asesores pedaggicos, con la funcin exclusiva de
brindar orientacin pedaggica a los docentes. Simultneamente se mantuvo un sistema de con-
trol administrativo paralelo, a cargo de un cuerpo de personal tcnico-administrativo diferente.
En esta lnea de pensamiento, el Informe McKinsey destaca el foco en la mejora de la prctica en
el aula, como una de las caractersticas centrales de los sistemas educativos cuyos estudiantes han
logrado los mejores desempeos en pruebas internacionales. Estos pases se caracterizan por:
Poner un foco importante en construir habilidades prcticas para la enseanza desde la for-
macin inicial por oposicin a la formacin exclusivamente terica que caracteriza a muchos
sistemas.
La constitucin de equipos de docentes expertos que apoyan el desarrollo profesional de los
docentes en las escuelas, modelan la enseanza y promueven el aprendizaje continuo.
Procedimientos apropiados y efectivos para la seleccin y desarrollo de lderes de enseanza.
Construccin de espacios de intercambio de experiencias y aprendizaje mutuo al interior de las
escuelas y como parte de la labor cotidiana de los docentes.
[...] algunos de los mejores sistemas han encontrado vas para hacer posible que los docentes apren-
dan unos de otros. En la mayora de las escuelas los docentes trabajan en forma aislada. En varios de
los mejores sistemas educativos, especialmente en Japn y Finlandia, los docentes trabajan en forma
conjunta, planifcan sus clases juntos, se observan mutuamente en el aula y se ayudan a mejorar unos
a otros. Estos sistemas crean una cultura en sus escuelas segn la cual la planifcacin colectiva, la
refexin sobre la enseanza y el acompaamiento entre pares constituyen la norma y una caracters-
tica constante en la vida escolar. Esto permite a los docentes aprender en forma continua (Barber y
Mourshed, 2007, p. 28).
Para captar la importancia de estos dispositivos es preciso comprender los diferentes tipos de co-
nocimiento que se ponen en juego en el ejercicio de la docencia. Por cierto, todo docente necesita
ser portador de conocimientos sobre la disciplina que va a ensear. Pero dominar la Matemtica
o la Filosofa es condicin necesaria pero no sufciente para ensearlas de manera apropiada.
Tampoco es sufciente estudiar tericamente la didctica de la disciplina, es necesario desarrollar
un conjunto de conocimientos prcticos, un tipo de conocimiento que no puede ser codifcado ni
transmitido a travs del lenguaje escrito. Se trata de una forma de conocimiento que las personas
llevan incorporado (in-corpore), es parte de su personalidad (Tenti, 2001). Esta forma peculiar
de conocimiento solo puede ser transmitida de unos a otros a travs del contacto personal y del
intercambio de experiencias.
Este hecho explica el fracaso de muchos esfuerzos de formacin en servicio en los pases de la
regin. En la medida en que los mismos estn orientados exclusivamente al plano de los discursos
y las ideas, no alcanzan a producir cambios en las prcticas de enseanza en el aula y, como conse-
cuencia, tampoco en los aprendizajes. En dichos programas, los docentes bsicamente aprenden
Pedro Ravela
134027 _ 0001-0184.indd 125 16/3/09 16:10:38
126
los discursos y trminos pedaggicos de moda y polticamente correctos, pero no desarrollan
habilidades prcticas para modifcar sus modos de trabajar en el aula.
De all la importancia de implementar dos tipos de dispositivos de evaluacin formativa: la eva-
luacin por parte de expertos y la evaluacin a travs del intercambio entre pares.
La evaluacin formativa por parte de expertos sirve para ofrecer orientacin y modelos a los
nuevos docentes y a los docentes menos competentes. Muchas destrezas, conocimientos prcticos
y actitudes profesionales solo se adquieren en la relacin directa con un docente experto. Obvia-
mente, esto requiere de una adecuada identifcacin de estos expertos, para lo cual un sistema
como el descrito en el apartado anterior resulta crucial.
La evaluacin colectiva de las prcticas de trabajo en el aula es la otra gran avenida para construir
y compartir el conocimiento prctico que buena parte de los docentes genera a diario en el aula,
pero que no trasciende ms all de la puerta del saln de clases. Pero no basta con crear espacios
de trabajo colectivo, es preciso que estos tengan contenido y liderazgo. De lo contrario se trans-
forman en espacios de conversacin, que tampoco afectan a las prcticas de enseanza. En varios
pases de la regin, entre ellos Uruguay, se han creado espacios de coordinacin para los docentes
y horas de departamento, pero que no han logrado constituirse en un espacio de mejora de la
enseanza, simplemente porque no se ha logrado que los docentes abran sus aulas a sus colegas y
se focalicen en el anlisis de las prcticas de enseanza.
Los instrumentos de evaluacin para facilitar esta tarea son muy evidentes (la visita al aula, el
registro y anlisis posterior de clases en vdeo, la construccin y revisin colectiva de portafolios
o carpetas de trabajo, entre los ms relevantes), aunque su implementacin no es sencilla, tanto
por difcultades de tipo prctico (como, por ejemplo, coordinar los horarios de manera que los
docentes puedan visitarse mutuamente en sus aulas), como de tipo cultural (el temor a abrir el
aula a los colegas).
Wiggins (1998) propone, como primer paso en este camino, transparentar las evaluaciones que
hacemos de nuestros estudiantes a los dems colegas. Revisar colectivamente las propuestas, con-
signas y criterios de evaluacin puede ser un punto de partida para iniciar procesos de revisin de
la prctica entre pares y la creacin de relaciones realmente profesionales. Puede ayudarnos a salir
de nuestra inevitablemente distorsionada percepcin de qu estn aprendiendo los estudiantes.
Necesitamos, sugiere Wiggins, aprender a ser receptivos a las pruebas disponibles acerca de la
brecha inevitable entre nuestras intenciones educativas y nuestros efectos reales en los estudian-
tes. No se trata de establecer premios, ni castigos, ni culpas. Simplemente se trata de analizar
los datos empricos disponibles sobre lo que est ocurriendo con mis estudiantes, en mis clases.
Aprender a ver lo que ocurre en el aula y con cada uno de los estudiantes es el primer paso para
llegar a ser un buen docente. Para esto necesitamos ayuda, necesitamos abrirnos a la mirada de
los otros. La evaluacin de carcter formativo puede ser una herramienta central para ello.
Finalmente, lo que importa es comprender que, si el desafo contenido en este ltimo apartado no
se enfrenta de manera exitosa, difcilmente puedan ocurrir cambios en los modos de ensear. La
enseanza se torna una rutina ms o menos confortable, que permite sobrevivir al da a da con
los estudiantes. Y sin cambios en las formas de ensear, difcilmente se produzcan cambios en el
aprendizaje de los estudiantes.
La evaluacin del desempeo docente para el desarrollo de las competencias profesionales
134027 _ 0001-0184.indd 126 16/3/09 16:10:38
127
Evaluacin de los aprendizajes en el aula:
una conceptualizacin renovada
Juan Manuel Esquivel
INTRODUCCIN
Este captulo pretende principalmente presentar a los educadores una propuesta de evaluacin de
los aprendizajes congruente con una concepcin del aprendizaje fundamentada en el socio-cons-
tructivismo, que rene las teoras cognitiva y sociocultural. Shepard (2006) seala lo siguiente: si
bien hay muchos puntos discutibles no resueltos entre estas dos perspectivas y en el interior de
ellas, las considero compatibles. Esta propuesta se aleja del modelo de evaluacin de los apren-
dizajes que ha predominado en las aulas de nuestras escuelas primarias y secundarias durante las
ltimas dcadas. Tal modelo que podra caracterizarse, en trminos generales, por el empleo de
pruebas llamadas objetivas y por un uso frecuente de la evaluacin con el fn de califcar a los
estudiantes y, en muchas instancias, defnir y decidir aspectos importantes en sus vidas.
Considera la propuesta de este captulo que la enseanza, el aprendizaje y la evaluacin deben
constituirse en una unidad indisoluble (Coll, Martn y Onrubia, 2001), de manera tal que la eva-
luacin sirva para explicar tanto los aprendizajes de los estudiantes como la actividad instruccio-
nal del maestro. La evaluacin entonces servir para ofrecer informacin a los estudiantes acerca
de los aprendizajes alcanzados, a fn de que puedan asumir la responsabilidad de controlar sus
logros. Por otra parte, servir al docente para obtener informacin que le permita mejorar su
actividad didctica al planear y ejecutar actividades de enseanza.
La evaluacin, desde la perspectiva sealada en el prrafo anterior, ofrecer a los actores del
hecho educativo informacin til y relevante para mejorar cada uno su accin. A los alumnos,
para que los conocimientos construidos sean ms amplios, signifcativos y profundos, y a los
profesores, para que su actividad didctico-pedaggica sea ms efcaz en cuanto a promover esos
mejores aprendizajes. Como muy bien sealan Coll, Martn y Onrubia (2001), la evaluacin de
los aprendizajes puede estar o ponerse al servicio de un proceso de toma de decisiones de natura-
leza pedaggica o didctica (p. 4).
En los diferentes apartados de este captulo se pretende ofrecer a los profesores, en primer lugar,
una revisin de algunos conceptos tericos bsicos sobre evaluacin de los aprendizajes. Segui-
damente, se hace una crtica a la forma como se emplea, en trminos generales, la evaluacin de
los aprendizajes en las aulas de la educacin bsica y secundaria, y se fundamenta, desde la pers-
pectiva de una concepcin socio-constructivista de los aprendizajes, una evaluacin congruente
con tal concepcin. Finalmente, se ofrece una revisin general de los principios de la evaluacin
del desempeo y de la evaluacin autntica, que incluye informacin acerca de los principales
medios e instrumentos que emplea, y se brinda algunos ejemplos de estos.
134027 _ 0001-0184.indd 127 16/3/09 16:10:38
128
REVISIN DE CONCEPTOS FUNDAMENTALES
En su conceptualizacin ms amplia, la evaluacin de los aprendizajes es un proceso sistemtico
de acopio de informacin que permite al profesor emitir un juicio de valor sobre las adquisi-
ciones o aprendizajes que alcanzan sus estudiantes como resultado de su participacin en las
actividades de enseanza. La informacin que se recolecta est condicionada por la existencia de
dos elementos fundamentales: 1) Cules son los aprendizajes que se pretende que alcancen los
estudiantes?, y 2) Cules son las muestras observables en las tareas, realizaciones o ejecuciones
de los estudiantes que se consideran como pruebas del logro de los aprendizajes? Comnmente,
los aprendizajes se formulan en trminos de objetivos, mientras las pruebas se obtienen de la ob-
servacin de las tareas, realizaciones y ejecuciones de los estudiantes y de la aplicacin de escalas
y rbricas a estas.
Por otra parte, es importante analizar las funciones de la evaluacin. La evaluacin puede darse
en diferentes momentos de los procesos de enseanza y del aprendizaje, y tambin puede servir
para la toma de diferentes clases de decisiones, segn el propsito del empleo de la informacin
que genera. De estas dos perspectivas, tiempo y propsito, se originan las tres funciones bsicas
de la evaluacin: diagnstica o inicial, formativa y sumativa.
La evaluacin diagnstica se da al inicio de los procesos de enseanza y de aprendizaje. Sobre la
base del juicio de valor emitido, se toman las decisiones pedaggicas que han servido tradicio-
nalmente para fundamentar el planeamiento didctico de una unidad o curso en la realidad de
los conocimientos previos de los estudiantes. Los resultados de esta evaluacin han favorecido
adems una enseanza basada en los principios de la educacin inclusiva, pues han permitido
adaptar la enseanza a las caractersticas y necesidades de los estudiantes (Ainscow, 2001; Arnaiz,
2003, y Esquivel, 2006).
La evaluacin formativa es apropiada durante el desarrollo de los procesos de enseanza y de
aprendizaje. Permite ofrecer informacin a los estudiantes y a los profesores sobre los aprendiza-
jes logrados en un momento determinado de estos procesos. Esta conceptualizacin tradicional
se ha visto enriquecida con la propuesta que hace Sadler (1989), quien aport el modelo ms
aceptado de la evaluacin formativa. Este autor indic que no es sufciente que los maestros sim-
plemente sealen si las respuestas dadas en una prueba son correctas o incorrectas, o si la tarea
ejecutada (o el producto) exhibido refeja aprendizajes signifcativos. Esta retroalimentacin de-
ber ir necesariamente acompaada de criterios explcitos y claros de desempeo, as como de
informacin a los estudiantes sobre estrategias para facilitar el aprendizaje. Este aporte de Sadler
se acerca a la conceptualizacin aportada por Coll, Martn y Onrubia (2001), segn la cual la
informacin que ofrece el juicio de valor deber ayudar al profesor a tomar decisiones que me-
joren sus actividades de enseanza, y a los estudiantes, a mejorar su aprendizaje. Esta funcin de
regulacin de los procesos de enseanza y de aprendizaje hace que se lo denomine evaluacin
reguladora. Por otra parte, segn sealan los autores citados arriba, se ha subrayado su vertiente
formadora, es decir, su utilidad para que los alumnos aprendan a regular sus procesos de apren-
dizaje (p. 5).
Finalmente, la evaluacin sumativa, tambin denominada acumulativa o de resultados, se rea-
liza al terminar un perodo determinado de los procesos de enseanza y de aprendizaje. Tiene
como propsito principal califcar el grado del desempeo de los estudiantes en el logro de los
objetivos curriculares. Esta evaluacin se efecta usualmente al terminar perodos escolares de
Evaluacin de los aprendizajes en el aula: una conceptualizacin renovada
134027 _ 0001-0184.indd 128 16/3/09 16:10:38
129
diferente duracin, como los correspondientes a las unidades de aprendizaje, a las partes del cur-
so sealadas en el calendario escolar, como los trimestrales o los semestrales, al fnal de los cuales
deben entregarse a los padres de familia informes acerca del rendimiento acadmico estudiantil,
y a todo el curso lectivo. Tambin se da el caso de sistemas educativos en los cuales los profesores
realizan evaluacin sumativa en forma programada y sistemtica. Con los resultados de la evalua-
cin sumativa el profesor emite un juicio sobre el logro fnal de los aprendizajes y sobre esta base
se asigna al estudiante la califcacin numrica o alfabtica correspondiente al perodo evaluado.
Si se trata del fnal de un curso o de un perodo lectivo, esta califcacin permite una certifcacin
con fnes de promocin.
Como se ha indicado anteriormente, la evaluacin disociada de los procesos de enseanza y de
aprendizaje corresponde a un modelo de evaluacin de los aprendizajes fundamentado en la tra-
dicin psicomtrica, adoptada por la psicologa educativa y por una gran mayora de los evaluado-
res educativos. En este modelo (clsico o normativo) esencialmente se interpretan los resultados
del aprendizaje de un individuo, evaluado mediante pruebas, desde una perspectiva comparativa.
En otras palabras, el signifcado del resultado de un individuo adquiere sentido cuando se com-
para con los resultados del grupo al que pertenece o al grupo normativo. Sin embargo, existe otro
modelo de elaboracin y validacin de pruebas (modelo referido a criterios) que, por sus funda-
mentos y procedimientos, difere sustancialmente del descrito antes, aunque no tiene su solidez
terica y metodolgica. En la interpretacin de los resultados manifesta un sentido ms pedag-
gico, pues compara el resultado de un individuo con objetivos o intenciones de logro.
En esta revisin general de conceptos bsicos sobre evaluacin de los aprendizajes es necesario
dedicar un espacio de anlisis a algunos otros conceptos importantes. El primero se refere a la
conceptualizacin errnea del trmino medicin como sinnimo de evaluacin. Ya seala-
mos en un prrafo anterior que la evaluacin implica la emisin de un juicio de valor, basado
en informacin relevante. Esta informacin podra incluir el resultado de la medicin del logro
de algn objetivo, mediante la defnicin de indicadores observables en las tareas, exhibiciones
o producciones escritas, artsticas o de otra ndole de los estudiantes, que se comparan con los
objetivos o intenciones.
Al anlisis anterior hay que agregar la dimensin comunicativa que tiene la evaluacin. La co-
municacin que emite el profesor de los juicios de valor sobre el resultado del proceso evaluativo
siempre tiene un destinatario, sean estos los estudiantes, otros profesores, la colectividad de la
institucin educativa, los padres y madres y el mismo profesor, y tambin tiene un propsito. Sin
embargo, muchas veces el propsito del profesor puede ser distorsionado por las decisiones que,
con respecto al empleo de la informacin, tomen algunos de sus destinatarios.
LA EVALUACIN COMO PARTE INTEGRAL DE LA ENSEANZA
Y EL APRENDIZAJE
La evaluacin disociada de la enseanza y el aprendizaje
Tradicionalmente, el maestro ha considerado la evaluacin como un elemento importante de su
quehacer de aula, pero la ha aplicado al fnal de una unidad o curso para comprobar mediante ella
si los alumnos han logrado los aprendizajes esperados. Esa concepcin disocia la evaluacin de
la enseanza y del aprendizaje y la convierte en un ejercicio que infuye muy poco en la modif-
cacin de su prctica de la enseanza y en el mejoramiento de los aprendizajes de los estudiantes.
Juan Manuel Esquivel
134027 _ 0001-0184.indd 129 16/3/09 16:10:38
130
Como consecuencia de esta realidad, la evaluacin, para la mayora de los maestros, tiene un ni-
co propsito: justifcar las califcaciones de sus estudiantes. Para estos, la evaluacin se constituye
en el fltro determinante del xito o fracaso escolar, muchas veces lejos de la determinacin de los
verdaderos aprendizajes adquiridos.
Por otra parte, los maestros han recibido una formacin en evaluacin fundamentada terica-
mente en el modelo psicomtrico y con nfasis en la elaboracin de pruebas segn los dictados de
la elaboracin de los tests, en un modelaje de los tipos de preguntas o tems que generalmente se
emplean en las pruebas estandarizadas. La conceptualizacin de la evaluacin como sinnimo de
medicin, que generalmente hacen los maestros, es una consecuencia de la importancia que tiene
el modelo psicomtrico en la formacin inicial del educador. Esta conceptualizacin se refuerza
con la presencia, en los cursos de evaluacin de los aprendizajes, de una unidad de estadstica
descriptiva, que deriva en los anlisis de calidad de los tems y en el anlisis de confabilidad y
validez dependientes de la comprensin de la estadstica y de las premisas bsicas del modelo
psicomtrico: la curva normal y la necesidad de una alta variabilidad de los puntajes. Son muy
pocos los maestros que se cuestionan el hecho de que estas dos premisas son esencialmente con-
trarias a la fnalidad ltima de su papel como docente: facilitar con sus actividades de enseanza
el mayor aprendizaje posible en el mayor nmero posible de sus estudiantes. Los puntajes de los
alumnos que alcancen estos logros no conformarn una curva normal, ni lograrn una dispersin
o variabilidad como se esperara para considerar los parmetros de la prueba y sus tems como
adecuados.
La imitacin del evaluador profesional por parte del maestro en la elaboracin de preguntas,
como se enfatiza en su formacin, propugnar la elaboracin de preguntas que se caractericen
por solicitar al estudiante que seleccione una respuesta verdadera entre varias opciones o que
identifque una relacin simple, que llene un espacio en blanco, que identifque la veracidad o
falsedad de una frase o de preguntas que requieren para su respuesta escrita nicamente la me-
moria o que son de muy poca elaboracin de parte del estudiante. Adems se da el caso de que la
mayora de los libros de evaluacin de los aprendizajes que se encuentran a la disposicin de los
maestros
1
hacen nfasis en la elaboracin de preguntas como las antes citadas. Todas ellas pre-
sentan una caracterstica comn: la respuesta se califca como buena o mala, lo cual implica que la
califcacin del test compuesto por estas se realiza sin la participacin del criterio del profesor. De
all que se encuentre que los maestros emplean preguntas de los tipos citados anteriormente, que
solicitan del alumno solamente la memorizacin o la comprensin de relaciones simples. Cada
vez es ms difcil encontrar en las pruebas confeccionadas por el maestro preguntas de ensayo en
las que se solicita al estudiante la construccin de una respuesta.
Rpidamente, el estudiante se convence de que hay unas reglas de juego que conviene seguir,
que indican que hay que lograr buenas califcaciones y que, para hacerlo, debe contestar bien las
preguntas de una prueba. Esta prueba exige memorizar hechos, relaciones, frmulas, procedi-
mientos y comprender relaciones simples entre estos contenidos. Como resultado, pocos apren-
dizajes son signifcativos. El alumno estudia para responder en la prueba, haciendo nfasis en
1
He examinado los 18 libros que aparecen ms comnmente en la bibliografa de los cursos de evalua-
cin de los aprendizajes en escuelas formadoras de docentes de Costa Rica, y solamente uno no hace
nfasis en la elaboracin de preguntas objetivas o caracterizadas por una respuesta que se califca como
buena o mala.
Evaluacin de los aprendizajes en el aula: una conceptualizacin renovada
134027 _ 0001-0184.indd 130 16/3/09 16:10:38
131
la memorizacin, sin una conciencia clara con respecto a los aprendizajes y su importancia. Lo
hace durante un perodo corto y determinado, cuando se acerca la fecha de cada prueba. Pero
esta realidad le ensea la poca importancia que tienen los aprendizajes, que tiene la conciencia
de haber alcanzado.
El maestro como protagonista en la rendicin de cuentas
Durante los ltimos veinte aos se ha producido un movimiento muy importante en Latinoam-
rica, tendente a establecer sistemas nacionales de evaluacin del logro de los estudiantes (Rojas
y Esquivel, 1998; Ferrer, 2007). Esta tendencia corresponde a una concepcin economicista de la
educacin, que pretende medir la efciencia de los sistemas educativos mediante la medicin del
logro de los aprendizajes de los estudiantes. Algunos pocos sistemas nacionales emplean pruebas
estandarizadas, cuyos resultados pueden tener consecuencias graves para los estudiantes, pues
sirven para decidir la graduacin en un determinado nivel de la educacin. Las hay tambin con
resultados cuyas consecuencias son menos graves, pues se emplean como informacin diagns-
tica del sistema educativo.
El hecho de que en estos sistemas se empleen pruebas estandarizadas constituye para el maestro
una presin para que imite el tipo y la forma de preguntas que se aplican en estos tests. Signifca
para el maestro una razn ms para elaborar pruebas con preguntas de opcin mltiple en la eva-
luacin de las intenciones u objetivos correspondientes a aprendizajes que los estudiantes deben
alcanzar. Pero las consecuencias de la administracin de estas pruebas son muy preocupantes, so-
bre todo en aquellos casos en que los resultados signifcan consecuencias graves, pues incentivan
la tendencia a ensear para la prueba.
Las pruebas estandarizadas ofrecen grandes ventajas para la medicin de caractersticas psico-
lgicas del ser humano y como determinantes generales del rendimiento acadmico o del logro
de los aprendizajes, y pueden cumplir una funcin vlida de rendicin de cuentas en un sistema
educativo. Sin embargo, tienen poca utilidad en la evaluacin de los aprendizajes en el aula y en
la determinacin de los aprendizajes complejos de los estudiantes, por las limitaciones impuestas
por el tipo de pregunta empleada y por el modelo estadstico que lo fundamenta.
Existen datos que demuestran que el empleo de este tipo de pruebas en el aula tiene un efecto
perjudicial en la calidad de la enseanza y el aprendizaje de los estudiantes (Resnick y Resnick,
1992, citado por Shepard, 2006).
La evaluacin segn una concepcin integradora
Como se seal en la introduccin, la evaluacin puede ponerse al servicio de la toma de decisio-
nes de naturaleza pedaggica y didctica. En otras palabras, se confere una funcin pedaggica a
la evaluacin, que se logra por la aplicacin de la evaluacin formativa, mediante la cual se evala
continuamente durante todo el proceso de enseanza y de aprendizaje. Las tareas y medios de
la evaluacin son una extensin de este proceso, que enfatiza una caracterizacin cualitativa y
dinmica de los aprendizajes. Esta funcin pedaggico-didctica es de carcter integrador, en
el sentido de que hace posible la integracin de la unidad enseanza, aprendizaje y evaluacin.
A esta funcin pedaggica se contrapone una funcin social de la evaluacin, que separa las
actividades de la evaluacin de los procesos de enseanza y de aprendizaje. Esta concepcin se
caracteriza, entre otras razones, por el empleo de la evaluacin sumativa; por el nfasis en los re-
Juan Manuel Esquivel
134027 _ 0001-0184.indd 131 16/3/09 16:10:38
132
sultados cuantitativos y estadsticos, que redunda en la califcacin de los estudiantes al fnal del
proceso de enseanza y de aprendizaje; por el empleo de pruebas escritas de tipo test, hechas por
el profesor, pero que imitan las pruebas estandarizadas. Esta funcin social hace que la evaluacin
est disociada de los procesos de enseanza y de aprendizaje.
En la realidad del proceso educativo que se da en las aulas de nuestras escuelas existen tensiones
entre estas dos funciones, la social y la pedaggico-didctica, pero predomina la funcin social.
Estas tensiones provienen del fuerte impulso que se ha dado a la teora constructivista para ex-
plicar el aprendizaje y dirigir la enseanza. Ello es evidente en los documentos curriculares y
en el discurso de los curriculistas de los Ministerios de Educacin, en contraposicin con una
evaluacin que contina cumpliendo en la mayora de los casos una funcin social por la cos-
tumbre, por la falta de formacin de los curriculistas y los docentes o por reglamentos o normas
de evaluacin.
Esta situacin debe cambiar. Existe la necesidad de que los tericos del currculo de los ministerios
y los profesores comprendan los elementos bsicos de una evaluacin con funcin pedaggico-
didctica, fundamentada en la concepcin socio-constructivista del aprendizaje, y la apliquen. De
esta manera, la evaluacin estar relacionada con un modelo cognitivo que no excluye la ayuda
social que el enfoque sociocultural aporta con respecto a cmo aprende el estudiante.
Breve conceptualizacin del aprendizaje socio-constructivista
La concepcin cognitiva del aprendizaje constituye una reaccin contra la psicologa de las di-
ferencias individuales y el conductismo, cuyo inters fundamental era la adquisicin de cono-
cimientos, habilidades y destrezas, pocas veces integradas en competencias complejas, que se
evidenciaban en conductas observables. En la concepcin cognitiva, los aprendizajes son cons-
truidos por los aprendices al realizar conexiones entre la nueva informacin y las estructuras
previas de conocimiento. Los esquemas mentales desempean la funcin de organizar el cono-
cimiento. De tal forma, estos pueden ser recuperados y utilizados en nuevas situaciones cuando
se necesita. Por otra parte, estos esquemas se aprovechan tambin en los procesos llamados de
metacognicin, que permiten a quienes aprenden monitorear y manejar su propia compren-
sin y aprendizaje. Otros elementos importantes que enfatizan los cognitivistas son el papel de
la comprensin conceptual y la transferencia (el uso del conocimiento en situaciones novedo-
sas), que se hace posible por la adquisicin de generalizaciones y el empleo de los esquemas
que permiten reconocer similitudes en las distintas tareas que se presentan. Por otra parte, el
modelo sociocultural (Vigosky, 1978) enfatiza la naturaleza social del aprendizaje y la idea de
que la competencia y la identidad de quienes aprenden se desarrollan por medio de la participa-
cin mediada socialmente en una actividad prctica llena de signifcado (Shepard, 2006, p. 17).
Esta autora propone una concepcin del aprendizaje socio-constructivista, que rene las teoras
sociocultural y cognitiva. As pues, la primera establece que los procesos sociales respaldan y
defnen el aprendizaje, y la segunda permite entender los procesos mentales subsecuentes y re-
currentes del individuo.
Caracterizacin de la evaluacin con funcin pedaggico-didctica
En prrafos anteriores se estableci una caracterizacin breve de la evaluacin para que corres-
ponda a la funcin pedaggico-didctica. Las caractersticas necesarias para ello se explican con
mayor detalle a continuacin:
Evaluacin de los aprendizajes en el aula: una conceptualizacin renovada
134027 _ 0001-0184.indd 132 16/3/09 16:10:38
133
Los objetivos o intenciones de aprendizaje deben estar claramente defnidos y deben ser en-
tendidos de igual forma por el profesor y sus estudiantes. Estas intenciones debern ser objeto
de discusin en la sala de clase y de una debida apropiacin por parte de todos los actores:
estudiantes y profesor.
Adems deben estar igualmente claros los criterios con que se juzgarn las tareas, demostra-
ciones, exhibiciones y resolucin de problemas con que el estudiante demostrar el dominio de
los aprendizajes. La elaboracin conjunta o la discusin de una propuesta de las hojas o escalas
de califcacin o rbricas entre el profesor y los estudiantes constituye una excelente forma de
comprensin de esos criterios.
El desempeo del estudiante deber ser juzgado en relacin con los criterios defnidos y no
comparando su desempeo con el de sus compaeros (evaluacin referida a criterios).
Los estudiantes debern participar en la valoracin de sus propios aprendizajes y en la valora-
cin del aprendizaje de sus compaeros. En otras palabras, el profesor incluir oportunidades
de autoevaluacin y coevaluacin en el planeamiento de su proceso de enseanza.
La evaluacin deber ser esencialmente formativa y formadora. Estas caractersticas implican
que el profesor no solo deber ofrecer numerosas y continuas oportunidades para que el es-
tudiante se enfrente a situaciones problemticas que le permitan demostrar sus aprendizajes,
sino tambin establecer el clima apropiado para una clara retroalimentacin que sea entendible
y que ofrezca al estudiante la oportunidad de llenar las carencias y refexionar sobre su propio
aprendizaje. La evaluacin formadora requiere no solo que los estudiantes se apropien de los
objetivos o intenciones, como se ha explicitado en una caracterizacin anterior, sino tambin
que logren supervisar su propio mejoramiento y asumir la plena responsabilidad de su apren-
dizaje.
Los estudiantes deben realizar procesos mentales ms complejos y retadores, pues las activida-
des de evaluacin los obligan a ejercitarse en estos procesos.
Es importante la comprensin por parte del profesor de las consecuencias motivacionales de
la retroalimentacin, pues podran tener consecuencias negativas el empleo de elogios falsos o
exagerados y la retroalimentacin negativa directa. Facilitar el aprendizaje es la fnalidad fun-
damental de la retroalimentacin; por lo tanto, este propsito debe ser bien comprendido por
los profesores y los estudiantes.
La relacin estrecha entre enseanza, aprendizaje y evaluacin se ejemplifca con el diseo y la
ejecucin de actividades de evaluacin que se constituyan de la forma ms semejante posible
en ejemplos de los objetivos reales de aprendizaje. De tal manera, las actividades de enseanza
se convierten en actividades de evaluacin.
Shepard (2006) propone el concepto de encarnar como la caracterizacin completa de la ali-
neacin entre las tareas, los proyectos y las preguntas complejas o problemas a que se enfrentan
los estudiantes y todos los elementos constitutivos que se han especifcado como comprensio-
nes y capacidades que se quiere que logren.
La evaluacin debe ser continua. Las oportunidades de realizar evaluaciones formativas se pla-
nifcan de tal forma que se presenten durante todo el proceso de enseanza y de aprendizaje.
Juan Manuel Esquivel
134027 _ 0001-0184.indd 133 16/3/09 16:10:38
134
La evaluacin se constituye en un recurso para juzgar la docencia y signifca una oportunidad
de mejoramiento del proceso de enseanza.
La calidad de los instrumentos y medios que se utilizan para evaluar es importante. Esta calidad
se podra juzgar, desde la perspectiva de las demostraciones de su validez, por lo siguiente:
1. El alineamiento que presenten con respecto a los objetivos o intenciones y los criterios con
los que se juzgan.
2. La congruencia con las actividades de enseanza.
3. Su representatividad entre las posibles situaciones o problemas que ejemplifcan las inten-
ciones u objetivos.
Tambin, la calidad de los instrumentos y medios se podra juzgar por la confabilidad de los
resultados. Metodolgicamente podra calcularse la confabilidad de la aplicacin de los crite-
rios para juzgar un logro determinado:
1. Por parte de todos los estudiantes y el profesor.
2. En la autoevaluacin por parte del estudiante en diferentes ocasiones.
3. En la coevaluacin por parte de los coevaluadores.
Ante la realidad de que nuestros sistemas educativos privilegian la evaluacin sumativa en su
acepcin acreditativa, porque lo establecen las normas legales o por la costumbre, se debera
procurar lo siguiente:
1. Que tenga un papel menos protagnico en la educacin bsica. Que en esta se incremente su
empleo conforme aumenta el nivel educativo, empezando despus del tercer ao escolar.
2. Que se realice de tal manera que se juzgue el desempeo del individuo respecto a los cri-
terios establecidos y no con respecto al desempeo de los otros estudiantes (evaluacin
criterial en vez de evaluacin normativa).
3. Que los resultados obtenidos se empleen tambin para retroalimentar a los estudiantes y
para modifcar y mejorar la enseanza.
4. Que sirvan para verifcar el logro de aprendizajes importantes y complejos (competencias)
por parte de los estudiantes y que tengan relacin con desempeos evaluados mediante la
evaluacin formativa.
Una de las propuestas sobre evaluacin de los aprendizajes que responde desde la perspectiva
de su defnicin, propsitos, estructuracin, instrumentos y medios a las caractersticas antes
analizadas es la evaluacin del desempeo, conocida tambin como evaluacin de la actuacin.
Los apartados siguientes de este captulo se dedicarn a desarrollar sus elementos constitutivos.
EVALUACIN DEL DESEMPEO
Defnicin
La defnicin de la evaluacin del desempeo que aqu se ofrece fue elaborada sobre la base de las
caractersticas establecidas por varios autores:
Evaluacin de los aprendizajes en el aula: una conceptualizacin renovada
134027 _ 0001-0184.indd 134 16/3/09 16:10:38
135
Es un enfoque de evaluacin en el que los estudiantes deben ejecutar tareas, mostrar ejecuciones o re-
solver problemas, en vez de simplemente proveer respuestas marcadas, escritas u orales de una prueba.
El desempeo se juzga contra criterios preestablecidos y de naturaleza mltiple. Enfatiza la evaluacin
de conocimientos y habilidades complejas y de alto nivel de pensamiento, en un contexto del mundo
real en que se emplean esos conocimientos y habilidades. Emplea diversos instrumentos y medios que
requieren un tiempo sustancial de parte de los estudiantes para completarla (Wheeler y Haertel, 1993,
y Swanson, Norman y Linn, 1995).
Es importante destacar varios elementos de esta defnicin:
Los estudiantes realizan tareas, muestran sus logros o resuelven problemas. En otras palabras,
se hace nfasis en la produccin ms que en la reproduccin. Son importantes los discursos, la
elaboracin de objetos y el desempeo que se muestre en productos concretos.
Se establecen previamente criterios con los que se juzga el trabajo del estudiante. Estos criterios
dependern del juicio de los seres humanos involucrados en el proceso de defnirlos.
Se evalan conocimientos y habilidades complejas. Ello podra interpretarse como la evalua-
cin de competencias. Esta caracterstica puede implicar el empleo de la indagacin disciplina-
da: aplicacin de los conocimientos previos, el entendimiento profundo y la integracin para
producir, ensamblar, interpretar informacin, formular nuevas ideas y formular crticas.
Las tareas, los problemas o los proyectos se contextualizan en la realidad del estudiante y su
entorno. Esta caracterstica aade a la evaluacin del desempeo la denominacin de autn-
tica.
El tiempo que requiere el estudiante para ejecutar las tareas, problemas o proyectos es sustan-
cial. Que puede incluir realizar trabajo fuera de clase y aun por varios das.
La evaluacin del desempeo tiene consecuencias para los actores del proceso de enseanza y del
proceso de aprendizaje, por estas razones:
Es signifcativa para el estudiante, pues lo convierte en un participante activo de la evaluacin.
El estudiante debe expresar el conocimiento logrado mediante varias formas de desempeo.
Al profesor lo obliga a reenfocar su accin didctica: esta ser menos directiva y l se convertir
en un docente ms guiador-facilitador del aprendizaje.
La evaluacin se convierte en parte necesaria del proceso de enseanza y del proceso de apren-
dizaje, no solo porque la evaluacin implica privilegiar la evaluacin formativa, sino tambin
porque el estudiante aprende en las actividades de evaluacin.
El currculo se modifca, pues pasa de listados de contenidos y habilidades a descripciones de
desempeos, tales como distintas clase de productos, de discursos, de artefactos y de proyectos
o tareas que el estudiante debe realizar.
Los ambientes educativos se transforman, pues se caracterizarn por la colaboracin entre es-
tudiantes, por el acceso a recursos de diversa ndole, por la fexibilidad en el ritmo del apren-
dizaje, por la oportunidad de conversar sustantivamente e intercambiar informacin y por un
uso fexible del tiempo.
Juan Manuel Esquivel
134027 _ 0001-0184.indd 135 16/3/09 16:10:38
136
Medios e instrumentos
Se distinguen varias clases de medios e instrumentos que emplea la evaluacin del desem-
peo:
1. La observacin del trabajo del estudiante por parte del profesor y por parte del mismo estudian-
te. La observacin ser ms efectiva si se tiene una gua que dirija la observacin y un registro
que permita sistematizar las observaciones. Tambin resultan tiles una escala de califcacin,
una hoja de cotejo o una rbrica; sin embargo, estos ltimos recursos requieren para su aplica-
cin condiciones difciles de alcanzar en algunos casos.
2. Muestras de desempeo. Son documentos o artefactos que indican los logros de los estudiantes.
En general, se trata de productos y no de procesos. La valoracin de estas muestras requerir
la confeccin y uso de una rbrica.
3. Pruebas. Estarn constituidas por preguntas de formato abierto, por preguntas analticas o por
problemas. Se trata de pruebas en las que el estudiante podra tener la oportunidad de consul-
tar diversos materiales o que podran responderse o completarse en su casa.
4. Tareas o proyectos. Son trabajos de diversa ndole segn la disciplina y habilidades de que se
trate. Requieren planeamiento, ejecucin y la presentacin de un informe. Por ejemplo, en
Ciencias Naturales podran estar constituidos por investigaciones sencillas para redescubrir
principios y practicar los procesos cientfcos.
5. Exposiciones. Se trata de discursos, obras de arte o artefactos producidos por los estudiantes
que se muestran a un pblico. Pueden ser proyectos tecnolgicos o cientfcos que se exhiben
y explican en una feria cientfca.
6. Portafolios. En trminos generales, es una carpeta que contiene informacin acerca de las expe-
riencias y logros del estudiante. Ms adelante se realizar una explicacin ms extensa de este
medio.
Las rbricas
En las explicaciones anteriores se ha establecido que las rbricas son escalas de califcacin que
desarrolla el profesor y discute con sus estudiantes. En algunos casos podran ser elaboradas
conjuntamente por el educador y los alumnos. Contienen descripciones detalladas de los niveles
de logro que podra alcanzar un estudiante en una tarea, en la elaboracin de un producto o de
un proyecto. Adems presentan una escala, que puede ser cualitativa, cuantitativa o una mezcla
de ambas, la cual califca los diferentes niveles de logro. Tal escala est claramente articulada con
todos los niveles. Para Mabry (1999), una rbrica contiene las reglas por las cuales se determina
la calidad de las respuestas, los productos o las tareas.
La elaboracin de la rbrica requiere que el profesor tenga claro el marco de referencia conceptual
de la tarea que se va a califcar, as como el objetivo o la competencia que se quiere que el estudian-
te demuestre. Deber describir los niveles de logro y establecer la escala con que se califca cada
uno de esos niveles. Es importante insistir en que la rbrica debe ser claramente entendida por
los estudiantes y que su discusin es necesaria. Ms adelante se ofrecer un ejemplo de rbrica
general para emplearse en Matemticas.
Evaluacin de los aprendizajes en el aula: una conceptualizacin renovada
134027 _ 0001-0184.indd 136 16/3/09 16:10:38
137
Ejemplos de evaluaciones de desempeo
A continuacin se ofrecern ejemplos de algunos medios e instrumentos. Estos se tomaron de
diversas fuentes, que se sealan en cada uno de ellos.
Matemticas
TAREA DE TEORA DE NMERO
Yolanda le cont a su hermano Damin lo que hizo en su clase de Matemticas.
Yolanda le dijo: Damin, hoy emple bloques en mi clase de Matemticas. Cuando agrup los blo-
ques en grupos de dos, me sobr un bloque. Cuando agrup los bloques en grupos de tres, me so-
br tambin un bloque. Y cuando los agrup en grupos de cuatro, tuve an un bloque sobrante.
Damin le pregunt: Cuntos bloques tenas en total?.
Cmo contest Yolanda la pregunta de su hermano?
Muestre su trabajo
TAREA DE INTERPRETACIN DE UN GRFICO
Use el grfco que se muestra ms abajo y la siguiente informacin para escribir una historia o cuento
acerca de la caminata de Antonio.
Al medioda Antonio empez a caminar hacia la casa de su abuela, adonde lleg a las 3 pm. El grfco
muestra la velocidad de Antonio, en millas por hora, durante su caminata.
Velocidad
(millas por hora)
Tiempo
12:00
0
12:30 1:00 1:30 2:00 2:30 3:00
8
Escriba una historia acerca de la caminata de Antonio. En su historia, describa lo que pudo haber estado
haciendo Antonio en los diferentes momentos de su caminata.
Tomado de Lane, S.; Liu, M.; Ankenmann, R. y Stone, C. (1996)
Segn los autores, estas tareas estn constituidas por preguntas de fnal abierto y pretenden eva-
luar un marco de referencia contextual de cuatro componentes: contenido matemtico, proceso
cognitivo, modo de representacin y contexto de la tarea. Este marco de referencia es la base de la
rbrica que se emplea en el proyecto QUASAR (Lane, 1993).
Juan Manuel Esquivel
134027 _ 0001-0184.indd 137 18/3/09 18:05:02
138
Ciencias
PULSO CARDACO
El sistema circulatorio de una persona se ve afectado por muchas razones. El cambio en el ritmo carda-
co puede depender de factores tales como:
la cantidad de tiempo en que una persona se ejercite (duracin),
la clase de ejercicio que l o ella hace (tipo),
cun fuertemente l o ella se ejercite (intensidad) y
la condicin fsica general de la persona.
Un valor aproximado de la condicin fsica se puede obtener al computar el tiempo que requiere el ritmo
cardaco para regresar despus del ejercicio al nivel de descanso. En su proyecto, usted debe hacer lo
siguiente:
1. Escribir un problema y una hiptesis acerca de la relacin entre el pulso cardaco de una persona y la
duracin, tipo o intensidad del ejercicio que l o ella ejecuten. Usted emplear el pulso cardaco como
medida del ritmo cardaco.
2. Planear, disear y ejecutar un estudio para someter a prueba su hiptesis (podra necesitar recolectar
datos fuera de clase; sin embargo, todo el trabajo debe completarse dentro de los perodos designados
en clase). Recoja datos entre la gente, porque este estudio no debe ser una simple revisin de biblio-
grafa.
3. Tome nota de al menos cuatro resultados. Emplee tablas, cuadros o grfcos para mostrar sus resul
tados.
4. Escriba sus conclusiones acerca de la relacin, si existe alguna, entre el ritmo cardaco, la duracin, el
tipo o la intensidad del ejercicio.
5. Investigue y explique la infuencia de la condicin fsica (ftness) en la(s) relacin(es) que usted en-
contr entre el ritmo cardaco y el ejercicio. Fundamente sus explicaciones en los datos recolectados
y la informacin que encontr al investigar sobre el tema en la literatura.
6. Escriba un informe fnal.
Su profesor califcar su proyecto basndose solamente en su informe. Asegrese de que este incluya:
1. Un problema claramente defnido. Escrbalo en forma de pregunta.
2. Una hiptesis que tenga que ver con la relacin entre el ritmo cardaco y la duracin, el tipo o la in-
tensidad del ejercicio.
3. Una descripcin de su plan y del diseo de su estudio para investigar la hiptesis establecida. Ello res-
ponde a la pregunta: cules fueron sus procedimientos?. Incluya una descripcin de sus variables.
4. Una descripcin de la informacin que recolect para mostrar la relacin entre el ritmo cardaco y la
duracin, el tipo o la intensidad del ejercicio. Incluya una discusin de las limitaciones del estudio o
de los datos recolectados.
Evaluacin de los aprendizajes en el aula: una conceptualizacin renovada
134027 _ 0001-0184.indd 138 16/3/09 16:10:39
139
5. Un informe de sus resultados que puede ser fcilmente comprendido por cualquier persona que lo
lea. Incluya cuadros, grfcos o tablas si es necesario, as como las relaciones que encontr, si las hay,
entre el ritmo cardaco y la duracin, el tipo o la intensidad del ejercicio.
6. Las conclusiones o inferencias que usted obtuvo acerca de la relacin entre el ritmo cardaco y el
ejercicio, incluyendo la posible infuencia de la condicin fsica.
7. Determine y escriba si su hiptesis era la correcta.
Recuerde que quien lea su informe deber ser capaz de realizar el mismo estudio usando nicamente la
informacin contenida en tal informe.
Tomado de Kansas Science Assessment. Grade 8 (1995)
Esta tarea presenta una gran complejidad para jvenes de octavo ao, pues requiere el uso de
conocimientos y habilidades relativas al proceso cientfco. Los estudiantes deben planifcar un
estudio completo, establecer problemas e hiptesis, buscar y analizar la informacin bibliogrfca
referente al problema, defnir procedimientos, recolectar informacin apropiadamente, analizar
la informacin recolectada, interpretar los resultados a la luz de la hiptesis y de lo que las fuentes
bibliogrfcas establecen acerca de la relacin estudiada, y comunicar lo realizado mediante un
informe completo. En este informe se fundamentar la evaluacin, que se realizar empleando
una rbrica previamente defnida.
Lenguaje
TAREA DE ESCRIBIR UNA CARTA
La profesora de cuarto grado planea la enseanza de la elaboracin de una carta.
Primer da. Realiza una discusin con los estudiantes, a los que previamente ha agrupado de cinco en
cinco. Les reparte ejemplos de cartas y les pide que en cada grupo se identifquen las partes que en comn
tienen las cartas. En la discusin con todos los grupos juntos logra que, con la contribucin de todos
ellos, identifquen las partes constitutivas de una carta.
Seguidamente, solicita a cada uno de los alumnos ejecutar en sus casas o en su vecindario una tarea muy
concreta. Debern identifcar una situacin problemtica que tengan en su hogar, en el de algn vecino o
en el barrio, que amerite escribir una carta: a algn vecino, al representante vecinal ante el gobierno mu-
nicipal, a algn departamento municipal, al alcalde municipal, a alguna organizacin comunal, a alguna
organizacin de servicio (Cruz Roja, bomberos, etc.), a alguna empresa de servicio pblico (empresas de
agua, luz o gas), a alguna autoridad de las iglesias, etc. Tomar nota de la situacin, de a qu persona debe-
rn dirigir la carta y anotar el nombre de la persona que inform acerca de la situacin problemtica.
Segundo da. La profesora solicita a cada estudiante que escriba un primer borrador de la carta que
dirigir a la persona sugerida, describiendo la situacin y haciendo una solicitud determinada. Cada
estudiante escribe el primer borrador. La profesora les sugiere que hagan una revisin de ese borrador
y lo corrijan si lo consideran necesario, y les solicita que, en grupos de cinco, cada uno lea su carta a los
dems estudiantes del grupo con el propsito de que reciban observaciones de sus compaeros. Despus
de este ejercicio, les solicita que corrijan nuevamente con base en las observaciones recibidas de sus com-
paeros. Recoge esas primeras versiones de las cartas y las fotocopia. Devuelve el original de la carta a
cada estudiante y les solicita que la lleven a la persona que les indic la situacin problemtica, le pidan
Juan Manuel Esquivel
134027 _ 0001-0184.indd 139 16/3/09 16:10:39
140
que la lea y que les haga alguna observacin relativa a la descripcin del problema y a la peticin concre-
ta. Les solicita que tomen nota en su cuaderno de las observaciones de dicha persona.
Tercer da. La profesora recolecta los originales y les devuelve la fotocopia de la primera versin. Solicita
a los estudiantes que, con base en las observaciones de la persona que les sugiri la situacin problem-
tica, escriban una versin fnal de la carta. La profesora recolecta esta segunda versin.
Una semana despus. La profesora devuelve las dos versiones de la carta, con observaciones en cada
una, acompaadas de una rbrica en cada caso. Rene a los estudiantes en grupos de cinco y les solicita
que compartan las observaciones recibidas. Se acerca a cada grupo para escuchar y reafrmar en cada
grupo aquellos aspectos que deben ser corregidos para alcanzar mejores resultados. Adems solicita a
todos los estudiantes que escriban unos prrafos indicando sus sentimientos acerca de la experiencia de
aprendizaje vivida y cmo miran ellos el aprendizaje alcanzado, enfatizando los aspectos positivos de lo
logrado y cmo se podra mejorar la experiencia de aprendizaje y de evaluacin.
Tomado de Esquivel, J. M. (2000)
Ntese que, en el ejemplo de Lenguaje, se trata de una tarea de enseanza que a su vez se convierte
en una tarea evaluada. Este es un ejemplo en que la integracin entre enseanza, aprendizaje y
evaluacin es total, pues los procesos se funden y se confunden entre s.
Se muestran a continuacin los elementos bsicos de la rbrica utilizada para la evaluacin de la
tarea de Matemticas. Adems se muestra una rbrica de Ciencias, que se emplea para la evalua-
cin de una tarea para 5. grado.
Rbrica de Matemticas
NIVEL DE PUNTAJE CUATRO
Conocimiento matemtico. Muestra comprensin de los conceptos y principios matemticos, usa apro-
piadamente la terminologa y notaciones matemticas, y ejecuta los algoritmos correcta y completa-
mente.
Conocimiento estratgico. Podra emplear informacin de afuera de naturaleza formal o informal; iden-
tifca todos los elementos importantes del problema y muestra comprensin de las relaciones entre ellos;
refeja una estrategia apropiada y sistemtica para resolver el problema; da evidencia clara del proceso
de solucin y este resulta completo.
Comunicacin. Ofrece una respuesta completa y clara, que incluye una explicacin o descripcin no
ambigua; podra ser un diagrama apropiado y completo. Comunica efcazmente a la audiencia identif-
cada; presenta argumentos fuertes y con soporte que son lgicos y completos; podra incluir ejemplos
que ilustren la respuesta y ejemplos contrarios.
NIVEL DE PUNTAJE CERO
Conocimiento matemtico. No muestra comprensin de los conceptos y principios del problema mate-
mtico.
NIVEL DE PUNTAJE CERO
Conocimiento matemtico. No muestra comprensin de los conceptos y principios del problema mate-
mtico.
Evaluacin de los aprendizajes en el aula: una conceptualizacin renovada
134027 _ 0001-0184.indd 140 16/3/09 16:10:39
141
Conocimiento estratgico. Podra intentar emplear informacin de afuera irrelevante; falla en indicar
cules elementos del problema son apropiados; copia parte del problema, pero no intenta ninguna so-
lucin.
Comunicacin. Se comunica inefcientemente; las palabras que emplea no refejan el problema; podra
incluir dibujos que no representan la situacin que establece el problema.
Existen descripciones para las tres categoras en los niveles de puntaje tres, dos y uno, que no se transcriben
por problemas de espacio. Pueden consultarse en Lane, S. (1993) o en Lane, S.; Lui, M.; Ankenmann, R. y
Stone, C. (1995).
Rbrica de Ciencias
COMPONENTES DEL PROCESO
Reconoce y defne el problema.
Disea la estrategia de resolucin del problema.
Implementa la estrategia de resolucin del problema.
Interpreta y comunica resultados y conclusiones.
Los cuatro componentes del proceso se califcan en una escala de cinco valores; por ejemplo, para el compo-
nente Reconoce y defne el problema.
Puntaje uno: La observacin y la descripcin de objetos y sucesos es limitada. Escribe una pregunta que
no es aceptable o no escribe la pregunta.
Puntaje dos: Entre 1 y 3.
Puntaje tres: Observa y describe algunas caractersticas singulares de los objetos o los sucesos. Escribe
preguntas aceptables, pero no claramente defnidas.
Puntaje cuatro: Entre 3 y 5.
Puntaje cinco: Observa y escribe caractersticas singulares de los objetos o fenmenos. Escribe una pre-
gunta aceptable para ser objeto de investigacin.
Tomado de Kansas Science Assessment, Fifh Grade, Teacher Manual, 1995
Portafolios
De las diversas opciones de instrumentos y medios que presenta la evaluacin del desempeo, se
realiza una explicacin detallada del portafolio por ser uno de los medios ms empleados. Mu-
chas veces se hace sin respetar los elementos bsicos y los propsitos que tiene este medio.
Defnicin
La siguiente defnicin de portafolio fue elaborada sobre la base de los elementos ofrecidos por
los autores que se sealan ms adelante.
Es una coleccin comprensiva del trabajo del estudiante que exhibe sus esfuerzos, progresos y ren-
dimientos en una o ms reas. La coleccin debe incluir la participacin del estudiante en seleccionar
Juan Manuel Esquivel
134027 _ 0001-0184.indd 141 16/3/09 16:10:39
los contenidos, los criterios de seleccin empleados, los criterios para juzgar el mrito de su trabajo
y la demostracin de autorrefexin sobre el trabajo. Las descripciones de sus logros pueden incluir
muestras de grabaciones de audio, vdeo y fotografas que registren desempeos y proyectos, y testi-
monios de autoridades sobre la calidad del trabajo del estudiante. En resumen, contiene una variedad
de informacin que documenta las experiencias y logros del estudiante (Paulson, F.; Paulson, P. y
Mayer, C., 1991, y Archabald, D. y Newman, F., 1991).
Agregan Paulson, Paulson y Mayer (1991): Un portafolio es un portafolio cuando provee una
visin contextualizada, comprensiva y compleja del desempeo del estudiante. Es un portafolio
cuando el estudiante es un participante en vez de ser objeto de evaluacin. Pero, sobre todo, un
portafolio es un portafolio cuando provee un foro que estimule al estudiante a desarrollar las ha-
bilidades necesarias para llegar a ser un aprendiz independiente (p. 15 ).
De la defnicin anterior y de lo expresado por diversos autores se pueden destacar algunos as-
pectos importantes:
Al desarrollar un portafolio, se ofrece al estudiante una oportunidad para aprender acerca del
aprendizaje.
El portafolio es un producto hecho por el estudiante y no para el estudiante.
El portafolio difere de una carpeta acumulativa sobre un estudiante.
Podra tener un carcter formativo durante el ao y un carcter sumativo al fnal del ao.
Podra cumplir propsitos mltiples, pero estos no deben estar en conficto.
Debe dar a entender explcita o implcitamente las actividades del estudiante, pero tambin
debe mostrar todos sus logros.
Debe contener informacin que ilustre el crecimiento del estudiante.
Los estudiantes muchas veces requieren modelos y ejemplos de portafolios para producir sus
propios portafolios efcientes.
Portafolio sobre produccin escrita
Un portafolio que es, a su vez, una seleccin realizada por el estudiante del contenido del portafolio, que
el estudiante ha elaborado durante todo el ao, acerca de su capacidad de produccin escrita. Eventual-
mente, el profesor selecciona tambin alguna produccin.
Al estudiante se le pidi que seleccionara cuatro piezas, califcadas as:
Una pieza importante para l.
Una pieza que le fue satisfactoria.
Una pieza no satisfactoria para l.
Una pieza de seleccin libre.
Ocasionalmente, el profesor seleccionaba otra pieza .
142
Evaluacin de los aprendizajes en el aula: una conceptualizacin renovada
134027 _ 0001-0184.indd 142 16/3/09 16:10:39
143
Adems debe presentar una tabla de contenidos. Un inventario de la produccin realizada en el ao y
una descripcin de su experiencia como escritor. Una refexin fnal sobre su produccin que ofrezca una
evaluacin personal y la explicacin de los cambios que han experimentado durante el ao su produc-
cin y su capacidad como escritor.
La rbrica que se emple tena tres dimensiones:
Logros en la produccin escrita.
Uso de procesos y estrategias para escribir.
Crecimiento, desarrollo y compromiso como escritor.
Cada una de estas dimensiones est acompaada por una descripcin de elementos constituyentes que
indicaban criterios importantes para califcar la dimensin (no se detallan por falta de espacio).
Cada una de estas dimensiones se califcaba en una escala de siete puntos: desde el puntaje seis, que
indicaba excelente desempeo, hasta el puntaje cero, que indicaba desempeo totalmente inadecuado.
Cada dimensin se hace mediante una califcacin holstica.
LeMahieu, P.; Gitomer, D. y Eresh, J. (1995)
CONCLUSIN
Los profesores habrn encontrado en este captulo la justifcacin sustentada de la necesidad
de un paradigma de evaluacin que sea capaz de integrar el trinomio enseanza-aprendizaje y
evaluacin. Tambin la fundamentacin de una evaluacin que tenga una funcin pedaggico-
didctica, que sea consonante con la teora de aprendizaje socio-contructivista. La evaluacin que
se ha propuesto para que se emplee en las aulas se caracteriza por: basarse en objetivos y criterios
claros, ser participativa, emplear una interpretacin criterial, ser formativa y formadora, porque
sus medios e instrumentos obligan a los estudiantes a realizar procesos mentales complejos y re-
tadores, retroalimentar e indicar cmo superar las defciencias, requerir el diseo de actividades
de evaluacin muy semejantes a las de enseanza, ser continua y porque sus resultados permiten
mejorar la enseanza.
La visin general sobre la evaluacin del desempeo, la explicacin de sus medios e instrumentos
y los ejemplos que se han ofrecido, se espera que se constituyan en un reto para que los profesores
investiguen las fuentes bibliogrfcas y encuentren ideas que les permitan mejorar la evaluacin
de los aprendizajes. Finalmente, es importante sealar que la evaluacin del desempeo ofrece la
fundamentacin, los medios e instrumentos para ser una de las mejores opciones para la evalua-
cin de las competencias.
Juan Manuel Esquivel
134027 _ 0001-0184.indd 143 16/3/09 16:10:39
134027 _ 0001-0184.indd 144 16/3/09 16:10:39
El sentido de la evaluacin
134027 _ 0001-0184.indd 145 16/3/09 16:10:39
134027 _ 0001-0184.indd 146 16/3/09 16:10:39
147
Difusin y uso de resultados
de evaluaciones educativas
a gran escala en Amrica Latina
Patricia McLauchlan de Arregui
INTRODUCCIN
As como durante la etapa de expansin del acceso a la educacin en Latinoamrica se dio priori-
dad a la recogida y utilizacin de indicadores de cobertura y niveles de escolaridad, cuando lograr
la efectividad de las escuelas y el aprendizaje real se convirti en el principal desafo a fnales de
los ochenta, y se tuvo que disear y justifcar nuevas estrategias para la asignacin de recursos, la
medicin de la calidad de la educacin y los aprendizajes se hizo impostergable.
As, a mediados y fnales de los aos noventa la mayora de pases de Amrica Latina empez a
dar sus primeros pasos hacia el desarrollo de capacidades tcnicas bsicas para disear e imple-
mentar evaluaciones a gran escala y para emprender anlisis estadsticos de los datos recogidos.
Una visin general del desarrollo de los sistemas de evaluacin de los logros de aprendizaje puede
verse en Ferrer (2006).
Hoy, tras varios aos de experiencias, en buen nmero de pases se estn dando discusiones y
acciones orientadas al rediseo de los sistemas de evaluacin. Una parte del debate se refere a
necesarias mejoras tcnicas en el desarrollo de instrumentos y procedimientos para la recolec-
cin y el anlisis de datos, as como al alineamiento de los mismos con los objetivos curriculares
vigentes. Otra parte tiene que ver con la constatacin de que los esfuerzos para comunicar y di-
fundir los resultados de las pruebas no han alcanzado a muchos agentes clave, incluyendo profe-
sores y padres (Ravela, 2002). Tanto o mayor desasosiego genera el hecho de que, aparentemen-
te, la abundante informacin que se est produciendo est siendo usada de modo insufciente
para sustentar y apoyar procesos de mejora, tanto en las polticas como en la enseanza, o como
instrumento de responsabilizacin o accountability. Las evaluaciones pareceran, en opinin de
algunos, no estar teniendo mucho impacto ms all de informar, sensibilizar y crear conciencia
(Moncada et al., 2005). Por supuesto, no faltan quienes estn ms preocupados an por los usos
no vlidos o hasta perversos de las evaluaciones para el logro de objetivos para los cuales no
fueron diseadas.
La primera seccin de este captulo revisa de manera resumida la experiencia emergente de los
pases de Amrica Latina en la difusin de resultados de evaluaciones, mientras que la segun-
da pasa revista al uso de los resultados de evaluaciones nacionales, sub-nacionales, regionales o
internacionales. Por ltimo, se presentan algunas generalizaciones y advertencias sobre los desa-
fos que supone una utilizacin ms productiva de los resultados.
134027 _ 0001-0184.indd 147 16/3/09 16:10:39
148
LA DIFUSIN DE RESULTADOS
1
La mayora de los sistemas nacionales de evaluacin desarrollados en Amrica Latina durante
los noventa enfatizaron sus fnalidades de carcter formativo y sin consecuencias directas sobre
las escuelas. Sus roles explcitos fueron generalmente constituirse en proveedores de informa-
cin para la toma de decisiones por parte de las autoridades y actores del sector educativo, as
como para el pblico sobre el estado de la educacin nacional. Su cumplimiento requera, por lo
tanto, difundir y utilizar la informacin recogida para redisear o ajustar polticas, planes, progra-
mas y prcticas pedaggicas y de gestin escolar. La concrecin de esas intenciones, sin embargo,
no ha estado exenta de una serie de limitaciones.
En primer lugar, falta hasta ahora en muchos Ministerios una visin estratgica sobre el rol de la
evaluacin. No se tiene clara la manera en que se espera que esta impacte sobre el sistema edu-
cativo. En casos extremos, parecera creerse que el mero hecho de evaluar producir mejoras o
que todos los actores comprendern y emplearn los resultados que se divulguen. Hay unidades
y actores de medicin de logros educativos que consideran que su misin consiste nicamente
en producir datos e informacin cuyo anlisis no les corresponde y debe ser realizado por otras
agencias o actores, pasando por alto que en realidad an no existen muchas audiencias en con-
diciones de comprender y utilizar la informacin, por lo cual es necesario invertir tiempo en
formarlas y en modelar anlisis slidos y vlidos de los datos.
Falta an en algunos pases una defnicin clara de cules son las audiencias a las que se debe y
quiere llegar, cules son los contenidos y mensajes que se quiere hacer llegar a cada una y cules
son los vehculos o tipos de productos de difusin apropiados en cada caso. Incluso hoy da no
es del todo extrao que se produzca un nico informe de carcter predominantemente tcnico,
pensado desde la perspectiva de los especialistas de la unidad de evaluacin y no de las demandas
y preocupaciones de las audiencias, ni siquiera de las audiencias internas del sector educativo,
obviando tambin a las familias, la opinin pblica, el sistema poltico, el mundo acadmico, las
organizaciones sociales y hasta a la prensa. En los casos en que s se procura llegar con informes
a estos otros actores, generalmente no se ha evaluado el grado de comprensin y uso que ellos
hacen de la informacin recibida.
Otro rubro de problemas que ha afectado a la difusin de los resultados ha resultado de incon-
sistencias tcnicas y desarticulaciones internas que caracterizaron las actividades iniciales de las
agencias evaluadoras.
Un ejemplo de ello es la confusin generada por algunos Ministerios en torno a pruebas que
son de tipo descriptivo y diagnstico, pero que son interpretadas por la prensa y el pblico en
trminos de aprobacin y reprobacin de alumnos. La demanda pblica parece ir en un sentido
y quiz deba ser educada para que asuma otra orientacin, pero las pruebas fueron diseadas
desde otra perspectiva, lo cual no permite satisfacer esa demanda.
Otro problema crucial que ha difcultado la difusin y aprovechamiento es la falta de articulacin
y comunicacin entre las unidades de evaluacin y de currculo al interior de los Ministerios.
Suele ocurrir que las pruebas no estn adecuadamente alineadas con los objetivos establecidos
1
Esta seccin est basada fundamentalmente en el documento Cmo aparecen los resultados de las
evaluaciones educativas en la prensa? del Grupo de Trabajo sobre Estndares y Evaluacin del PREAL.
Difusin y uso de resultados de evaluaciones educativas a gran escala en Amrica Latina
134027 _ 0001-0184.indd 148 16/3/09 16:10:39
149
en el currculo o que estos ltimos estn formulados en trminos tan vagos y generales que es
imposible realmente evaluar su logro. En estos casos, las evaluaciones no pueden responder a la
pregunta principal de si los alumnos estn aprendiendo lo que se espera que aprendan y qu tan
bien o mal estn al respecto. En su captulo, Elena Martn analiza con ms detalle las relaciones
entre currculo y evaluacin de rendimiento.
No menos grave ha sido el uso poltico de los resultados por los propios Ministerios. En parte
debido a una suerte de visin ingenua que han tenido algunas altas direcciones de esas institucio-
nes respecto a que los resultados pueden mejorar rpidamente, ellas no han estado muchas veces
preparadas para manejar con solvencia los malos resultados ante la prensa. Al respecto se han
observado diversas reacciones: a) las autoridades simplemente deciden no publicar los resultados
o, lo que es ms comn en aos recientes, los publican casi subrepticiamente, sin una estrate-
gia integral de difusin; b) al no dominar el tema, transmiten mensajes que incluyen errores de
interpretacin importantes; c) utilizan los malos resultados para desprestigiar a la administra-
cin anterior (normalmente al inicio de un mandato) o para presionar sobre el cuerpo docente,
aunque luego se esperar que los mismos mejoren rpidamente antes del trmino de su gestin.
Como dice Pedro Ravela, normalmente los funcionarios polticos esperan buenos resultados que
les sirvan como propaganda o aval a su gestin, y los malos resultados, que suelen ser los ms
comunes, se tornan una papa caliente que no saben cmo manejar (2003).
Un tema vinculado a los anteriores es el dilema de la independencia poltica de las unidades de
evaluacin. Estas producen y divulgan la informacin sobre logros educativos, pero en muchos
casos son a la vez parte interesada, lo cual coloca inevitablemente a la informacin bajo sospecha
para los periodistas y otros actores. Esta falta de confanza se da incluso cuando la unidad de
evaluacin est fuera de la estructura ministerial, ya que igualmente dependen de los recursos del
Estado para realizar las evaluaciones y de decisiones polticas para difundirlos.
El problema no radica tanto en el marco institucional elegido como en la cultura poltica y en la
cultura de la evaluacin. Es necesario y en muchos pases se ha logrado avances en ese senti-
do que los Ministerios de Educacin conciban la labor de evaluacin como una de informacin
al pblico y otorguen a las unidades de evaluacin amplia independencia en la difusin de los
resultados. Igualmente se requiere que la sociedad se acostumbre a que existe una unidad de eva-
luacin que peridicamente informa sobre el estado del sistema educativo y de los aprendizajes
de manera clara, tcnicamente apropiada y sin interferencias de tipo poltico. Ello no impide, por
supuesto, que los Ministerios deban tener y ofrecer su propia visin e interpretacin de los resul-
tados y debatan con otros sectores de opinin al respecto.
Un ltimo grupo de problemas tiene que ver con las dbiles relaciones con los medios de co-
municacin que mantienen algunas unidades evaluadoras. Estas parecen a veces desconocer la
lgica y el modus operandi de los medios y no haberse trazado estrategias ni dedicar recursos
para vincularse de mejor manera con ellos. Por su parte, el personal de prensa de los Ministerios
est generalmente dedicado principal o casi exclusivamente a organizar y difundir las apariciones
pblicas de las autoridades y a cuidar su imagen, antes que a facilitar la comunicacin con los
medios sobre los temas educativos.
Frente a esta situacin, el Grupo de Trabajo sobre Estndares y Evaluacin del PREAL ha reco-
mendado que las agencias de evaluacin propongan, y los Ministerios defnan, qu preguntas
pretenden responder las evaluaciones, qu tipo de informacin se va a producir, quines y cmo se
Patricia McLauchlan de Arregui
134027 _ 0001-0184.indd 149 16/3/09 16:10:39
150
espera que utilicen la informacin. Luego, que defnan una estrategia de difusin de resultados,
identifcando diferentes audiencias y sus respectivas preguntas, as como el tipo de productos
de comunicacin apropiados para cada una. Se recomienda informar siempre de modo transpa-
rente, sin interferencias polticas, y entregar la informacin a actores cualifcados con diferentes
posturas, a los cuales pueda recurrir la prensa para obtener interpretaciones y visiones diferen-
tes a partir de los resultados, evitando la tentacin de usar los resultados con fnes propagands-
ticos o de ocultarlos cuando no son satisfactorios.
Es recomendable que la misma unidad de evaluacin explique los resultados, incentivando a
las autoridades del sector a que refexionen e informen sobre las implicancias que tienen para las
polticas educativas. Ello requerira que se preparen mensajes claros, balanceando buenas y malas
noticias, evitando tanto el catastrofsmo como el triunfalismo, presentando los resultados como
desafos al sistema, como un diagnstico y no como autopsia (Ravela, 2003), y enfatizando las l-
neas de accin con que se plantea enfrentar los problemas que se ponen de manifesto.
Para fomentar la apropiacin de los resultados de la evaluacin, es necesario que actores de otras
ofcinas del Ministerio se sientan tambin propietarios del proceso, participando en el diseo y
validacin de las pruebas, as como en la interpretacin de resultados. Contribuira tambin a la
aceptacin transmitir que el sistema de medicin seguramente tiene debilidades, pero que est
abierto a mejoras, para lo cual se quiere recoger la opinin cualifcada de actores diversos, inclu-
yendo a la prensa, a la cual se quiere convertir en aliado crtico.
Es conveniente que los mensajes sean pocos, claros, reiterativos y basados en la evidencia resul-
tante de las pruebas y del anlisis de los factores vinculados. Debe ejemplifcarse el tipo de con-
clusiones que no pueden ser derivadas de los datos y las principales limitaciones de la evaluacin,
a la vez que se preparan explicaciones pertinentes y al alcance de diferentes audiencias acerca de
aspectos tcnicos centrales, como la equivalencia (o no) de las pruebas con mediciones anterio-
res; el signifcado de las mtricas empleadas; la posibilidad (o no) de interpretarlas en trminos
de aprobacin; el modo en que se han establecido lneas de corte (si se ha hecho), o el signifcado de
los niveles (si se han establecido).
El tenor de los mensajes debera ser que la educacin es una poltica de Estado y un compromiso
de toda la sociedad, evitando tanto la bsqueda de culpables o responsables nicos (los docentes,
las escuelas, los supervisores) como el uso de las acciones educativas con fnes de propaganda
poltica, informando con modestia y cautela sobre los avances y los desafos pendientes.
En trminos de las relaciones con la prensa, es necesario asegurar la disponibilidad de recur-
sos humanos idneos y sufcientes para la labor de comunicacin con ella. Debern organizarse
actividades de capacitacin para periodistas con relacin a los temas clave de las evaluaciones,
idealmente en momentos separados de la presentacin de resultados. Muchas de las explicaciones
y conceptos tcnicos, as como de las advertencias sobre lo que no puede concluirse vlidamente
de los datos o el tipo de interpretaciones que no son apropiadas, pueden resultar sospechosos
para el periodista cuando se hacen en el marco de la difusin de resultados. Convendra a las uni-
dades de evaluacin cultivar vnculos con periodistas reconocidos o especialmente interesados
en temas educativos, y mantenerlos permanentemente informados, no con el objetivo de contar
con incondicionales acrticos, sino ms bien con incondicionales acerca de la importancia de la
difusin de resultados y del debate pblico sobre la educacin, capacitndolos en modos de hacer
noticia educativa de manera constructiva.
Difusin y uso de resultados de evaluaciones educativas a gran escala en Amrica Latina
134027 _ 0001-0184.indd 150 16/3/09 16:10:39
151
LOS USOS DE LOS RESULTADOS
Los resultados de las evaluaciones se han utilizado para varios propsitos, como sigue:
Elevar la conciencia ciudadana sobre los retos de la educacin
Si bien las evaluaciones del rendimiento se iniciaron generalmente a partir de la necesidad de
informar a los tomadores de decisiones, el contexto de resurgimiento democrtico de la poca y
la idea de rendicin de cuentas que empezaba a instalarse en el discurso poltico tambin haca
necesario satisfacer los derechos de los ciudadanos y de algunas audiencias clave de conocer la
situacin y las tendencias de los resultados educativos. Los resultados han provisto de pruebas
duras sobre los logros insufcientes y desiguales, han estimulado una preocupacin pblica sobre
el problema y reorientado el foco de la demanda social hacia una distribucin ms equitativa de
oportunidades de aprendizaje.
Aun as, en la mayora de los casos la prensa recogi de los reportes ofciales solo los resultados
ms llamativos sobre el bajo nivel de logro general, y en el caso de las pruebas internacionales,
sobre los bajos puntajes obtenidos por los participantes latinoamericanos. A menudo se puso ms
nfasis en las grandes diferencias entre las escuelas privadas y las pblicas, y mucho menos en
aquellas entre las poblaciones urbana y rural o entre nias y nios. Rara vez se mencionaron las
diferentes caractersticas socioeconmicas y culturales de las poblaciones atendidas por escuelas
privadas y pblicas. Por otro lado, al menos al inicio, los funcionarios pblicos rara vez estaban
disponibles para analizar los resultados y promover un dilogo capaz de orientar a la opinin
pblica a partir de las evaluaciones.
Entre las audiencias interesadas son quiz los padres de familia el grupo menos atendido, en lo
que respecta a proveerles con informacin til para monitorear el desempeo de las escuelas a
las que asisten sus hijos o del sistema educacional en su conjunto. Los reportes producidos estn
ms all de las posibilidades de comprensin de la mayora de los padres. El manejo de la infor-
macin por la prensa no ha ayudado a que la informacin se interprete de forma precisa, y las
capacidades de traduccin de los sofsticados procedimientos tcnicos de evaluacin y anlisis
estadstico son an limitadas.
Mejorar el diseo de las polticas educativas y la asignacin de recursos
Gracias a las evaluaciones nacionales e internacionales, se cuenta con datos ms slidos sobre el
bajo rendimiento de los estudiantes, as como sobre las grandes diferencias en los resultados de
varios grupos poblacionales y tipos de escuelas, lo que ha hecho posible el establecimiento y la
generacin de consensos sobre nuevas prioridades generales de poltica.
La necesidad de que los Ministerios de Educacin, los administradores y las escuelas se centren
en el aprendizaje de los estudiantes es ahora un mandato pblico generalizado en la regin. Y, si
bien la focalizacin y la discriminacin positiva o accin afrmativa estn hasta ahora lejos de ser
el eje principal de las polticas pblicas, existe una creciente conciencia de la necesidad de distri-
buir ms equitativamente las oportunidades de aprendizaje.
Muchas polticas inspiradas por los resultados de las evaluaciones no han logrado trascender el
papel donde han sido formuladas; en cambio s se ha pasado a la accin con reformas curriculares
y desarrollo de estndares, produccin y distribucin masiva de libros de texto y cuadernos de
Patricia McLauchlan de Arregui
134027 _ 0001-0184.indd 151 16/3/09 16:10:39
152
trabajo, el fomento de la inclusin de estudiantes pobres en escuelas particulares subvencionadas,
programas de capacitacin o desarrollo profesional docente focalizados en el fortalecimiento de
capacidades de comprensin lectora y de razonamiento matemtico, o subvenciones diferencia-
das que favorezcan a las escuelas y estudiantes ms pobres.
Disear programas de apoyo y seleccionar escuelas o estudiantes
para participar
Las evaluaciones han permitido identifcar reas ms especfcas donde hay problemas, analizar
sus posibles causas y disear programas para superarlos, as como identifcar y seleccionar pobla-
ciones objetivo o instituciones educativas que puedan ser benefciarias.
Un ejemplo de estos programas se dio en Chile, cuando los resultados de las pruebas SIMCE mos-
traron grandes diferencias de rendimiento entre escuelas privadas, subvencionadas y municipales
y se dio inicio como una estrategia de emergencia al P-900, el Programa para 900 escuelas Ayu-
dando a los pobres. El 10% de escuelas con el rendimiento ms bajo en cada una de las regiones
del pas, con grandes proporciones de estudiantes pobres urbanos y rurales de nivel primario, fue
invitado a participar en el programa, inicialmente concentrado en remodelar aulas y abastecer
de equipo bsico, libros de texto y bibliotecas a las escuelas, pero luego incluyendo talleres para
profesores que buscaban promover la autonoma profesional y la responsabilidad, y espacios de
tutora en grupos pequeos para estudiantes con bajo rendimiento. El P-900 se convirti ms
adelante en un programa permanente, centrado en proveer servicios de capacitacin de profeso-
res in situ y desarrollo profesional o capacitacin en servicio de directores a lo largo de tres aos.
Empez a incluir tambin escuelas de nivel secundario y abri un subprograma especial para
escuelas rurales.
El programa se fue modifcando conforme la investigacin y la prctica iban mostrando ms ele-
mentos que necesitaban ser atendidos para promover cambios, mantenindose la prioridad del
desarrollo de capacidades fundamentales en lectura, escritura y matemticas. Las escuelas P-900
que llegaron a sobrepasar las 1.500 fueron el foco de programas especfcos de mejora y eran
supervisadas entre 8 y 16 veces al ao por funcionarios provinciales y centrales.
Similares en enfoque y objetivos han sido la iniciativa de Nivelacin para la Excelencia de Bogot,
las escuelas de jornada completa de Uruguay establecidas preferentemente en reas urbanas em-
pobrecidas y surgidas de la constatacin que ellas haban obtenido mejores logros en la primera
evaluacin nacional, y la jornada completa introducida tambin en Chile.
Las polticas de focalizacin se han convertido en una caracterstica frecuente en muchos pases
de Amrica Latina. Esto requiere indicadores tcnicos slidos y socialmente aceptables con los
cuales identifcar las poblaciones objetivo de programas especiales de apoyo, y las evaluaciones se
han constituido en un insumo importante en este sentido.
Realizar investigacin y evaluar el impacto de programas
Si consideramos que el aprendizaje es la misin central de la educacin, es posible afrmar que la
variable dependiente ms importante para la investigacin educativa orientada a la formulacin
de polticas no estaba disponible en gran parte de Latinoamrica antes de que los sistemas de
evaluacin comenzaran a generar resultados. Y dado que la investigacin debera ser un insumo
importante para la toma de decisiones, la regin mostraba un serio retraso.
Difusin y uso de resultados de evaluaciones educativas a gran escala en Amrica Latina
134027 _ 0001-0184.indd 152 16/3/09 16:10:39
153
Hasta 1999 en toda Amrica Latina no se poda encontrar ms de una veintena de estudios
empricos sobre posibles asociaciones entre las diferencias en rendimiento, diferencias en las
caractersticas intraescolares o de aula y diferencias en factores externos tales como las carac-
tersticas educativas y la condicin socioeconmica de las familias. Apenas seis aos ms tarde
una consulta bibliogrfca rpida revel la existencia de 150 estudios en 16 pases, que exploran
los efectos especfcos o conjuntos sobre el rendimiento de factores tales como: a) la condicin
socioeconmica de los estudiantes, el trabajo durante el ao escolar, la raza y la condicin nu-
tricional; b) el salario, califcaciones y prcticas de enseanza en aula de los docentes; c) ca-
ractersticas de la escuela tales como la cultura organizacional, la autonoma, la composicin
socioeconmica de los distintos grupos, las prcticas de evaluacin en el aula, la cobertura del
plan de estudios, las polticas sobre la realizacin de tareas en casa, el liderazgo de los directores,
la infraestructura, la disponibilidad de libros de textos, y d) el fnanciamiento o administracin
pblica o privada de la escuela, la presencia de programas de bonos escolares (vouchers), de
programas de alimentacin escolar, las prcticas de retencin/repeticin, el nmero de alumnos
por aula y la duracin de la jornada escolar.
Los resultados de las pruebas se estn tambin utilizando cada vez ms para estimar el impacto
de polticas y programas educativos y sociales. Los Ministerios incluyen muestras mayores de
algunas poblaciones escolares, de manera de poder hacer algunas generalizaciones vlidas sobre
el impacto de intervenciones especiales, tales como escuelas bilinges indgenas (en Per y Gua-
temala), programas de expansin escolar basados en la comunidad (Nueva Escuela Unitaria de
Guatemala, escuelas PRONADE), perspectivas nuevas o experimentales para planes de estudios
(Escuelas de Excelencia y el SIMAC en Guatemala) y mecanismos de gestin y fnanciamiento
(escuelas privadas subvencionadas en Chile y Nicaragua). Con frecuencia tambin se ha permiti-
do e incluso se ha estimulado a los investigadores a usar los resultados de las pruebas nacionales
o re-aplicaciones o adaptaciones de los instrumentos de las pruebas para evaluar el impacto de
programas especfcos.
Revisar expectativas curriculares o establecer estndares de aprendizaje
Hoy se entiende que elevar y aclarar las expectativas de aprendizaje constituye un elemento cru-
cial para su mejora. Si ellas no estn bien defnidas, no pueden ser utilizadas para alinear de forma
efectiva los libros de texto, los planes de estudio y la capacitacin docente.
Cuando los sistemas de evaluacin en Amrica Latina empezaron a desarrollar pruebas referidas
a criterios, experimentaron grandes difcultades para defnir los tipos de tareas que se debera
esperar que los estudiantes puedan realizar, si han logrado dominar un rea particular de los con-
tenidos. Tambin confrontaron y muchos siguen confrontando grandes desafos para defnir
los niveles de desempeo en cada criterio seleccionado. All donde se at alguna consecuencia
a los resultados de esas evaluaciones, o donde se han realizado esfuerzos importantes por devol-
ver resultados a las escuelas, los contenidos de las pruebas han empezado a cumplir la funcin
de aclaradoras del currculo, si bien no todos los curriculistas aprobaran el que ello sea as. La
amplitud de las consultas a docentes, expertos y productores de textos que pueda realizar la agen-
cia evaluadora tambin ha contribuido en algunos casos a generar un proceso de redefnicin de
metas curriculares nacionales.
Mayor ha sido la infuencia de las pruebas internacionales. Los resultados de los pases que han
participado en TIMSS, PISA y otras evaluaciones internacionales no siempre fueron congruentes
Patricia McLauchlan de Arregui
134027 _ 0001-0184.indd 153 16/3/09 16:10:39
154
con la distribucin de estudiantes entre los distintos niveles de rendimiento fjados en sus propias
pruebas nacionales o con los ndices de aprobacin
2
. Esto los impuls a que dieran una nueva
mirada a sus currculos buscando posibles explicaciones y, en algunos casos, a profundizar sus
esfuerzos de aclarar metas de aprendizaje estableciendo estndares.
Los primeros esfuerzos fueron desplegados por los pases centroamericanos en 1999, bajo la con-
duccin de la Secretara General del organismo de Coordinacin Educacional y Cultural de la
regin. Desde entonces, Honduras y Guatemala han avanzado sendas propuestas de estndares
para todos los grados de la educacin bsica, para lo cual han tomado en consideracin los resul-
tados logrados en evaluaciones nacionales anteriores, y con los cuales empiezan ya a alinear un
conjunto de instrumentos de evaluacin de aprendizajes. En Nicaragua, el conjunto de estndares
de la SGCECC fue utilizado para revisar el currculo y sirvi de insumo para la construccin de
su primera evaluacin nacional, aplicada en el 2003.
Colombia desarroll y estableci estndares en el 2003, tomando como uno de sus referentes la
informacin disponible sobre las capacidades actuales de los estudiantes segn lo evaluado por el
Instituto Colombiano de Fomento de la Educacin Superior (ICFES). Los estndares se centran
en competencias para resolver problemas de tipo real en lenguaje, matemticas, ciencias naturales
y sociales, y ms recientemente en ciudadana. Se espera que sirvan como guas para el desarrollo
de programas de mejora y que se conviertan en el conjunto bsico de expectativas de aprendizaje
que el ICFES utilizar para las evaluaciones en corto plazo.
En Chile, el anlisis del SIMCE y de los resultados de las pruebas internacionales ha mostrado
poco incremento signifcativo en los puntajes promedio, a pesar de los grandes aumentos en el
gasto pblico en educacin, de las reformas curriculares y de la inversin en varios proyectos a
gran escala. Se introdujeron sucesivamente varios nuevos instrumentos y aclaraciones curricu-
lares, antes de optar por la construccin de estndares de contenido y desempeo, conocidos ya
como Mapas de Progreso y Niveles de Logro, respectivamente. Los Mapas y Niveles se nutrieron,
entre otros elementos, de los resultados obtenidos por los alumnos chilenos en sus pruebas na-
cionales e internacionales. Se convertirn gradualmente en referentes bsicos para la elaboracin
de los instrumentos de evaluacin y se usan ya en el reporte de resultados del SIMCE. Se pre-
tende que sirvan tambin para guiar la refexin, la planifcacin y la prctica pedaggica de los
docentes, en subreas especfcas de matemticas, lenguaje, ciencias sociales, ciencias naturales e
ingls como segunda lengua y, ms adelante, en educacin fsica, educacin preescolar, educacin
tcnica y arte.
Promover la responsabilizacin, rendicin de cuentas
y libre eleccin de escuelas
En general, las pruebas estudiantiles con altas consecuencias (aprobacin, graduacin de alum-
nos, ascenso o salida de docentes, cambio de autoridades o cierre de escuelas) no son comunes
en Amrica Latina, a excepcin de pruebas de trnsito a niveles superiores del sistema educativo
como en Costa Rica, Repblica Dominicana y, ms recientemente, en El Salvador. Sin embargo,
tambin tienen consecuencias las pruebas nacionales cuyos resultados sirven para seleccionar
a escuelas para recibir premios o sanciones, ya sean simblicos o efectivos, tales como la publi-
2
Enrique Roca, en su captulo en este libro, revisa con detalle estas evaluaciones.
Difusin y uso de resultados de evaluaciones educativas a gran escala en Amrica Latina
134027 _ 0001-0184.indd 154 16/3/09 16:10:40
155
cacin de rankings, premios a la excelencia de instituciones, incentivos para equipos docentes o
ascensos individuales en la carrera magisterial.
La prctica ms simple y extendida a este respecto es la identifcacin de las escuelas ms destaca-
das en rankings nacionales que se hacen pblicos ya sea intencionalmente o por iniciativa de los
medios, como en Chile, El Salvador o Guatemala. En Colombia se otorga el Galardn a la Exce-
lencia a las escuelas cuyos resultados en las pruebas presentan mayores mejoras, mientras que las
escuelas pblicas ms destacadas son invitadas a participar de una Red de Accin para la Excelen-
cia a travs de la cual comparten informacin sobre sus prcticas exitosas con otras escuelas.
Se argumenta muchas veces que esta prctica suele convertirse en un incentivo a los ganadores
para lograr progresos adicionales antes que en un estmulo a los que se encuentran en los niveles
ms bajos de logro. Los educadores en Amrica Latina, como los de muchos otros pases del mun-
do, suelen estar fundamentalmente opuestos a la publicacin de rankings y consideran que los
resultados de las pruebas solo deberan compartirse al interior de la comunidad escolar. Muchos
expertos en evaluacin lamentan adems la manera poco refnada en que se construyen la mayo-
ra de esos rankings, que proyectan como diferencias reales en calidad diferencias entre puntajes
que pueden atribuirse a errores de medicin.
Otro tipo de uso que se da a los resultados de las evaluaciones son los incentivos al desempeo
docente y escolar. Dadas las difcultades para identifcar exactamente qu insumos educativos
garantizan mejores resultados de rendimiento en distintas condiciones, los diseadores de po-
lticas analizan varias combinaciones de incentivos y mecanismos de responsabilizacin con los
cuales movilizar actores e instituciones clave en su propia bsqueda de las mejores direcciones a
seguir. La investigacin sobre el tema, si bien muestra que las compensaciones econmicas no son
el ms efcaz incentivo al desempeo docente, sugiere tambin que estas pueden servir para tal
propsito cuando se las incluye dentro de una estrategia mayor para asegurar que los profesores
concentren sus esfuerzos en el rendimiento estudiantil y, particularmente, cuando requieren de
un esfuerzo colectivo para lograr los premios (Odden y Kelly, 1997).
Aun as, evaluaciones de programas tales como el Sistema Nacional de Evaluacin del Desempeo
de Docentes (SNED) en escuelas con fnanciamiento pblico de Chile, o Carrera Magisterial en
Mxico, que han utilizado con diferente peso pero de manera directa los resultados de las evalua-
ciones estudiantiles como criterio de adjudicacin de un incentivo, no parecen haber tenido los
efectos buscados (Mizala y Romaguera, 2004, y Santibez et al., 2007) y s, en cambio, algunas
consecuencias indeseables aunque no intencionales. Las limitaciones de estos y otros esquemas
de incentivos similares basados en resultados (como indicadores de desempeo) se discuten en el
captulo de Pedro Ravela en este volumen.
Tambin se han usado los resultados de las evaluaciones para facilitar que los padres puedan ele-
gir libremente a qu escuela enviar a sus hijos, lo que de forma indirecta se supone que sirve para
presionar a las escuelas a mejorar la calidad de sus servicios y sus resultados. Esto es as particu-
larmente en aquellos lugares donde el fnanciamiento pblico se asigna en funcin del nmero
de nios atendidos, como en el caso de los sistemas de subvenciones escolares en Chile. Los
directores de cada escuela reciben un informe de su desempeo en cada una de las reas curricu-
lares que han sido evaluadas, comparndolo con el de escuelas similares y promedios nacionales,
as como informacin sobre las tendencias observadas en el tiempo a este respecto. Adems se
pone a disposicin del pblico general los resultados obtenidos en las pruebas por cada una de
Patricia McLauchlan de Arregui
134027 _ 0001-0184.indd 155 16/3/09 16:10:40
las escuelas de cada regin del pas, junto con los promedios para cada rea, informacin sobre los
cambios observados desde las rondas anteriores y comparaciones con escuelas con caractersticas
socioeconmicas similares. Se elaboran informes para la prensa y para los padres, buscando re-
vertir la tendencia de la prensa a construir clasifcaciones simplistas sobre cules son las mejores o
peores escuelas o a publicar titulares escandalosos sobre la ausencia de mejoras en el rendimiento.
Las investigaciones acerca de si el acceso a la informacin sobre el rendimiento sirve realmente
para ejercer una presin efectiva sobre las escuelas para mejorar su oferta no son concluyentes
(Elacqua y Fbrega, 2004). No se sabe realmente si el esquema competitivo ha servido o no para
estimular mejoras en el sistema ni en las escuelas municipales subvencionadas que atienden a
los pobres, mientras que parecera que las escuelas de administracin privada han tendido a res-
ponder seleccionando estudiantes con mayores probabilidades de xito antes que con mejoras en
la calidad. Tambin se achaca a la libre eleccin de escuela el incremento en la brecha entre los
pobres y los ms ricos, la desmoralizacin de los perdedores, la enseanza para las pruebas y
la reduccin del currculo, as como la generacin de algunas prcticas corruptas.
Mejorar la gestin pedaggica e institucional en las escuelas o reas escolares
Uso de los resultados para disear planes de mejoramiento escolar
Es parte de un discurso comn asumir que las evaluaciones a gran escala tendrn un impacto
en los logros de aprendizaje solamente si sirven para generar cambios positivos en la escuela y el
aula, actuando como insumo para el diseo, implementacin y evaluacin de estrategias y planes
de mejoramiento escolar. La descentralizacin educativa o la autonoma escolar que se viene im-
pulsando en varios pases de la regin han trado consigo una serie de normas e incentivos para el
diseo de planes de mejoramiento educativo a nivel subnacional, local e institucional. Estos pro-
yectos de desarrollo institucional, planes de mejora, proyectos de innovacin, etc., deben basarse,
al menos parcialmente, en una lectura de los resultados de las evaluaciones.
Donde las pruebas son censales y los resultados son devueltos a cada escuela con guas o capa-
citacin sobre cmo interpretarlos, adems de con asistencia tcnica sistemtica en el proceso,
la posibilidad de disear planes consistentes, centrados en mejoras pedaggicas y en el mejora-
miento de los logros se incrementa considerablemente. Tambin ocurre esto cuando se asocia un
incentivo econmico a la elaboracin de buenos proyectos, lo que permitira su implementacin.
Est pendiente an un anlisis sistemtico de la consistencia de diagnsticos y planes de accin
y de la viabilidad de estos planes, tales como se vienen elaborando en Colombia, Paraguay, Per,
Chile o Uruguay, entre otros. Est tambin pendiente una evaluacin de su impacto sobre el me-
joramiento de los aprendizajes.
Uso de los resultados para proveer oportunidades de desarrollo profesional para profesores
y supervisores
Segn los especialistas educativos, el uso de los resultados de las pruebas para la formacin y ca-
pacitacin docente es tan importante como su uso para el planeamiento escolar.
En ese sentido, una de las primeras y ms sencillas formas de utilizacin de los resultados
de las pruebas en Amrica Latina ha sido la publicacin y distribucin ms o menos extensa de
folletos de anlisis de tems. La publicacin de los resultados generales de las pruebas ha esta-
do acompaada por la publicacin de tems seleccionados de las pruebas para cada una de las
Difusin y uso de resultados de evaluaciones educativas a gran escala en Amrica Latina
156
134027 _ 0001-0184.indd 156 16/3/09 16:10:40
157
reas curriculares, usualmente refejando distintos niveles de difcultad. Se suele presentar el tem
completo con las mltiples opciones de respuesta, seguidas normalmente por una descripcin
de las habilidades curriculares especfcas que estaban siendo evaluadas con esa pregunta y una
explicacin de por qu se les consideraba lo sufcientemente importantes como para ser evalua-
das en la prueba. Las publicaciones suelen analizar tambin las razones probables por las que los
estudiantes podran elegir la respuesta correcta o alguna de las respuestas incorrectas y, a veces,
ofrecen algunas sugerencias tanto conceptuales como didcticas sobre cmo los profesores
podran ayudar a los estudiantes a desarrollar la habilidad prevista.
En pases donde las pruebas solo se aplicaron a muestras de estudiantes de algunos grados, estas
publicaciones con frecuencia sirvieron como una primera oportunidad para que los profesores
y supervisores se informaran sobre los propsitos y mtodos de las evaluaciones nacionales. Por
esto tales informes pedaggicos generalmente incluyen algunas pginas introduciendo a los
educadores al signifcado y uso potencial de las evaluaciones para su propio desarrollo profesio-
nal y al anlisis de su posible desempeo en este tipo de pruebas.
Asimismo, y dado que los informes generales rara vez logran llegar hasta las escuelas, las publica-
ciones incluyen tambin un resumen de los resultados nacionales o subnacionales. En la mayora
de pases se esperaba que no solo todas las escuelas recibieran copias de estos materiales, sino que
estas y los distritos escolares tomaran la iniciativa para analizarlos. Sin embargo, en muchos ca-
sos la distribucin del material estuvo seriamente limitada por falta de presupuesto y, en la mayo-
ra de pases, no se ha hecho ningn esfuerzo para supervisar de qu modo se est utilizando estas
publicaciones en la prctica, quines las estn usando, ni mucho menos con qu resultados.
En Amrica Latina, una vez que las evaluaciones comenzaron a estar parcial o totalmente guia-
das por marcos referidos a criterios, los informes dirigidos a los docentes se han centrado en
descripciones de los distintos niveles de desempeo en cada una de las reas o criterios de apren-
dizaje, cada una con ejemplos de uno o varios tems o tareas que los estudiantes que alcanzan ese
nivel de desempeo podran responder o realizar correctamente.
Esto ha ocurrido en Argentina, Brasil, Per y Chile, entre otros. Sin embargo, seguimientos rea-
lizados sobre el uso de estos instrumentos sugieren que solo las mejores escuelas reportan un
mayor uso, mientras que aquellas que ms mejoras necesitan no estn en capacidad o no estn
dispuestas a utilizar los resultados de las pruebas para este fn. Actualmente se est impulsando
a las escuelas a organizar eventos especiales con el personal con el objetivo especfco de discutir
los informes y existe una conviccin de que para ello es indispensable proveer asistencia tcnica
a las escuelas.
A pesar de haber realizado consultas con varias fuentes, no se ha encontrado ninguna informa-
cin sistemtica sobre maneras especfcas en las cuales los resultados de las pruebas se estn uti-
lizando para disear capacitaciones o programas de desarrollo profesional. De hecho es muy po-
sible que est habiendo mucha actividad en este sentido, dado que los funcionarios ministeriales
suelen contar la capacitacin de profesores entre los usos dados a los resultados de las pruebas.
Sin embargo, hay razones para creer que el contenido de muchas de tales actividades bien puede
consistir solo en un anlisis superfcial de los resultados de las pruebas nacionales y en una intro-
duccin general para los profesores sobre el sistema de evaluacin. La identifcacin y descrip-
cin de formas ms promisorias en que los resultados de las pruebas puedan ser utilizados como
Patricia McLauchlan de Arregui
134027 _ 0001-0184.indd 157 16/3/09 16:10:40
158
material para la capacitacin docente es an una tarea pendiente. En su captulo en este libro,
Pedro Ravela analiza en detalle la evaluacin y el desarrollo profesional de los docentes.
CONCLUSIONES
Una primera conclusin de esta rpida revisin es que los resultados de las pruebas parecen estar
siendo utilizados ms de lo que usualmente se sospecha. Dada la existencia relativamente corta
de los sistemas de evaluacin de la regin y la inestabilidad del compromiso poltico con su de-
sarrollo, no sorprende que distintos pases utilicen los resultados en menor medida de lo que se
esperara. Sin embargo, si se toma en cuenta la grave escasez de recursos para el mejoramiento
educativo y la existencia de muchos programas valiosos que valdra la pena fnanciar, parecera
necesario redoblar los esfuerzos para dar un uso adecuado a los resultados de las evaluaciones.
Aunque la mayora de pases latinoamericanos no iniciaron el desarrollo de sus sistemas de eva-
luacin con ideas claras sobre los usos que se podra dar a los resultados, una vez que empeza-
ron a recoger informacin fueron encontrando diversas maneras de usarla. As, por ejemplo, la
informacin ha sido utilizada para: el diseo e implementacin de polticas; la asignacin de
recursos; estimular cambios pedaggicos y promover la responsabilizacin entre varios actores e
instituciones educativas. Ha habido adems una considerable evolucin en la forma de presentar
los resultados a diversas audiencias, y cada vez se est dando mayor atencin a la necesidad de
incluir informacin sobre factores de contexto que deben ser tomados en cuenta en el momento
de interpretar los resultados.
Dado que en muchos lugares la prensa se ha convertido en el principal comunicador de los resul-
tados a profesores, padres y tomadores de decisiones, es claro que no se han realizado esfuerzos
sufcientes para educar a los medios de comunicacin de modo que estos se conviertan en aliados
de los esfuerzos para movilizar al pblico en apoyo de la educacin, en vez de actuar, conscien-
temente o no, como enemigos del sistema pblico. Esto requerir que la mayora de agencias de
evaluacin asigne una cantidad considerablemente mayor de recursos que los que se han estado
invirtiendo en esfuerzos de difusin (tiempo del personal para defnir claramente los principales
mensajes que deben ser transmitidos al pblico en general a travs de la prensa; tiempo para res-
ponder a interpretaciones incorrectas o no deseables de los resultados de las pruebas; as como
ms dinero).
Aunque ahora est empezando, el efecto de los resultados de las pruebas en la renovacin cu-
rricular y el establecimiento de estndares tambin parece prometedor cabe notar que muchos
pases pusieron en marcha sus sistemas de evaluacin al mismo tiempo que daban inicio a refor-
mas curriculares cuya llegada a las aulas an tena que ser asegurada. Sin embargo, el diseo de
las pruebas an necesita mejorarse para permitir investigaciones adicionales de las implicancias
pedaggicas de sus resultados. La posibilidad de utilizar los resultados para mejorar la planifca-
cin en el mbito de las escuelas tambin est emergiendo como una lnea de accin interesante y
requerir de aplicaciones de tipo censal o de la provisin de instrumentos para la autoevaluacin
y el anlisis colectivo de los resultados.
Otra manera de que las evaluaciones pueda contribuir a mejorar el desempeo docente y los
logros de aprendizaje es la produccin de materiales para el desarrollo profesional que estn ba-
sados en anlisis detallados de los resultados de las pruebas y la generacin de espacios institu-
cionales y eventos de capacitacin en los cuales estos puedan ser apropiados y usados a cabalidad.
Difusin y uso de resultados de evaluaciones educativas a gran escala en Amrica Latina
134027 _ 0001-0184.indd 158 16/3/09 16:10:40
159
El anlisis de tems seleccionados de las pruebas que es difundido por las agencias de evaluacin
ha facilitado con frecuencia entre los profesores la refexin sobre sus propias expectativas para el
aprendizaje de sus estudiantes, as como la reconsideracin por parte de los especialistas de cun
adecuados son los objetivos de aprendizaje que han defnido para varios grados. El acceso directo
a los instrumentos de evaluacin tambin parece una poderosa manera de aliviar los temores y
prejuicios existentes sobre la gama supuestamente limitada de habilidades que las pruebas pue-
den evaluar. Hoy da, incluso los tems de opcin mltiple pueden explorar procesos de razona-
miento complejos y pueden servir para identifcar fuentes de error ligadas a las prcticas de aula,
si bien no debe aspirarse a sustituir el rol de las evaluaciones formativas en aula, otra rea crtica
en la gestin del aprendizaje.
Sin embargo, si se quiere asegurar el xito de las estrategias de difusin y uso de los resultados,
se tendr que prestar mayor atencin a las culturas organizacionales, tanto a nivel de las escuelas
como en los niveles intermedios de la administracin educativa. Las directrices tradicionales de
tipo vertical (top-down) con frecuencia han fallado en tener los resultados anticipados cuando los
intereses burocrticos y profesionales aparecen amenazados por la nueva informacin disponible,
o cuando simplemente no existen las capacidades para ser movilizadas.
Patricia McLauchlan de Arregui
134027 _ 0001-0184.indd 159 16/3/09 16:10:40
134027 _ 0001-0184.indd 160 16/3/09 16:10:40
161
Los resultados de las evaluaciones y su papel
en las polticas educativas
lvaro Marchesi
DIFERENTES PERSPECTIVAS Y CONTROVERSIAS
EN LA EVALUACIN EDUCATIVA
Como se ha podido comprobar en la lectura de los diferentes captulos del libro, hay mltiples
desajustes y discrepancias en el mbito de la evaluacin como sucede en casi todos los temas edu-
cativos relevantes. Los tres ms importantes se referen a la coherencia entre el signifcado de la
educacin y los objetivos de las evaluaciones, a la defnicin y las fnalidades de las evaluaciones
y a las relaciones entre la evaluacin, la poltica y el cambio educativo.
Signifcado de la educacin y objetivos de la evaluacin
Las funciones de la educacin escolar se han ido ampliando en la medida en que se incremen-
taban las exigencias sociales. Ya no se trata solo de aprender determinados conocimientos, sino
que es preciso aprender a conocer, aprender a hacer, aprender a vivir juntos y aprender a ser, de
acuerdo con la acertada propuesta del informe Dlors. Y para ello es preciso que los profesores
adquieran las competencias necesarias y que las escuelas se organicen de tal manera que estos
objetivos formen parte indisociable del trabajo educativo.
Pero no solo se han ampliado los objetivos de la educacin. Tambin se tiene conciencia de
que el logro de dichos objetivos no puede atribuirse de forma exclusiva a la responsabilidad del
sistema educativo administraciones educativas, maestros y alumnos, sino que debe recaer
tambin en otras administraciones pblicas y sectores sociales: municipios, familias, centros de
salud, medios de comunicacin, voluntarios; y que si importante es el tiempo escolar, tam-
poco deben olvidarse las horas que el alumnado pasa fuera de la escuela y las actividades que
realiza en ellas.
Lo que aparece en muchas ocasiones y en ello se encuentra la primera de las tensiones es la
habitual distancia entre el discurso pedaggico-educativo y el discurso especfco de los progra-
mas de evaluacin. Mientras que en los primeros, como se acaba de apuntar, aparecen con fuerza
elementos vinculados a la adquisicin de conocimientos, al desarrollo social y a la formacin en
actitudes y valores, as como referidos a la participacin activa de diferentes agentes e institucio-
nes sociales, el mbito de la evaluacin escolar suele quedar restringido a la organizacin de las
escuelas, a la prctica docente de los maestros en sus disciplinas especfcas y principalmente a los
aprendizajes de los alumnos en lengua, matemticas y conocimiento cientfco.
Diferentes fnalidades
Existe un acuerdo inicial entre la gran mayora de los estudiosos del tema sobre el signifcado de
la evaluacin: obtener informacin a travs del conocimiento de la realidad y de procedimientos
134027 _ 0001-0184.indd 161 16/3/09 16:10:40
162
cientfcos contrastados. A partir de ah aparecen las diferencias ms notables. Un primer tipo de
propuestas son las que ponen el acento principal en la valoracin del proyecto: evaluar es determi-
nar el mrito o el valor de algo (Scriven, 1991, p. 139). Otro conjunto de orientaciones insiste ms
bien en la adopcin de decisiones y en el cambio de los programas como objeto de la evaluacin.
No se trata, afrmar Cronbach (1982), de ser un rbitro que establezca lo bueno y lo malo, sino
que la tarea principal del evaluador es ayudar a adoptar decisiones que contribuyan a la mejora del
objeto evaluado. La evaluacin, en cierta medida, deber acompaar al desarrollo de la educacin
e integrarse en ella. Finalmente, existe un tercer grupo de aproximaciones a la funcin de la eva-
luacin referidas al desarrollo del conocimiento y a la sensibilizacin de los sectores interesados
en la educacin. En este caso, el acento se sita en la participacin, en el dilogo y en el cambio
educativo, por lo que el evaluador sera ms bien un mediador en el proceso de construccin de
los conocimientos apropiados y un agente indirecto en la mejora de la educacin.
En todas estas fnalidades, especialmente en aquella referida a la valoracin del mrito, est pre-
sente de una forma o de otra un determinado modelo educativo y una opcin de valor, lo que
tambin est presente en la accin poltica. Por ello, las relaciones entre la evaluacin y la poltica
educativa pueden comprenderse mejor una vez que se hayan comentado las tres fnalidades prin-
cipales de la evaluacin: informacin, valoracin y orientacin para la adopcin de decisiones.
Al fnal, en el ltimo apartado, se discutirn de forma especfca las relaciones entre evaluacin,
poltica y cambio educativo, que adems constituyen el tercero de los desajustes al que se ha hecho
mencin al inicio del captulo.
EL MOSAICO INFORMATIVO
Seleccin de la informacin
La seleccin de la informacin y su presentacin son dos momentos clave del proceso de evalua-
cin. En ellos se encuentran gran parte de los dilemas a los que debe enfrentarse la evaluacin, y
de su orientacin va a depender la forma en la que se desarrolle la secuencia posterior.
La primera cuestin se refere a la seleccin de la informacin y afecta fundamentalmente a las
dimensiones que van a ser objeto de la evaluacin y a la obtencin de los datos que se consideran
relevantes. No cabe duda de que se evala lo que se valora, por lo que el enfoque de la evaluacin,
en el que se refeja un determinado modelo educativo, tiene una importancia indudable.
Elegir la evaluacin de las competencias en matemticas y en lengua frente a otras opciones como
educacin artstica, convivencia, integracin social o ciudadana, e incluir o no el contexto social
y cultural, los recursos de las escuelas o la formacin de los docentes son alternativas que sin duda
van a tener repercusiones en la importancia que se otorga a determinados aprendizajes escolares
y en la interpretacin de los resultados obtenidos. Por ello es importante una cierta planifcacin
de las evaluaciones para que todas o casi todas las dimensiones relevantes en la accin educativa
puedan ser tenidas en cuenta.
Presentacin y utilizacin de la informacin
La segunda cuestin afecta a la presentacin y utilizacin de la informacin y, dentro de ella, al
tipo de comparacin que contribuye a comprender el alcance de la informacin obtenida. Con-
viene sealar, en primer lugar, que algn tipo de comparacin con algn elemento de referencia
Los resultados de las evaluaciones y su papel en las polticas educativas
134027 _ 0001-0184.indd 162 16/3/09 16:10:40
163
es necesario para comprender de forma ms precisa el signifcado de la informacin obtenida y
para realizar la valoracin del objeto de la evaluacin. Tambin merece la pena recordar que la
forma de comparacin seleccionada no condiciona su modo de presentacin, bien sea abierto a
todo el pblico, limitado a determinados sectores o reservado.
Alejandro Tiana, en un artculo que form parte del Programa de Evaluacin de la Calidad de la
Educacin gestionado por la propia OEI hace ms de una dcada (1996), apunt tres tipos princi-
pales de comparaciones, con sus ventajas e inconvenientes. El primero supone la seleccin de un
criterio o indicador que sirve de referente para realizar la valoracin oportuna. El segundo elige
la comparacin entre las distintas entidades que participan en la evaluacin, bien sean pases,
escuelas o alumnos, y determina la posicin de cada una en relacin con el resto. El tercer tipo
intenta evitar los riesgos de las anteriores al tener que seleccionar un criterio o comparar realida-
des educativas que actan en muy diversas circunstancias, y opta por la comparacin del mismo
objeto educativo a lo largo del tiempo.
El modo de comparacin elegido manifesta un determinado modelo educativo sobre la calidad
de la enseanza e incluso una estrategia propia para mejorar la educacin, lo que sucede tambin
en la forma como se presentan los resultados de la evaluacin. La publicacin ordenada de los
resultados acadmicos de los alumnos de las escuelas de una zona o de un pas, por ejemplo,
suele implicar la asociacin de esos resultados con la calidad de cada escuela y la importancia
otorgada al esfuerzo autnomo que cada una de ellas debe desarrollar. Tambin se presupone que
la eleccin por parte de las familias de las mejores escuelas para sus hijos va a ser el mecanismo o
revulsivo para que todas las escuelas se esfuercen por mejorar sus resultados y conseguir mayor
nmero de alumnos y posiblemente con ellos tambin mayores recursos econmicos.
A la hora de presentar la informacin hay que tener en cuenta los riesgos a los que se enfrenta. Uno
de ellos es la simplicidad en la transmisin de los resultados a la opinin pblica, que en muchas
ocasiones no se corresponde con el rigor de los informes, lo que provoca normalmente una com-
prensin inadecuada de la compleja realidad educativa de un pas, de una escuela o de un progra-
ma educativo. Las ltimas naciones en una comparacin internacional de resultados o las ltimas
escuelas en una evaluacin de un pas o regin pueden quedar marcadas por esa posicin sin que
se repare en las limitaciones de su contexto sociocultural, en la composicin de su alumnado o en
el posible esfuerzo realizado en los ltimos aos. En su captulo en este libro, Patricia McLauchlan
de Arregui ha analizado en detalle el tema de la difusin de los resultados de la evaluacin.
Un segundo riesgo apunta al uso indebido de inferencias no sostenidas por la evaluacin reali-
zada, lo que en muchas ocasiones se produce desde las evaluaciones individuales, sobre todo de
los logros acadmicos de los alumnos, hacia el funcionamiento y la calidad de las escuelas y del
conjunto del sistema educativo. A veces, sin embargo, dichas inferencias estn de alguna manera
implcitas en la evaluacin correspondiente o en los modelos educativos subyacentes para los que
el rendimiento acadmico de los alumnos es la genuina expresin de la calidad de una escuela o
del sistema educativo.
Por todo ello es preciso abordar las evaluaciones y la utilizacin de la informacin con el mximo
cuidado, teniendo en cuenta no solo los efectos conceptuales e instrumentales del conocimiento
y de la informacin generada, sino tambin los polticos y los simblicos. Los resultados de la
evaluacin pueden convertirse en un poderoso instrumento de cambio si se cuida su utilizacin,
si se evitan los riesgos de su mal uso e incluso de su falta de uso, si se sientan las bases para una
lvaro Marchesi
134027 _ 0001-0184.indd 163 16/3/09 16:10:40
164
correcta interpretacin de los resultados y se establece un marco de participacin y de debate
que permita el lgico contraste de opiniones diversas ante el pluralismo valorativo presente en la
evaluacin.
EL MRITO Y LA INTERPRETACIN EN LA EVALUACIN
Existe una amplia coincidencia entre los profesionales que trabajan en el campo de la evaluacin
educativa en que la determinacin del mrito o del valor del objeto evaluado es uno de los rasgos
distintivos de los procesos de evaluacin. A partir de la informacin obtenida por medio de los
procedimientos tcnicos adecuados, es preciso valorar cmo est funcionando aquello que se
evala, si cumple los objetivos previstos, sus logros y sus carencias principales y, en la medida de
lo posible, las causas o, si esto no fuera posible, los correlatos de esta situacin. La determinacin
del mrito supone un juicio de valor en el que entran en juego factores educativos, polticos y
ticos.
Como ya se ha sealado anteriormente, los modelos educativos y las opciones de valor operan
tambin en las primeras fases del proceso de evaluacin y las decisiones adoptadas en ellas in-
fuyen en las fases ulteriores y defnitivas. Tambin la eleccin del modo de comparacin de los
resultados infuye en la valoracin del objeto estudiado y es a su vez expresin de una determina-
da concepcin educativa. La comparacin ordenada de las escuelas en funcin de los resultados
directos de los alumnos no permite la misma valoracin que si se tiene en cuenta el valor agre-
gado que las escuelas aportan a los logros de los alumnos en funcin de su nivel inicial y de su
contexto sociocultural. La valoracin de una escuela tampoco sera la misma si se comparan sus
resultados con otras escuelas o si la comparacin se realiza con ella misma en diferentes perodos
de tiempo.
La decisin sobre el mrito que se atribuye a las instituciones evaluadas lo mismo se podra decir
de los sistemas y de los individuos es, como se acaba de afrmar, la expresin de una opcin de
valor. En consecuencia, las decisiones que se asumen en la evaluacin, como en la educacin en
su conjunto, no son neutras, sino que refejan una determinada concepcin del papel de la educa-
cin en la sociedad, de los objetivos educativos que deben destacarse y de los modelos de cambio
que se consideran ms pertinentes. No es extrao por ello que sea en el campo de la valoracin
del mrito de la realidad evaluada en donde las relaciones entre la evaluacin y la poltica se hacen
presentes de forma ms ntida.
En la determinacin del mrito o valor del objeto evaluado ocupa un papel relevante la interpre-
tacin o explicacin que se realiza de la informacin obtenida. La toma en consideracin de unos
factores u otros y la metodologa utilizada orienta en una u en otra direccin el discurso inter-
pretativo. Adems, la posibilidad de incorporar informaciones procedentes de otras evaluaciones
puede ampliar la realidad evaluada. Desde esta perspectiva adquiere una especial relevancia la
integracin de las informaciones obtenidas en las diferentes evaluaciones. Hay que reconocer, sin
embargo, que la pluralidad de modelos, opciones de valor y metodologas utilizadas complican
enormemente esta labor.
Pero tambin la tarea interpretativa, en gran medida tambin valorativa, tiene una especial rela-
cin con otra de las fnalidades de la evaluacin: la informacin para la adopcin de decisiones
y para el cambio. En funcin de las relaciones establecidas entre las variables seleccionadas, el
nfasis de la orientacin puede estar en el mrito de la realidad educativa evaluada, en las barreras
Los resultados de las evaluaciones y su papel en las polticas educativas
134027 _ 0001-0184.indd 164 16/3/09 16:10:40
165
que determinadas condiciones imponen al objeto evaluado o en la bsqueda de nuevas informa-
ciones que permitan comprenderlo mejor. Adems, el nfasis en tales o cuales dimensiones que
contribuyen a la interpretacin de la realidad educativa no solo puede orientar las decisiones, sino
que sita el foco de la responsabilidad en determinadas instituciones, sectores o personas. Por ello
sera preciso que la evaluacin incluyera de alguna manera a todos aquellos que pudieran tener
alguna responsabilidad con el desempeo del objeto evaluado.
Un ejemplo puede ayudar a clarifcar este planteamiento. Supongamos que se ha realizado una
evaluacin de un programa de integracin de alumnos con necesidades educativas especiales en
la escuela ordinaria y se ha comprobado que estos alumnos tienen ms difcultades de relacin
social con sus compaeros que aquellos otros que estudian en una escuela especial. Cmo inter-
pretar estos datos y orientar a partir de ellos? Sera correcto sugerir que no es positiva, al menos
en este mbito, la inclusin educativa? O solo que hay que cambiar determinadas condiciones
formacin de maestros, recursos humanos y materiales, actitudes de los maestros, de las fami-
lias y de los alumnos, actividades de ocio que desarrollan los municipios, etc. para mejorar el
proyecto? Qu condiciones son las ms importantes, de quin es la responsabilidad principal y
cmo se ha constatado en esta evaluacin? O se podra pensar que esos resultados se invertiran
cuando se evaluara la adaptacin social de los alumnos en contextos no escolares, lo que apunta-
ra a otro tipo de evaluacin en un nuevo contexto?
EVALUACIN, ADOPCIN DE DECISIONES Y CAMBIO EDUCATIVO
Se acaba de sealar la estrecha relacin entre el juicio de valor sobre una realidad educativa y la
orientacin para la posible adopcin de decisiones. En el imaginario de los evaluadores opera
la creencia de que sera deseable que las informaciones que proceden de evaluaciones rigurosas
sirvan como referente principal en las decisiones de los polticos para orientar los proyectos edu-
cativos.
Sin embargo, como fcilmente puede constatarse por la experiencia de evaluadores y de polticos,
la situacin es bien distinta. La razn fundamental no es tanto el rechazo de los resultados de
las evaluaciones, sino el hecho de que las decisiones polticas han de tener en cuenta diferentes
fuentes de informacin, necesitan tomar en consideracin las demandas, justifcadas o no, de los
actores concernidos por la decisin, aconsejan negociacin y consenso en muchas ocasiones, han
de tener en cuenta objetivos polticos generales y no deben olvidar las repercusiones sociales de la
decisin. La valoracin del momento y de la oportunidad, as como la necesidad de aunar fuerzas,
son condicionantes importantes de las decisiones polticas. En este juego de fuerzas en las que se
mueven las decisiones polticas, lo que hoy parece acertado porque resuelve un problema inme-
diato, maana se vuelve equivocado porque ha abierto otros muchos problemas. No es extrao
por todo ello que no pocos evaluadores consideren que los resultados de las evaluaciones van
por un lado y las decisiones polticas por otro, y que los polticos tienden en demasa a utilizar la
informacin proporcionada por las evaluaciones al servicio de sus intereses inmediatos.
Las limitaciones que se acaban de apuntar de la capacidad de las evaluaciones para infuir en las
decisiones polticas no deben ser motivo de desnimo. Sera una concepcin demasiado estrecha
considerar que la evaluacin solo puede intervenir en la mejora de la educacin a travs de su in-
fuencia en el mbito de las decisiones polticas. Los resultados de las evaluaciones infuyen en la
realidad educativa por muy diversas vas, entre las que sin duda es preciso destacar la referida a las
decisiones en el mbito de la poltica educativa. Pero hay otras muchas formas en la que se constata
lvaro Marchesi
134027 _ 0001-0184.indd 165 16/3/09 16:10:40
166
su infuencia en el cambio educativo: en su impacto en el funcionamiento de las instituciones,
en su efecto en las actitudes, creencias y comportamientos de los docentes, en el mayor compro-
miso de determinadas instituciones como la familia o los municipios y en el tipo de mensajes que
transmiten los medios de comunicacin. Todas estas instituciones, sectores y personas pueden a
su vez infuir en los tomadores de decisin, por lo que no se debe olvidar que la informacin que
procede de las evaluaciones se mueve por caminos diversos e inesperados.
La poltica educativa y la evaluacin pueden establecer relaciones recprocas, pero ambas pueden
a su vez infuir en otros agentes e instituciones educativas y en la propia actividad educadora.
Este tipo de efectos puede realizarse de forma coordinada o de forma independiente por falta de
comunicacin o de entendimiento. Lo que determina el impacto real de la evaluacin por una
va o por otra es la consistencia y relevancia de la informacin obtenida, as como la forma y per-
sistencia de transmitir la informacin a los distintos sectores educativos. Al fnal, lo importante
no es tanto la manera como se utiliza la informacin, sino el impacto que provoca en los sectores
implicados.
Desde esta perspectiva, los evaluadores deberan comprender cmo trabajan los responsables
polticos, cules son sus limitaciones y cmo adoptan decisiones. Pero tambin sera necesario
que tuvieran en cuenta qu tipo de instituciones y agentes tienen mayor incidencia en el cambio
educativo, cmo se llega a ellos y qu barreras han de superarse para que los resultados de las eva-
luaciones tengan efecto en el sistema educativo. Los modelos sobre la utilizacin de la evaluacin
han de ampliarse al anlisis de su impacto y este debera incorporar tambin una teora sobre el
cambio educativo.
Estas razones avalan la importancia de conocer las caractersticas del receptor de la informacin,
as como el papel de los intermediarios de la misma: supervisores, directores, asesores y lderes
de opinin en campo social y educativo. La atencin a los medios de comunicacin es primordial
para conseguir el efecto deseado, por lo que debera cuidarse la precisin del mensaje que se quie-
re transmitir, algo que suele ser contrario al estilo habitual de los titulares periodsticos.
La importancia otorgada a la infuencia de las evaluaciones en muy diversas formas en los distin-
tos mbitos del sistema educativo, desde los responsables polticos hasta los profesores, pone de
relieve una nueva funcin de la evaluacin que, sin olvidar las ya mencionadas, debera tenerse
en cuenta: la iluminacin de la realidad educativa con el fn de facilitar su compresin e inter-
pretacin, sugerir orientaciones a los diversos sectores implicados en funcin de su responsabili-
dad y favorecer su participacin para garantizar un mayor compromiso con sus resultados. Este
planteamiento puede facilitar las relaciones en ocasiones difciles entre la evaluacin y la poltica
educativa
1
.
EVALUACIN Y POLTICA EDUCATIVA
Diferentes relaciones
A lo largo de las pginas anteriores se ha ido apuntando la continua relacin entre la evaluacin
y las decisiones polticas. Los programas y proyectos de reformas que han de ser evaluados pro-
1
En el captulo de Marta Kisilevsky incluido en este libro se analiza otra de las relaciones entre evaluacin
y poltica educativa, la que se refere a valorar los programas y actuaciones polticas.
Los resultados de las evaluaciones y su papel en las polticas educativas
134027 _ 0001-0184.indd 166 16/3/09 16:10:40
167
ceden de decisiones polticas, los juicios de valor que se refejan en los informes de evaluacin
contactan con los juicios de valor presentes en la arena poltica y las orientaciones que se derivan
de las evaluaciones se incorporan tambin al debate poltico. A pesar de los esfuerzos de los eva-
luadores de mantener la mxima neutralidad posible, es necesario ser conscientes de las perma-
nentes implicaciones polticas que las evaluaciones conllevan.
En un sugerente trabajo sobre las relaciones entre evaluacin y poltica, Karlsson y Konner (2005)
describen tres perspectivas sobre dichas relaciones: la primera posicin sostiene que es posible
y deseable separar evaluacin y poltica; la segunda, que es posible separar evaluacin y poltica
cuando se proporciona informacin, pero que no lo es cuando se proporcionan juicios de valor y
que adems no es conceptualmente deseable; la tercera posicin mantiene que no es ni posible ni
deseable, operacional y conceptualmente, separar la evaluacin de la esfera de la poltica.
No corresponde a este texto analizar cada uno de estos enfoques, aunque a lo largo de estas p-
ginas se ha tratado de argumentar a favor de una posicin que se aproxima a la tercera de ellas.
De lo expuesto en estas pginas se deduce que la concepcin tradicional del evaluador como
cientfco objetivo y neutral que se enfrenta a la realidad con sus propias herramientas tcnicas y
metodolgicas, sin contaminarse con las disputas polticas que le rodean, es difcilmente soste-
nible. El evaluador est inmerso en el debate poltico que afecta a las reformas y a los programas
que son objeto de su trabajo y ha de ser consciente de los diferentes intereses que estn en juego
e incluso que l mismo, con sus propios valores, forma parte de esos intereses. Como sealan
Karlsson y Konner, la mejor imagen de un evaluador es la de un profesional bien entrenado, que
trabaja en un contexto con implicaciones implcitas o explcitas polticas, culturales y personales
que infuyen en todas las fases del proceso de evaluacin, y que mantiene una actitud respetuosa
con las diversas posiciones en juego.
La autonoma de la evaluacin
Las relaciones entre evaluacin y poltica son en mltiples ocasiones asimtricas, sobre todo
cuando los evaluadores dependen del poder poltico o cuando existe el riesgo de que determina-
das valoraciones puedan erosionar la confanza poltica y provocar la marginacin en futuras eva-
luaciones. Por ello no es fcil que el evaluador mantenga su independencia de criterio. Su mayor
o menor autonoma depender de su propia capacidad, pero tambin de la forma de trabajo de
los poderes pblicos. En funcin del tipo de interaccin que se establezca entre ambos se podrn
abrir o cerrar los caminos de una cooperacin fructfera.
Entre las capacidades de los evaluadores est la consistencia terica y tcnica con la que presen-
ten sus proyectos, su visin para situarse en la arena poltica, su habilidad para negociar en las
diferentes fases del proceso de evaluacin y su sensibilidad ante la diversidad de interpretaciones
posibles, pues los estudios educativos difcilmente presentan conclusiones incontestables.
Por su parte, la forma de trabajo de los poderes pblicos est en funcin de su grado de respeto a
la autonoma de los proyectos de evaluacin, de su nivel de aceptacin de la informacin crtica
a sus proyectos y de su sensibilidad para tenerla en cuenta a la hora de adoptar decisiones, de su
capacidad de impulsar el debate y la participacin, del reconocimiento de que el apoyo y la for-
macin a los equipos responsables de la evaluacin es una buena inversin, y de la voluntad de
asegurar la coordinacin de las evaluaciones para mejorar su interpretacin y ofrecer una visin
progresivamente integradora de la diversa realidad educativa.
lvaro Marchesi
134027 _ 0001-0184.indd 167 16/3/09 16:10:40
168
Participacin y dilogo
Por todo ello, la comprensin de las diferencias entre la esfera de la poltica y la esfera de la eva-
luacin, as como de sus continuas interacciones, junto con una actitud que fomente el dilogo
y la participacin, contribuyen a garantizar el logro de las fnalidades de la evaluacin, especial-
mente iluminar la realidad educativa y colaborar en su transformacin. La comunicacin ha de
mantenerse entre los poderes pblicos y los evaluadores, pero tambin entre ellos y los diferentes
agentes e instituciones educativas. El apoyo a redes diversas en las que se debatan los resultados
de las evaluaciones, en las que se recojan propuestas y sugerencias y en las que sea posible la
crtica y las posiciones alternativas supone un respaldo al proceso de evaluacin y una forma de
contribuir a su utilizacin y a su impacto.
La posibilidad de comunicacin y de discusin enriquecedora se refuerza cuando se acepta la
existencia del pluralismo en el seno de las evaluaciones, de manera similar a como est presente
en la realidad social, cultural, educativa y poltica. Los proyectos de evaluacin pueden orientarse
desde diferentes opciones ideolgicas, cientfcas y tcnicas y conectar en mayor o menor medida
con las plurales opciones polticas. La conciencia de esta situacin ayuda a un dilogo enriquece-
dor. Esta defensa del pluralismo no conduce a situar en el mismo nivel a todas las evaluaciones.
Aquellas que se orientan por los valores de calidad, equidad, participacin, inclusin educativa
y cohesin social son, a juicio del autor del presente texto, las que mejor contribuyen al logro de
sus fnalidades.
El evaluador debe ser consciente de que su trabajo est inmerso en debates cientfcos a los que
debe hacer frente, pero que tambin est concernido con cuestiones polticas y ticas de las
que no puede evadirse. La respuesta coherente a estas demandas fortalece su fgura profesional y
ampla el impacto educativo y social de su tarea.
Los resultados de las evaluaciones y su papel en las polticas educativas
134027 _ 0001-0184.indd 168 16/3/09 16:10:40
169
Bibliografa
Aguilar Villanueva, L. (ed.) (2000), Problemas pblicos y agenda de gobierno, Mxico, Miguel
ngel Porra.
Ainscow, M. (2001), Desarrollo de escuelas inclusivas, ideas, propuestas y experiencias para mejorar
las instituciones escolares, Madrid, Narcea Ediciones.
Archbald, D. y Newman, F. (1992), Approaches to assessing academic achievement, en Tom,
A. R. (ed.), Toward a new science of educational testing, Nueva York, State University of New
York Press.
Ardoino, J. (2000), Consideraciones tericas sobre la evaluacin en educacin, en Rueda, M. y
Daz, F. (comp.), Evaluacin de la docencia. Perspectivas actuales, pp. 23-37, Mxico, Paids.
Arniz, P. (2003), Educacin inclusiva. Una escuela para todos, Madrid, Editorial Aljibe.
Arregui, P. (2001), Sistemas de determinacin y evaluacin de metas de logros de aprendizaje
escolar como instrumento para mejorar la calidad, la equidad y la responsabilizacin en los
procesos educativos en Amrica Latina. Anlisis de prospectivas de la educacin en Amrica
Latina y el Caribe, Santiago de Chile, UNESCO.
Bez, B. (1994), El movimiento de escuelas efcaces. Implicaciones para la innovacin educativa,
Revista Iberoamericana de Educacin, 4, pp. 102-103.
Ballart, X. (1992), Cmo evaluar programas y servicios pblicos? Aproximacin sistemtica y
estudios de caso, Madrid, Ministerio para las Administraciones Pblicas.
Bardach, E. (1996), El problema de la defnicin de problemas en el anlisis de polticas, en
Aguilar Villanueva, L. (ed.), Problemas pblicos y agenda de gobierno, pp. 219-234, Mxico,
Miguel ngel Porra.
Barber, M. y Mourshed, M. (2007), How the worlds best-performing school systems come out on
top, McKinsey & Company, disponible en:
http://www.mckinsey.com/clientservice/socialsector/resources/pdf/Worlds_School_
Systems_Final.pdf. Traduccin al castellano, PREAL (2008), Cmo hicieron los sistemas
educativos con mejor desempeo del mundo para alcanzar sus objetivos, Santiago de Chile,
PREAL, documento de trabajo n. 41, disponible en: http://www.preal.org/publicacion.asp.
Benveniste, L. (2000), La evaluacin del rendimiento acadmico y la construccin de consensos en
Uruguay, Lima, GRADE-PREAL.
Bray, M., Adamson, B. y Mason, M. (2007), Comparative education research. Approaches and
methods, Hong Kong, CERC-Te University of Hong Kong.
Carnoy, M. (2004), Las reformas educativas en la dcada de 1990. Un estudio comparado de
Argentina, Chile y Uruguay, Proyecto Alcance y resultados de las reformas educativas en
Argentina, Chile y Uruguay, desarrollado por el Banco Interamericano de Desarrollo, los
Ministerios de Educacin de Argentina, Chile y Uruguay y el Grupo Asesor de la Universidad
de Stanford, Buenos Aires, Akian Grfca Editora.
Carnoy, M. y Marshall, J. (2005), Cubas academic performance in comparative perspective,
Comparative Education Review, vol. 49, 2.
134027 _ 0001-0184.indd 169 16/3/09 16:10:40
170
Carr, W. (1995), Una teora para la educacin. Hacia una investigacin educativa crtica, Madrid,
Ediciones Morata.
Casassus, J. (2003), La escuela y la desigualdad, Santiago de Chile, LOM Ediciones.
Castillero, B., Daz, J., Morales, F. y Rino, J. (2002), Gestin y supervisin en el centro de
educacin bsica, Costa Rica, Coordinacin Educativa y Cultural Centroamericana, n. 36.
Center for Educational Testing and Evaluation (1995), 1995 Kansas science assessment.
Examiners manual, Lawrence, Te University of Kansas Printing Service.
Center for Educational Testing and Evaluation (1995), 1995 Kansas science assessment.
Grade 8, Lawrence, Te University of Kansas Printing Service.
Chiara, M. y Di Virgilio, M. (2008), Conceptualizando la gestin social, en Gestin de la
poltica social, conceptos y herramientas, UNGS.
Cicourel, A. (2000), Algunas cuestiones de teora y mtodo, en Goffman, E. y otros (eds.),
Sociologas de la situacin, pp. 97-117, Madrid, La Piqueta.
Cohen, E. y Franco, R. (1988), Evaluacin de proyectos sociales, Buenos Aires, ILPES/ONU-
CIDES/OEA-GEL, Coleccin Estudios Polticos y Sociales, 1. ed.
Coleman, J. S., Campbell, E., Hobson, C., Mc Partland, J., Mood, A., Weinfeld, F. y York,
R. (1966), Equality of educational opportunity, Washington D. C., Department of Health,
Education & Welfare, Ofce of Education.
Coll, C. y Martn, E. (2006a), Vigencia del debate curricular. Aprendizajes bsicos, competencias
y estndares, pp. 67-92, PRELAC, 9.
Coll, C. y Martn, E. (2006b), Evaluaciones del rendimiento escolar y procesos de cambio
curricular en Espaa entre 1990 y 2005. Anlisis de un caso, en Dols (ed.), Recherches sur les
curriculums, dveloppement et pilotage, pp. 78-109.
Coll, C., Martn, E. y Onrubia, J. (2001), La evaluacin del aprendizaje escolar, dimensiones
psicolgicas, pedaggicas y sociales, en Coll, C., Palacios, J. y Marchesi, A., Desarrollo
psicolgico y educacin, vol. II, Psicologa de la educacin, pp. 549-567, Madrid, Alianza Editorial.
Comisin Europea (1999), Selection and use of indicators for monitoring and evaluation.
Evaluating socio-economic programmes, vol. 2, Luxemburgo, Ofce for Publications of the
European Communities.
Comisin Europea (2004), Competencias clave para un aprendizaje a lo largo de la vida. Un marco
de referencia europeo. Puesta en prctica del programa de trabajo Educacin y Formacin
2010, Grupo de trabajo B Competencias clave, Comisin Europea, Direccin General de
Educacin y Cultura, disponible en:
http://www.educastur.princast.es/info/calidad/indicadores/doc/comision_europea.pdf.
Comisin para el Desarrollo y Uso del SIMCE (2003), Evaluacin de aprendizajes para una
educacin de calidad, Santiago de Chile, Ministerio de Educacin.
Condemarn, M. y Medina, A. (2000), Evaluacin autntica de los aprendizajes. Un medio para
mejorar las competencias en el lenguaje y comunicacin, Santiago de Chile, Editorial Andrs
Bello.
Cox, C. (2008), Book review. Tough choices or tough times, seeing with one eye, Journal of
Educational Change, 9, pp. 83-85.
Cronbach, L. J. (1982), Designing evaluations of educational and social programs, San Francisco,
Jossey Bass.
Bibliografa
134027 _ 0001-0184.indd 170 16/3/09 16:10:40
171
Cueto, S. (ed.) (2005), Uso e impacto de la informacin educativa en Amrica Latina, Santiago de
Chile, PREAL.
De Macedo, L. (2002), Situao-problema, forma e recurso de avaliao, desenvolvimento de
competncias e aprendizagem escolar, en Perrenoud, P. y Gather, T. (ed.), As competncias
para ensinar no sculo xxi. A formao dos profesores e o dsafo da avaliao, Porto Alegre.
Artmed.
De Landsheere, G. (1994), Le pilotage des systmes dducation, Bruselas, De Boeck.
Delors, J. (dir.) (1996), La educacin encierra un tesoro, Informe a la UNESCO de la Comisin
Internacional sobre Educacin para el Siglo xxi, Pars, Organizacin de las Naciones
Unidas.
DINIECE (2007), Gluz, N. y Chiara, M. (coord.), Estudio evaluativo Programa Integral de
Igualdad Educativa.
DINIECE (2008), Chiara, M., Gua para la evaluacin de programas en educacin, rea de
Investigacin y Evaluacin, Buenos Aires.
Esquivel, J. M. (2000), Materiales del taller sobre evaluacin del desempeo, ofrecido a diversas
audiencias en la regin centroamericana. San Jos, CECC.
Esquivel, V. (2006), De la integracin a la educacin inclusiva. Educacin para todos, conferencia
dictada en el Congreso anual de la ANDE.
Estefana, J. L. y Lpez, J. (2003), Evaluacin externa del centro y calidad educativa, Madrid,
Editorial CCS.
EURYDICE (2004), Evaluacin de los centros de enseanza obligatoria en Europa, Madrid,
Ministerio de Educacin y Ciencia.
Fernndez Ballesteros, R. (1996), Evaluacin de programas. Una gua prctica en mbitos
sociales, educativos y de salud, Madrid, Ed. Sntesis.
Ferrer, G. (2004), Las reformas curriculares de Per, Colombia, Chile y Argentina, quin responde
por los resultados? Lima, GRADE.
Ferrer, G. (2006), Sistemas de evaluacin de aprendizajes en Amrica Latina. Balances y desafos,
Lima, PREAL-GRADE.
Ferrer, G. (en elaboracin), Estudio comparado internacional sobre procesos de elaboracin e
implementacin de estndares de currculum en Amrica Latina.
Ferrer, J. G. y Arregui, P. (2003), Las pruebas internacionales de aprendizaje en Amrica Latina y
su impacto en la calidad de la educacin. Criterios para guiar futuras aplicaciones, documento
n. 23, Santiago de Chile, PREAL.
Forster, M. y Valverde, G. (2003), La experiencia internacional en sistemas de medicin, estudio
de caso, Santiago de Chile, Comisin para el Desarrollo y Uso del SIMCE.
Fullan, M. (1993), Change forces. Probing the depths of educational reform, Londres y Bristol, Te
Falmer Press.
Fullan, M. (1999), Change forces. Te sequel, Londres y Filadelfa, Te Falmer Press.
Gaulupeau, Y. (1992), La France lcole, Pars, Gallimard.
Gilmore, A. (2005). Te impact of PIRLS (2001) and TIMSS (2003) in low and middle-income
countries, Nueva Zelanda, IEA.
Bibliografa
134027 _ 0001-0184.indd 171 16/3/09 16:10:41
172
Goh, S. C., Cousins, B. y Elliot, C. (2006), Organizational learning capacity, evaluative
inquiry and readiness for change in schools, views and perceptions of educators, Journal of
Educational Change, n. 7, pp. 289-318.
Goodlad, J. I. y Anderson, R. H. (1987), Te nongraded elementary school, reedicin con una
nueva introduccin de la edicin de 1963, revisada de la House, E. R. (1993), Professional
evaluation. Social impact and political consequences, Newbury Park, Londres y NuevaDelhi,
SAGE, original de 1959, Nueva Cork, Teachers College, Columbia University.
Hintze, S. (2001), Refexiones sobre el conficto y la participacin en la evaluacin de polticas
sociales, Reforma y Democracia de CLAD, 21, presentado como ponencia en el VI Congreso
Internacional del CLAD sobre la Reforma del Estado y la Administracin Pblica, Buenos
Aires, noviembre, disponible en: http:// www.top.org.ar/publicac.htm.
House, E. y Howe, K. (1999), Values in evaluation and social research, Tousand Oaks, Sage
Publications
IEA (2007a), International Association for the Evaluation of Educational Achievement. Annual
Report, Amsterdam.
IEA (2007b), International Association for the Evaluation of Educational Achievement (ICSS),
Assessment Framework, Amsterdam.
PIRLS (2006), International Report, Boston College.
INEE (2006), Plan Maestro de Desarrollo 2007-2014, Mxico, INEE.
INEE (2007), Propuesta y experiencias para desarrollar un sistema nacional de indicadores
educativos, Mxico, INEE.
Ingvarson, L., Meiers, M. y Beavis, A. (2005), Factors afecting the impact of professional
development programs on teachers knowledge, practice, student outcomes and efcacy,
Education Policy Analysis Archives, 13 (10).
Karlsson, O. y Konner, R. E. (2005), Te relationship between evaluation and politics, en
Shaw, I. F., Greene, J. C. y Mark, M. M. (eds.), Te sage handbook of evaluation, Londres,
Sage Publications.
Kellaghan, Th. y Greaney, V. (2001), Using assessment to improve the quality of education,
Pars, UNESCO/International Institute for Educational Planning.
Lane, S. (1993), Te conceptual framework for the development of a mathematics performance
assessment instrument, Educational measurement. Issues and practice, verano, pp. 11-28.
Lane, S., Liu, M., Ankeonemann, R. y Stone, C. (1996), Generalizability and validity of a
mathematics performance assessment, Journal of Educational Measurement, n. 33, primavera,
pp. 71-92.
LeMahieu, P., Gitomer, D. y Eresh, J. (1995), Portfolios in large-scale assessment, difcult but
not impossible, Educational measurement. Issues and practice, otoo, pp. 11-28.
Linn, R., Baker, E. y Betebenner, D. (2002), Accountability systems. Implications of
requirements of the no child lef behind act of 2001, Educational Researcher, n. 31, 6,
pp. 3-16.
LLECE (2008), Valds, H. (coord.), Los aprendizajes de los estudiantes de Amrica Latina y
el Caribe, primer reporte de los resultados del Segundo Estudio Regional Comparativo
y Explicativo (SERCE), Chile, UNESCO/OREALC.
Bibliografa
134027 _ 0001-0184.indd 172 16/3/09 16:10:41
173
Lpez, N. (2007), Las nuevas leyes de educacin en Amrica Latina. Una lectura a la luz del
panorama social y educativo de la regin, Buenos Aires, CLADE-IIPE/UNESCO.
Mabry, L. (1999), Writing to the rubric, Phi Delta Kappan, mayo, pp. 673-679.
Marchesi, A. y Martn, E. (comps.) (2002), Evaluacin de la educacin secundaria. Fotografa
de una etapa polmica, Madrid, Fundacin Santa Mara.
Martn-Moreno, Q. (2007), Organizacin y direccin de centros educativos innovadores. El centro
educativo verstil, Madrid, Mc Graw Hill.
Martnez Rizo, F. (2002), Revisin de literatura, en Varios autores, La calidad de la educacin
en Mxico. Perspectivas, anlisis y evaluacin, Anexo 1, pp. 305-454, Mxico, Miguel ngel
Porra-SEP.
Martnez Rizo, F. (2005), La evaluacin educativa, oportunidad o peligro?, conferencia
presentada en el VIII Congreso Nacional de Evaluacin Educativa, Hermosillo, noviembre.
Martnez Rizo, F. (2005), El diseo de sistemas de indicadores educativos, consideraciones
terico-metodolgicas, Cuadernos de Investigacin, n. 14, Mxico, Instituto Nacional de
Evaluacin de la Educacin.
Martnez Rizo, F. (2006a), Las primarias comunitarias y su desempeo. Consideraciones a
partir del estudio comparativo 2000-2005 del INEE, Cuadernos de Investigacin, n. 23,
Mxico, INEE.
Martnez Rizo, F. (2006b), Pruebas de seleccin y pruebas para evaluar escuelas. Nuevas
consideraciones sobre su uso y la difusin de resultados, Cuadernos de Investigacin, n. 21,
Mxico, INEE.
Martnez Rizo, F. et al. (2007), Propuestas y experiencias para desarrollar un sistema de indicadores
educativos, Mxico, INEE.
Martnez Rizo, F. (2007a), Hacia un sistema nacional de evaluacin educativa, Mecanograma.
Martnez Rizo, F. (2007b), Propuesta para el sistema de evaluacin de la educacin media
superior, Mecanograma.
MEC (2006), Ley Orgnica de Educacin (LOE) y Ley Orgnica del Derecho a la Educacin (LODE),
Madrid, Secretara General de Educacin.
MEC, Instituto de Evaluacin (2007a), La lectura en Pisa 2000, 2003 y 2006. Marco y pruebas
de la evaluacin, Madrid.
MEC, Instituto de Evaluacin (2007b), PIRLS 2006. Estudio internacional de progreso en
comprensin lectora de la IEA, Madrid.
MEC, Instituto de Evaluacin (2007c), PISA 2006. Programa para la Evaluacin Internacional
de Alumnos de la OCDE, Informe espaol, Madrid.
Ministre de lducation Nationale, Enseignement Superieur et Recherche. Dlga-
tion a la Communication (2006), Le socle commun des connaissances et des comptences,
Francia, Direction Gnrale de lEnseignement Scolaire.
Mizala, A. y Romaguera, P. (1998), Desempeo escolar y eleccin de colegios. La experiencia
chilena, documento de trabajo n. 36, Serie Economa, Santiago de Chile, Centro de Economa
Aplicada.
Mizala, A., Gonzlez, P., Guzmn, A. y Romaguera, P. (2000), Los maestros en Chile, carreras
e incentivos, Research Network Working Paper R-403, Washington, Banco Interamericano de
Desarrollo.
Bibliografa
134027 _ 0001-0184.indd 173 16/3/09 16:10:41
Mokate, K. (2000), El monitoreo y la evaluacin, herramientas indispensables de la gerencia social.
Notas de clase. INDES/BID, disponible en: http:// www.indes.iadb.org.
Morduchowicz, A. (2002), Carreras, incentivos y estructuras salariales docentes, documento de
trabajo n. 23, Santiago de Chile, PREAL.
Morduchowicz, A. (2006), Los indicadores educativos y las dimensiones que la integran, Buenos
Aires, IIPE-UNESCO, disponible en: http://www.iipe-buenosaires.org.ar.
Morduchowicz, A. y Duro, L. (2007), La inversin educativa en Amrica Latina y el Caribe.
Las demandas de fnanciamiento y asignacin de recursos, Buenos Aires, IIPE-UNESCO,
disponible en: http://www.iipe-buenosaires.org.ar.
Muoz Repiso, M., Murillo, J., Barrio, R., Brioso, M. J., Hernndez, M. L. y Prez Albo,
M. J. (2001), La mejora de la efcacia escolar, Espaa, Ministerio de Educacin Cultura y
Deporte, CIDE.
Myers, R., Martnez, J. F., Gonzlez, P. y Flores, B. (2006), Evaluacin y acompaamiento del
Programa Escuelas de Calidad-Nivel Preescolar 2003-2006, Mxico, Universidad Pedaggica
Nacional y Secretara de Educacin Pblica, Programa Escuelas de Calidad.
National PTA (2000), Building successful partnerships. A guide for developing parent and familiy
involvement programs, National Educational Service.
Navarro, J. C. (2003), La evaluacin y las actitudes de los docentes frente a ella, difcultades
y alternativas de poltica, en Evaluar las evaluaciones. Una mirada poltica acerca de las
evaluaciones de la calidad educativa, pp. 153-155, Buenos Aires, IIPE-UNESCO.
Niremberg, O. (2007), Modelos para la evaluacin de polticas, insumos para una mejora de
la gestin, en Chiara, M. y Di Virgilio, M. M., Gestin de la poltica social, conceptos y
herramientas, UNGS.
Oakes, J. y Heckman, P. E. (1994), Age grouping of students, en Husen, T. y Postlethwaithe, T.
S. N. (eds.), Te International Encyclopedia of Education, vol. 1, pp. 227-230, Oxford-Nueva
York, Pergamon.
OCDE (2006), Schooling for tomorrow. Personalising education, Pars, OECD.
OCDE (2005), Defnition and Selection of Competencies (DeSeCo), Teoretical and Conceptual
Foundations, Strategy Paper.
OCDE (2005), Te defnition and selection of key competencies. Executive Summary, disponible en:
https://www.pisa.oecd.org/dataoecd/47/61/35070367.pdf.
OCDE (2008), Informe PISA 2006, competencias cientfcas para el mundo del maana, Madrid,
Santillana.
Odden, A. y Kelley, C., Paying teachers for what they know and do. New and smarter compensation
strategies to improve schools, California, Corwin Press, Inc.
OEI (1994), Evaluacin de la calidad de la educacin, documento base, Buenos Aires, OEI.
OREALC/UNESCO (2007), Educacin de calidad para todos, un asunto de derechos humanos,
Santiago de Chile, II Reunin Intergubernamental del Proyecto Regional de Educacin para
Amrica Latina y el Caribe EPT/PRELAC.
Paulson, L., Paulson, P. y Meyer, C. (1991), What makes a portfolio a portfolio? Educational
Leadership, n. 49, mayo, pp.14-22.
Perrenoud, P. (1999), Ensinar, agir na urgncia, decidir na incerteza, So Paulo, Artmed.
Bibliografa
174
134027 _ 0001-0184.indd 174 16/3/09 16:10:41
175
Poggi, M. (en prensa), Old and new perspectives for traditional issues in planning, Pars, IIEP-
UNESCO.
Pont, B., Nusche, D. y Moorman, H. (2008), Improving school leadership. Policy and practice,
Pars, OECD Publishing.
Popham, W. J. (2004), Curriculum, instruction, and assessment, amiable allies or phony friends?,
Teachers College Record, 106 (3), pp. 417-428.
PRIE (2007), Balance de las misiones de diagnstico de los sistemas de informacin educativa,
resumen ejecutivo, UNESCO y Secretara de Educacin Pblica de Mxico, disponible en:
http://www.unesco.org/santiago.
Ravela, P. (2001), Cmo presentan sus resultados los sistemas nacionales de evaluacin educativa
en Amrica Latina? PREAL.
Ravela, P. (ed.). (2001), Los prximos pasos, hacia dnde y cmo avanzar en la evaluacin de
aprendizajes en Amrica Latina? PREAL, Serie Polticas, n. 8.
Ravela, P. (2003), Cmo aparecen los resultados de las evaluaciones educativas en la prensa?
Santiago de Chile, Grupo de Trabajo sobre Estndares y Evaluacin, PREAL.
Ravela, P. (2006), Para comprender las evaluaciones educativas. Fichas didcticas, Santiago de
Chile, Grupo de Trabajo sobre Estndares y Evaluacin, PREAL.
Ravela, P. (2008), Evaluacin y profesin docente en Uruguay. Problemas y propuestas, Punto.
edu, n. 11, p. 17, Montevideo, Centro de Investigacin y Promocin Educativa y Social
(CIPES).
Ravela, P., Arregui, P., Valverde, G., Wolfe, R., Ferrer, G., Martnez Rizo, F., Mariana
Aylwin, M. y Wolf, L. (2008), Las evaluaciones que Amrica Latina necesita, documento de
trabajo n. 40, Grupo de Trabajo sobre Estndares y Evaluacin, PREAL.
Resnick , L. B. y Resnick, D. P. (1992), Assessing the thinking curriculum. New tools for education
reform, en Gifford, B. R. y OConnor, M. C. (eds.), Changing assessments. Alternative views
of aptitude, achievement and instruction, pp. 37-75, Boston, Kluwer Academic.
Roca, E. (2008), Perspectivas de la evaluacin, V Congreso Internacional sobre Direccin de
Centros Educativos, Universidad de Deusto, Bilbao.
Roca, E. y Snchez, R. (en prensa), Citizens competences and education for the 21st century.
Working and assessing competences in the spanish education system, en CIDREE, Te
implementation of key competences. Challenges and opportunities.
Rojas, C. y Esquivel, J. M. (1998), Los sistemas de medicin del logro acadmico en Latinoamrica,
Washington D. C., LCSHD Paper Series.
Rodrguez, L. y Puiggrs, A. (2001), Proyecto Evaluacin en la Escuela, Argentina, Dossier
Evaluacin de la Calidad.
Ruiz, V., Nirenberg, O. y Brawerman, J. (2000), Evaluar para la transformacin, Buenos Aires,
Paids.
Ruiz, V., Nirenberg, O. y Brawerman, J. (2003), Programacin y evaluacin de proyectos sociales,
aportes para la racionalidad y la transparencia, Buenos Aires, Paids.
Sadler, R. (1989), Formative assessment and the design of instructional assessment, Instructional
Science, n. 18, pp.118-144.
Bibliografa
134027 _ 0001-0184.indd 175 16/3/09 16:10:41
176
Santibez, L., Martnez, J. F. et al. (2007), Breaking ground. Analysis of the assessment system
and impact of Mexicos teacher incentive program Carrera Magisterial, California, Rand
Education.
Saranson, S. B. (2003), El predecible fracaso de la reforma educativa, Barcelona, Octaedro.
Sauvageot, C. (1997), Indicators for educational planning, a practical guide, Pars, IIEP-
UNESCO.
Schmidt, W. y Prawat, R. (2003), Curriculum coherence and national control of education,
issue or non-issue?, Journal of Curriculum Studies, 38 (6), pp. 641-658.
Scriven, V. (1991), Evaluation Tesaurus, Londres, Sage Publications, 4. ed.
Secretara de Educacin Pblica (2002), Las escuelas pblicas mexicanas de educacin bsica.
Algunos aspectos a considerar en la autoevaluacin escolar, Mxico.
Shavelson, R. J., McDonnell, L. y Oakes, J. (1989), Indicators for monitoring mathematics and
science education. A sourcebook, Santa Monica, Ca, Rand Corporation.
Shepard, L. A. (2006), Evaluation in the classroom, en Brennan, R. L., Educational measurement,
ACE/Praeger Westport, 4. ed.
Simons, H. (1999), Evaluacin democrtica de instituciones escolares, Madrid, Ediciones Morata.
SITEAL (2007), Informe de tendencias sociales y educativas 2007, Buenos Aires, IIPE-UNESCO-
OEI, disponible en: http://www.siteal.iipe-oei.org.
Solomon, P. G. (2003), Te assessment bridge, positive ways to link tests to learning, standards and
curriculum improvement, Corwin Press, Tousand Oaks.
Stufflebeam, D. y Shinkfield, A. (1993), Evaluacin sistmica. Gua terica y prctica, Barcelona,
Ediciones Paids.
Swanson, D., Norman, G. y Linn, R. (1995), Perfomanced-based assessment, lessons from the
health profession, Educational Researcher, 42 (5), pp. 5-11.
Tedesco, J. C. y Tenti Fanfani, E. (2004), La reforma educativa en la Argentina. Semejanzas y
particularidades, en Carnoy, M. (2004), Las reformas educativas en la dcada de 1990. Un
estudio comparado de Argentina, Chile y Uruguay, pp. 21-71, Buenos Aires, Akian Grfca
Editora.
Tenti, E. (2001), En casa de herrero cuchillo de palo. La produccin y el uso del conocimiento en el
servicio educativo, Buenos Aires, IIPE-UNESCO.
Tenti, E. (2003), Los docentes y la evaluacin, en Evaluar las evaluaciones. Una mirada poltica
acerca de las evaluaciones de la calidad educativa, Buenos Aires, IIPE-UNESCO.
Tenti, E. (comp.) (2008), Nuevos temas en la agenda de poltica educativa, Buenos Aires, IIPE-
UNESCO-Siglo XXI.
Tescarolo, R. (2005), A escola como sistema complejo. A ao, poder e o sagrado, Brasil, Escrituras
Editora e Distribuidora de Livros, Ltda.
Tiana, A. (1996), La evaluacin de los sistemas educativos, Revista Iberoamericana de Educacin,
n. 10, pp. 37-61.
Tiana, A. (1996), Tratamiento y uso de la informacin en la evaluacin, Programa Evaluacin
de la Calidad de la Educacin. Documentos, vol. I, Buenos Aires, OEI.
Tiana, A. (1997), Indicadores educativos. Qu son y qu pretenden?, Cuadernos de Pedagoga,
n. 256, pp. 49-53.
Bibliografa
134027 _ 0001-0184.indd 176 16/3/09 16:10:41
177
Tiana, A., Qu variables explican los mejores resultados en los estudios internacionales?,
disponible en: http://www.Oei.org.ar/noticias/Que_variables_explican.pdf.
Tiramonti, G., Dussell, I., Pinkasz, D., Marcalain, G. y Montes, N., Un estudio de caso de
tres jurisdicciones de la Argentina. Grado de conocimiento de la informacin disponible y su
utilidad en los diferentes niveles de gestin del nivel medio de la enseanza pblica, Buenos
Aires, FLACSO.
UE (2006), Recomendacin del Parlamento Europeo y del Consejo de 18 de diciembre de 2006 sobre
las competencias clave para el aprendizaje permanente (2006/962/CE), Diario Ofcial de la
Unin Europea, n. 394, pp. 10-18.
UNESCO (2002), Estudio cualitativo de escuelas con resultados destacables en siete pases
latinoamericanos, Santiago de Chile, Laboratorio Latinoamericano de Evaluacin de la
calidad de la Educacin.
UNESCO (2005), Informe de seguimiento de la Educacin para Todos en el Mundo, caps. 2 y 4.
UNESCO (2007), Educacin para Todos en 2015, alcanzaremos la meta? Pars, UNESCO.
Varas Gonzlez, C. (1984), Estructura y funciones. Teora del gobierno municipal, pp. 164-188,
Santiago de Chile, Universidad de Chile.
Vegas, E. y Umansky, I. (2005), Mejorar la enseanza y el aprendizaje por incentivos. Qu
lecciones nos entregan las reformas educativas de Amrica Latina?, Washington, D. C., Banco
Internacional de Reconstruccin y Desarrollo.
Vigotsky, L. S. (1978), Mind in society. Te development of higher psychological process, Cambridge,
MA, Harvard University Press.
Wheeler, P. y Haertel, G. (1993), Resources handbook on performance assessment and
measurement. A tool for student, practitioners, and policymakers, Berkeley, CA, Te Owl
Press.
Wiggins, G. (1998), Educative assessment. Designing assessments to inform and improve student
performance, San Francisco, Jossey-Bass Publishers.
iek, S. (1998), Porque no saben lo que hacen. El goce como un factor poltico, Buenos Aires,
Paids.
Bibliografa
134027 _ 0001-0184.indd 177 16/3/09 16:10:41
134027 _ 0001-0184.indd 178 16/3/09 16:10:41
179
Los autores
Elena Martn
Profesora de Psicologa de la Educacin de la Universidad Autnoma de Madrid. Particip en
el diseo y puesta en marcha de la LOGSE en Espaa. Es miembro del Instituto de Evaluacin y
Asesoramiento Docente (IDEA) y colaboradora del Instituto de Evaluacin Educativa de la Uni-
versidad Catlica de Montevideo. Desde su responsabilidad como consultora de la OEI, coordina
el grupo de expertos en evaluacin de esta organizacin.
Felipe Martnez Rizo
Licenciado en Ciencias Sociales por la Universidad de Lovaina. Desde 1974 es profesor de la
Universidad Autnoma de Aguascalientes, Mxico, donde fue director general de Planeacin y de
Asuntos Acadmicos, decano del Centro de Ciencias Sociales y rector. Ha escrito ms de treinta
libros y alrededor de ciento cincuenta artculos. Es investigador nacional y miembro de la Acade-
mia Mexicana de Ciencias. Fue el fundador y primer director general del Instituto Nacional para
la Evaluacin de la Educacin (2002-2008).
Leda Badilla
Catedrtica de la Universidad de Costa Rica, donde ha trabajado durante ms de 27 aos. Ac-
tualmente dirige el programa de posgrado en Evaluacin Educativa en dicha Universidad. Es
representante propietaria de la Universidad de Costa Rica en el Consejo Superior de Educacin.
Tambin representa a Costa Rica ante el Consejo Centroamericano de Acreditacin.
Juan Manuel Esquivel
Profesor de Qumica, B. c. en Educacin, B. c. en Qumica y licenciado en Cien cias de la Edu-
cacin (Universidad de Costa Rica). M. Sc. en Evaluacin e Investigacin Educativa y Ph. D. en
Currculo e Instruccin de la Universidad de Kansas (Estados Unidos). Profesor de educacin
secundaria (1965-1978) y de la Universidad de Costa Rica (1970-2006). Catedrtico desde 1986.
Director de la Escuela de Formacin Docente (1976-1980) y del Instituto de Investiga cin en
Educacin (1980-1989), y decano en la Universidad de Costa Rica (1989-1992). Consultor de
organismos internacionales, director de los proyectos educativos CECC/SICA (2000-2008), autor
de artcu los y libros.
Guillermo Ferrer
Magster en Administracin y Poltica Educativa, y en Desarrollo Curricular y Tecnologa Educa-
tiva. Investigador y consultor en polticas educativas para Amrica Latina y el Caribe, especializa-
do en sistemas nacionales de medicin y evaluacin educativa, estndares y desarrollo curricular.
Docente en programas de posgrado, formador de directivos y asesor en proyectos de redireccio-
namiento acadmico.
Marta Kisilevsky
Mster en Ciencias Sociales con orientacin en Educacin de la FLACSO, y doctoranda en Cien-
cias Sociales de la misma institucin. Autora de libros y artculos publicados en revistas nacio-
nales e internacionales. Ha presentado sus producciones en foros acadmicos dentro y fuera del
pas. Fue directora de Programacin Educativa de la Secretara de Educacin del gobierno de la
134027 _ 0001-0184.indd 179 16/3/09 16:10:41
180
Ciudad de Buenos Aires. Es investigadora y docente en universidades pblicas y privadas. Actual-
mente es directora nacional de Informacin y Evaluacin de la Calidad Educativa del Ministerio
de Educacin de Argentina.
lvaro Marchesi
Catedrtico de Psicologa Evolutiva y de la Educacin en la Universidad Complutense de Madrid.
Director general de Renovacin Pedaggica y secretario de Estado de Educacin desde 1986 a
1996. Coordinador del Instituto de Evaluacin Educativa (IDEA) desde 1997 a 2006. Sus tres
ltimos ensayos son: Controversias en la educacin espaola, qu ser de nosotros, los malos alum-
nos y Sobre el bienestar de los docentes. Competencias, emociones y valores. En la actua li dad es el
secretario general de la Organizacin de Estados Iberoamericanos para la Educacin, la Ciencia
y la Cultura (OEI).
Patricia McLauchlan de Arregui
Magster en Sociologa, egresada de la Universidad Catlica del Per y de la Universidad Johns
Hopkins de Baltimore. Trabaja en GRADE, centro peruano de investigacin sobre polticas eco-
nmicas y sociales, del cual fue directora ejecutiva entre 1988 y 1998. Ha estudiado aspectos
diversos de la educacin superior y la formacin docente, as como sobre la educacin bsica y
la evaluacin de logros de aprendizaje. Coordina el Grupo de Trabajo sobre Estndares y Evalua-
cin del PREAL.
Margarita Poggi
Directora de la Sede Regional Buenos Aires del Instituto Internacional de Planeamiento de la
Educacin de la UNESCO (IIPE/UNESCO). Ha sido profesora en diversas maestras en distintas
universidades y ha coordinado equipos de investigacin educativa. Se ha desempeado como
directora nacional de Evaluacin en el Ministerio de Educacin de Argentina y como directora
general de Planeamiento en el gobierno de la Ciudad de Buenos Aires Es autora de numerosas
publicaciones sobre innovacin educativa, evaluacin, formacin de directivos e instituciones
escolares.
Pedro Ravela
Profesor de Filosofa en educacin media (Instituto de Profesores Artigas, Uruguay) y magster
en Ciencias Sociales y Educacin (FLACSO, Buenos Aires). Investigador en la CEPAL (1990-
1995), director de la Unidad de Medicin de Resultados Educativos (ANEP, 1995-2001), coor-
dinador nacional del estudio PISA en Uruguay (ANEP, 2002-2006) y coordinador tcnico del
LLECE (UNESCO, 2005-2006). Profesor y consultor en Evaluacin Educativa en distintos pases
de Amrica Latina. Actualmente dirige el Instituto de Evaluacin Educativa en la Universidad
Catlica del Uruguay.
Enrique Roca
Director del Instituto de Evaluacin desde septiembre de 2006. Ingeniero Tcnico Top gra fo,
licenciado en Geografa e Historia, profesor de Historia Econ mi ca Mundial y catedrtico de
Bachillera to. Ha sido director del Centro de Investigacin y Documentacin Educativa del Minis-
terio de Educacin y Ciencia (Espaa), asesor del secretario de Estado de Educacin y miembro
del Instituto IDEA. Representante espaol en el Comit de Educa cin de la OCDE y en la IEA. Ha
publicado numerosos trabajos de historia econmica, de educacin y de evaluacin.
Los autores
134027 _ 0001-0184.indd 180 16/3/09 16:10:41
181
Alejandro Tiana
Doctor en Filosofa y Letras (Pedagoga) por la Universidad Complutense de Madrid. Catedr-
tico de Teora e Historia de la Educacin en la Universidad Nacional de Educacin a Distancia
(UNED). Entre 2004 y 2008 fue secretario general de Educacin en el Ministerio de Educacin
y Ciencia. En la actualidad dirige el Centro de Altos Estudios Universitarios de la OEI. Es autor
o coautor de 17 libros y ms de cien artculos o captulos de libros sobre diversos temas educa-
tivos.
Los autores
134027 _ 0001-0184.indd 181 16/3/09 16:10:41
134027 _ 0001-0184.indd 182 16/3/09 16:10:41
134027 _ 0001-0184.indd 183 16/3/09 16:10:41
134027 _ 0001-0184.indd 184 16/3/09 16:10:41

S-ar putea să vă placă și