Metaevaluacin de las escuelas

En el presente artculo el autor, Miguel ngel Santos Guerra, plantea la metaevaluacin de las escuelas como un proceso de valoracin de las evaluaciones, de naturaleza cualitativa, que da respuesta a aspectos inquietantes como el aprendizaje, la mejora, el rigor, la transferencia y la tica !a significativa importancia a este "ltimo, pues considera que, adem#s de ser la metaevaluacin un proceso tcnico, contiene una dimensin tica, por lo cual menciona doce criterios de car#cter a$iolgico %gualmente, en forma &reve, refiere la manera de realizar este proceso, desatacando el proceso de negociacin, la aplicacin de criterios, el juicio de e$pertos y la opinin de los protagonistas Se est hablando y escribiendo mucho sobre la evaluacin de los centros escolares, se estn haciendo muchas evaluaciones, se est generando una cultura sobre la evaluacin. Ante ese hecho no hay que lanzar las campanas al vuelo, porque lo ms importante no es hacer muchas evaluaciones, ni siquiera hacerlas bien. Lo ms importante es saber al servicio de qu personas y de qu valores se ponen. Quiero llamar la atencin en estas l neas sobre la necesidad de analizar lo que sucede con las evaluaciones. !o basta, pues, ponerlas en marcha para que ya nos sintamos satis"echos. La metaevaluacin #o proceso de evaluacin de las evaluaciones$ permite preguntarse, al menos, por estas cinco cuestiones% 1 El aprendizaje &s necesario aprender de las evaluaciones que se realizan. 'odos podemos aprender% los patrocinadores, los evaluadores, los evaluados. (ero solamente lo podremos hacer si re"le)ionamos de "orma rigurosa y desapasionada sobre los procesos y los resultados. !o es razonable repetir los errores de manera casi mecnica. &n la evaluacin que se pone en marcha por prescripcin legal se produce un cruce de modelos verdaderamente inquietante. Se corre el peligro de que la evaluacin no responda plenamente ni a uno ni a otro. (or una parte, se trata de una evaluacin de rendimiento de cuentas #accountability$ ya que la ordena el poder y la realiza la autoridad acadmica #inspectores$. (or otra parte, se pretende hacer de ella una evaluacin negociada, consensuada, participativa y democrtica. Si se negocia, *se puede plantear la posibilidad de que los evaluadores sean agentes e)ternos al sistema+, *se puede sugerir que sean otros los mtodos+, *se puede decidir desde las escuelas qu hacer con los in"ormes+... &s necesario preguntarse por la actitud de los pro"esores y pro"esoras, por la arti"icializacin del comportamiento cuando se hacen observaciones, por la calidad de la in"ormacin cuando se hacen entrevistas, por la riqueza de los in"ormes elaborados, por la negociacin de los mismos, por la capacidad de trans"ormacin que est teniendo la evaluacin... &s necesario preguntarse por la preparacin de los inspectores para hacer un tipo determinado de evaluacin, por el tiempo de que

disponen, por sus habilidades para llevarla a cabo... &s imprescindible interrogarse por la actitud del pro"esorado ante la evaluacin% por sus reticencias, por su colaboracin, por su disposicin al cambio... *(or qu repetir los errores de una "orma irracional y perseverante+ *Quin garantiza que los buenos propsitos al realizarla no han producido e"ectos secundarios da,inos+ *Quin puede a"irmar que est inmunizado contra la comisin de errores+ Si as ha sido, *!o es razonable y -usto que se traten de evitar en "uturas e)periencias+ &l aprendiza-e no se produce solamente sobre los "allos, errores o con"lictos. 'ambin es importante analizar y desentra,ar las e)plicaciones sobre los aciertos, sobre la colaboracin abierta, sobre la re"le)in rigurosa, sobre el conocimiento elaborado, sobre los cambios e"ectivos... 2 La mejora S que la palabra me-ora es casi in"inita en sus contenidos semnticos. *Qu es me-ora+ Sin embargo es una pregunta capital. .ay que desentra,ar el signi"icado de este concepto como hay que hacerlo con el de calidad. /e lo contrario, no slo se producir con"usin, sino tambin perversin. 0uando se realizan simpli"icaciones, suelen hacerse de manera interesada. Quien identi"ica calidad con rendimiento de alumnos es porque est interesado en que as sea. La evaluacin tiene que estar encaminada a la me-ora de la prctica educativa. La evaluacin es un garant a de la calidad para el centro educativo #0asanova, 1223$, siempre y cuando se realice, se oriente, se encamine a la me-ora y no tanto al control, a la comparacin, a la clasi"icacin, a la -erarquizacin o a la discriminacin. (ara que la me-ora se produzca es necesario que la disposicin de los que intervienen en ella sea abierta y comprometida. Si no e)iste actitud autocr tica y apertura a la opinin e)terna es muy di" cil que cambie algo pro"undamente. Si no e)iste una actitud comprometida con la prctica, es imposible que las trans"ormaciones a"ecten a zonas signi"icativas. Los cambios, si se producen, sern super"iciales y anecdticos. .ablo de disposicin positiva de todos los que intervienen en la evaluacin. &so ata,e tambin a la Administracin. Si la evaluacin muestra carencias, de"iciencias o errores en la gestin del sistema educativo, habrn de percibir los pro"esores que e)iste disponibilidad para asumir las decisiones de me-ora. Si no sucede as , el pro"esorado ver la evaluacin como un "enmeno de -erarquizacin y de control. La me-ora e)ige una negociacin de los in"ormes e)tensa y pro"unda. La negociacin de in"ormes es la piedra angular de la evaluacin #Santos 4uerra, 1225$, porque permite conocer con claridad y rigor qu es lo que sucede y por qu. /e ese conocimiento pueden surgir las decisiones de cambio. 3 El rigor 6na de las preocupaciones ms importantes de la metaevaluacin es la comprobacin del rigor que ha tenido la evaluacin. La evaluacin que de"iendo es de naturaleza cualitativa por considerar que no se puede captar "enmenos comple-os desde mtodos cuantitativos y, por consiguiente, simpli"icados. !o se deben aplicar a la utilizacin de metodolog a cualitativa los presupuestos de la validez que se vienen aplicando en la investigacin e)perimental. &sa dependencia genera una distorsin del modelo y no da respuesta a la verdadera cuestin% *0mo saber si la evaluacin que se ha realizado re"le-a con rigor lo que sucede en la escuela+ &s preciso aplicar los criterios de credibilidad y comprobar en qu medida esa evaluacin los cumple. 7eamos algunos e-emplos% Si se han utilizado mtodos diversos para e)plorar el centro y se han triangulado las in"ormaciones procedentes de ellos, habr ms rigor que si se ha utilizado un solo mtodo. &l proceso de

triangulacin consiste en la constatacin, en la depuracin de los datos. La in"ormacin procedente de distintos mtodos no siempre dice lo mismo. !o se trata con la triangulacin de eliminar las discrepancias, sino de e)plicarlas. Si se ha permanecido un tiempo largo en el centro observando lo que en l sucede, habr ms garant as que si solamente se ha permanecido en l un tiempo muy breve. Las pistas de revisin permiten hacer una valoracin sobre la naturaleza, el sentido, la tica y el rigor de la evaluacin. *&)isten esas pistas+ 4 La transferencia La evaluacin que se hace de una escuela puede servir para el aprendiza-e y el cambio de otras escuelas. &l hecho de que cada escuela sea di"erente no oculta las caracter sticas comunes que las de"inen a todas. /i"undir los in"ormes de las evaluaciones #salvaguardando el anonimato de los protagonistas$ puede ayudar a comprender lo que sucede con las escuelas. 8 puede servir para que algunas re"le)ionen sobre los resultados habidos en otras. (ara que la trans"eribilidad pueda producirse hay que partir de descripciones minuciosas. Las a"irmaciones de carcter genrico no aportan in"ormacin relevante. /ecir que un centro 9"unciona bien9, que tiene 9clima e)celente9, que tiene 9magn "icos resultados9, no nos permite conocer nada. &n la medida que los centros tengan caracter sticas y conte)tos ms similares, la trans"eribilidad ser ms "cil. &n e"ecto, es razonable esperar que lo que sucede en un centro privado se repita en otro de este mismo tipo. &s probable que una escuela rural se parezca ms a otra de este carcter que otra situada en una gran urbe. 8 que un centro de gran tama,o se aseme-e ms a otro de estas caracter sticas que a una escuela unitaria. &)iste otra "orma de establecer trans"eribilidad, que se ha denominado 9reader made9, hecha por el lector del in"orme. &ste se pregunta% *(asar algo parecido en este otro centro+ Quien lee un in"orme sobre la evaluacin de una escuela y est en otra, puede preguntarse "cilmente% *(asar algo similar en la m a+ 5 La tica :e detendr algo ms en este apartado por considerarlo esencial en la metaevaluacin. La metaevaluacin no es un proceso e)clusivamente tcnico. 0omo la misma evaluacin, tiene una dimensin sustancialmente tica. (or eso, la metaevaluacin no se centra e)clusivamente en la b;squeda de criterios de carcter metodolgico o algor tmico, sino que se ha de centrar en su vertiente moral. &n otro lugar #Santos 4uerra, 122<$ he hecho re"erencia a los abusos de la evaluacin. Los que en ese traba-o describo y denuncio han sido descubiertos en la prctica de la evaluacin en &spa,a. !o hablo, pues, de memoria. !o es necesario desarrollar el contenido de estos enunciados que hablan por s solos% o 0onvertir la evaluacin en un elogio a quien la patrocina o la realiza. o &legir sesgadamente para la evaluacin algunas parcelas o e)periencias que "avorezcan una realidad o una visin sobre la misma. o .acer una evaluacin de di"erente naturaleza y rigor para realidades igualmente importantes. o 0onvertir la evaluacin en un instrumento de dominacin, control y opresin. o (oner la evaluacin al servicio de quienes ms tienen o ms pueden. o Atribuir los resultados a causas ms o menos supuestas a travs de procesos atributivos arbitrarios. o &ncargar la evaluacin a equipos o personas sin independencia o valor para decir la

o o o o o o o o

verdad. Silenciar los resultados de la evaluacin respecto a los evaluados o a otras audiencias. Seleccionar aquellos aspectos que permiten tomar decisiones que apoyan las iniciativas, ideas o planteamientos del poder. .acer p;blicas slo aquellas partes del in"orme que tienen un carcter halagador para el poder. /escali"icar la evaluacin achacndole "alta de rigor si los resultados no interesan. /ar por buenos los resultados de la evaluacin a pesar de su "alta de rigor, cuando esto es lo que interesa. 6tilizar los resultados para tomar decisiones clara o subrepticiamente in-ustas. Aprovechar la evaluacin para hacer "alsas comparaciones entre lo que es realmente incomparable. Atribuir los malos resultados no al desarrollo del programa sino a la torpeza, la pereza o la mala preparacin o voluntad de los usuarios del mismo.

&s necesario mantener la vigilancia sobre esta cuestin trascendental porque no se trata de evaluar mucho, ni siquiera de evaluar de "orma tcnicamente per"ecta, sino de saber al servicio de quin y de qu valores se pone la evaluacin. !adie se alegrar a de que se abriese una "brica de cuchillos en una localidad si supiera que su destino era la distribucin de estos entre los ciudadanos para e-ercitarse en el acuchillamiento de sus enemigos. &l quebrantamiento de la tica puede darse en el "enmeno mismo de la evaluacin, en su globalidad o en algunos de sus partes espec "icas. Se puede poner en marcha una evaluacin al servicio del poder, del dinero o del prestigio de los patrocinadores, por e-emplo. 8 se puede obtener in"ormacin de "orma "raudulenta realizando entrevistas que estn "alsamente planteadas. 0are #12=5$ plantea las e)igencias de un contrato equitativo de evaluacin. &n ese proceso se ponen los cimientos del edi"icio de la tica. Aunque no todas las e)igencias tienen la misma importancia ni su presentacin est organizada seg;n criterios a)iolgicos, es de inters enumerarlas con un brev simo comentario. a$ Ausencia de coercin% La equidad e)ige que los que tiene que participar en la evaluacin #evaluadores, evaluados, colaboradores, -ueces...$ no estn su-etos a presiones coercitivas. Se sabe que esas presiones pueden ser brutales o sutiles. >nternamente, tampoco deben e)istir mecanismos de control% nadie #persona o grupo$ debe e-ercer presin ni control sobre otros. b$ ?acionalidad% Los participantes han de actuar de "orma lgica y sensata. &sto quiere decir el discurso y el proceso de la evaluacin estn presididos por argumentos y no por caprichos o intereses. c$ Aceptacin de los trminos% Las partes que "irman el acuerdo aceptan libremente las reglas de procedimiento que han sido "ormuladas de manera clara y transparente, tanto por lo que respecta a la naturaleza, como a los ob-etivos y a los mtodos de la evaluacin. d$ Acuerdo con-unto% La equidad requiere que el acuerdo se considere como algo ms que la coincidencia entre opciones individuales. La negociacin, cuando es intensa y sincera, no es un proceso sencillo. &)ige tiempo, e)ige valent a. 8 una discusin sin barreras de todos los participantes. e$ /esinters% .ay que someter los intereses particulares a las preocupaciones, problemas y necesidades de la causa com;n. Llegar a un acuerdo no garantiza que se hayan supeditado los intereses particulares a los generales. "$ 6niversalidad% La normativa tiene que a"ectar a todos por igual, incluidos los evaluadores. Si la normativa e)ige que se trate de "orma distinta a di"erentes personas, todos pueden situarse en cualquiera de esas "ormas.

g$ >nters comunitario% Quienes llegan a un acuerdo para realizar la evaluacin deben tener como meta que se produzca el m)imo bene"icio para cada de los participantes. h$ >n"ormacin igual y completa% !adie debe tener acceso a una in"ormacin privilegiada. 6na condicin de la equidad consiste en que los participantes reciban in"ormacin sobre los hechos pertinentes y que sta se distribuya por igual. i$ Ausencia de riesgos% 6no de los propsitos del contrato de evaluacin es que no se deriven riesgos para quienes se someten a ella, o bien reducirlos al m nimo. -$ 7iabilidad% &l contrato de evaluacin ha de ser de tal naturaleza que sea posible llevarlo a cabo. Los evaluadores no deben prometer actividades y oportunidades "antsticas, por ms deseables que stas "ueran. &l inters por conseguir el contrato puede llevar a realizar promesas inviables. 0uando no es posible cumplir el contrato, ste no es equitativo. @$ 0ontar con todas las opiniones% (ara que el contrato sea equitativo, las partes deben tener la oportunidad de hacer constar lo que crean conveniente. l$ (articipacin% La condicin "inal del contrato es que todos los participantes puedan participar. 'odo el mundo debe tener voz. La tica que se e)ige a la evaluacin ha de presidir tambin la metaevaluacin. *.asta dnde ha de llegar esta e)igencia+ *Quin eval;a a los evaluadores+ Si se establecieran 0omisiones de 4arant a de la Atica, *quin e-ercer a el control democrtico sobre ellas+ &n su e)celente y ya clsica obra B&valuation Cith validityD, traducida al castellano con el t tulo B&valuacin, tica y poderD, .ouse #125E, versin espa,ola de 122F$ e)ige a la evaluacin veracidad, belleza y -usticia. !o siempre se plantea la evaluacin siguiendo estos criterios. 0uando se pretende medir los resultados de las e)periencias y de los centros escolares a travs de pruebas estandarizadas con el "in de hacer una clasi"icacin seg;n la posicin en la escala, y se conceden luego recursos siguiendo esa clasi"icacin, se est utilizando la evaluacin al servicio de la in-usticia y de la desigualdad. (or muy rigurosas y precisas que sean las pruebas, no se evita el desa-uste moral. Se est dando a los que ms tienen #cultura, dinero, poder...$ todav a ms a travs de un instrumento que parece neutral y asptico. &s una trampa terrible que algunos de"ienden de "orma ingenua y muchos de manera interesada. 6 !mo se realiza la metaevaluacin" La metaevaluacin puede emprenderse paralelamente a la evaluacin, aunque tambin puede realizarse una vez "inalizada esta. (or tratarse de una evaluacin, han de e)ig rsele todos aquellos requisitos que se le pide a la evaluacin. &)isten varias "ormas de responder a las cuestiones que aqu se plantean% a# El proceso de negociacin &l proceso de negociacin de in"ormes es un e)celente camino que nos permite conocer cmo ha sido el proceso de evaluacin y cmo se pueden considerar sus resultados. La negociacin no slo se re"iere al contenido del in"orme% a"ecta tambin a la calidad de los procesos que han hecho posible su elaboracin. 8, cmo no, a las posibilidades de me-ora que de l parten. Si e)isten, como en el caso de las escuelas, muchas evaluaciones, se puede emitir un -uicio ms riguroso sobre lo que supone la evaluacin y sobre lo que ser a preciso hacer para me-orarla. Algunas e)periencias apuntan a este tipo de procesos de metaevaluacin #Lu-n y (uente, 122G$. Lo importante es sacar de ellas los elementos necesarios para iluminar y dirigir las decisiones pol ticas, la intervencin de los e)pertos y la prctica de los docentes. $# %plicacin de criterios .ay que remitirse aun art culo de 4uba #122<$ que sirve de re"erencia para la respuesta a la pregunta de la validez y de la trans"eribilidad. &ste autor dice que no hay criterios absolutos, pero que e)isten e)igencias que permiten garantizar que se ha alcanzado el rigor necesario para a"irmar que lo que contiene el in"orme es un re"le-o "iel de lo que sucede, y no una invencin del evaluador. &n el punto <, anteriormente e)puesto, he mencionado algunos criterios que plantea 4uba #125<$

re"irindose de "orma especial a las evaluaciones de carcter naturalista. c# &uicio cr'tico de e(pertos Se puede encomendar a e)pertos que no han participado en la evaluacin y que tampoco estn vinculados a la accin evaluada, la emisin de opiniones sobre el proceso de evaluacin. (ara poder realizar un -uicio "undado, los e)pertos tienen que conocer lo que ha sucedido en la evaluacin. (ara ello dispondrn de todos los materiales y podrn entrevistar a los protagonistas% patrocinadores, evaluadores y evaluados. La metaevaluacin debe "acilitar el aprendiza-e de los evaluadores quienes, a travs de anlisis, sugerencias y preguntas se acercan a la comprensin de los procesos. d# )pinin de los protagonistas 6na vez "inalizada la evaluacin, los protagonistas pueden emitir sus opiniones por escrito o de "orma oral, de manera que sea posible descubrir aquellos problemas, di"icultades o "allos que hayan condicionado el proceso. Si los protagonistas de la accin tienen la clave del signi"icado, los de la evaluacin tienen en sus manos la interpretacin de lo que ha sucedido en todas las "ases de la evaluacin. &llos saben qu sucedi con la iniciativa, cmo se hizo la negociacin, cmo se ha e)plorado, qu ha sucedido con los in"ormes, cmo se han respetado las normas. A ellos, pues, hay que preguntar, garantizando las condiciones de una e)presin libre. Autor :iguel A. Santos 4uerraH :etaevaluacin de las escuelas ?ecuperado de http%HHCCC.saber.ula.veHbitstreamH13<FIG=52H1=EEFH1Hart<J13v2.pd" el 3 de "ebrero de 3EE2