Sunteți pe pagina 1din 14

JUAN ENRIQUE FROEMEL ANDRADE*

Determinacin del rendimiento escolar bajo una prisma de equidad: la evaluacin del valor agregadoa
CHILE
1. Introduccin desde la Historia de la Educacin en la Segunda Mitad del Siglo XX.
La Educacin en los ltimos cincuenta aos, muestra tres etapas claramente denidas en el nfasis de las orientaciones de las polticas educativas y en el tratamiento de los problemas de equidad. La referencia temporal sealada es propia de la realidad de Amrica Latina ya que, en regiones del mundo desarrollado, estas etapas se presentaron con otras secuencias y duraciones. Una primera etapa -entre nes de los cincuenta y comienzos de los setenta- estuvo caracterizada por la igualdad de oportunidades de acceso a la Educacin. Esta consisti en que todos los alumnos en edad escolar tuvieran la posibilidad de asistir a la escuela y que los sistemas educativos, fundamentalmente en el nivel Bsico, garantizaran un lugar para cada nio. Estuvo marcada por grandes inversiones en infraestructura escolar y en algunos casos por una reduccin en la duracin de la jornada escolar diaria, de manera de dar cabida a un grupo en la maana y a otro en la tarde. La
* 1

evaluacin educativa durante esta etapa, tuvo una connotacin terminal o de producto y su rol primario fue de certicacin. La medicin se reri a normas y la distribucin del rendimiento se concibi como normal. Un segundo perodo - entre los comienzos de los Setenta y nes de los Ochenta- estuvo centrada en la igualdad de oportunidades de aprendizaje y busc no slo garantizar a cada nio en edad escolar un espacio en la escuela, sino que a travs de un enfoque denominado de enseanza individualizada o de educacin personalizada, hacer el aprendizaje accesible a todos los alumnos. Esta orientacin tuvo su origen en los trabajos de Tyler, de Carroll, de Gagn y de Bloom. La evaluacin se focaliz en el aula en un rol formativo. Las diferencias individuales hicieron centrar la atencin en los prerrequisitos y la distribucin de los resultados de aprendizaje se concibieron con un sesgo estadstico negativo. Una tercera etapa se abri a comienzos de la Dcada de los Noventa y contina vigente y podra denominarse la etapa de la igualdad

Director de la Ocina de Medicin del Rendimiento Escolar del Instituto de Evaluacin del Estado de Qatar - Golfo Arbico.

Una versin anterior del presente trabajo fue publicada bajo el ttulo Evaluacin de la calidad de la educacin con equidad: el modelo de valor agregado, en la Revista Persona y Sociedad, Universidad Alberto Hurtado-ILADES, Santiago de Chile. Vol. XVII, No 1, abril 2003, pp. 165-178. Juan Enrique Froemel es Ingeniero, obtuvo un Master of Arts en Ciencias Sociales (1979) y un Doctorado en Educacin (1980), en la Universidad de Chicago. Su rea de especialidad es la medicin y la evaluacin del rendimiento en Educacin. Ha sido Subsecretario de Educacin Pblica en Chile, Rector de la Ponticia Universidad Catlica de Valparaso tambin en su pas, Gerente General de la Fundacin Andes en Chile y Coordinador Tcnico del Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin, operado por UNESCO-Santiago-OREALC. Es profesor en varias universidades, entre ellas en el Programa de Maestra en Poltica Educativa de la Universidad Alberto Hurtado, es consultor internacional y Socio Principal de EvaluArte, Froemel & Asociados. Se desempea en la actualidad como Director de la Student Assessment Ofce, del Evaluation Institute, bajo el Supreme Education Council, del Estado de Qatar, en el Golfo Arbico.
2

1 D1

de progresos de aprendizaje. Ya no slo se debe procurar tomar en cuenta las diferencias individuales de los estudiantes, sino que debe procurar compensarlas e identicar las variables que afectan los resultados y de explicar como esas variables y el rendimiento se conjugan. Nuevos modelos tericos y herramientas estadsticas, han posibilitado la evaluacin de progresos o de valor agregado, ajustndolos por aquellos factores ligados al Contexto Familiar de los estudiantes y focalizndolos simultneamente en varios niveles de agregacin, aunque centrndose en el nivel de la escuela. El nfasis est puesto en lograr una equidad real y efectiva.

y el de las de mega-ciudad, en rendimientos en Lenguaje y Matemtica como en los dems pases. Adems, las escuelas pblicas cubanas estn por sobre todas las escuelas privadas de la Regin. Ms an, cuando se efectu el ajuste de los puntajes de Rendimiento por nivel socioeconmico, en el caso de Cuba el efecto fue menor que en los dems pases, debido a la alta homogeneidad en el pas en esta variable. An ms, al recurrirse a una variable alternativa para tal ajuste, el nivel socio cultural, bsicamente conformado por la escolaridad de los padres, una vez ms, el alto grado de homogeneidad existente en Cuba, hizo que el ajuste mostrara efectos menores. El posible concluir que el tema de la equidad depende del contexto, no siendo slo un tema conceptual sino que un aspecto metodolgico que surge del efecto de la homogeneidad de la distribucin de la variable de ajuste. Una manera de salvar la dicultad consiste en abordar la equidad desde otras variables tales como el nivel sociocultural, el gnero, o las variables tnicas. Por lo sealado parece ya no ser ms vlido plantear comparaciones o ajustes para determinar equidad, sin antes establecer el rango de dispersin de las variables de ajuste. La variedad de perspectivas mostradas por Townsend, Clarke y Ainscow (1999), sealan que en Malasia la equidad se concibe como la necesidad de que la educacin constituya un instrumento para alcanzar la solidaridad nacional y se considera una interaccin entre la educacin y la sociedad y viceversa. En Sudfrica se describe que entre los principios que guan la Reforma Educativa, se encuentran la equidad y el compromiso de todos los sudafricanos. En este caso particular la equidad es un logro deseable ms que una variable puente. Se agrega que quizs las inequidades son aquellas relacionadas con clase, gnero y religin, aunque podra pensarse que en este contexto las ms gravitantes deberan ser aquellas ligadas a temas tnicos. (Mkhatshwa, en Townsend, Clarke, y Ainscow, 1999). En Belarus, se seala que la Educacin Secundaria requiere producir un equilibrio entre
D2

2. El condicionamiento de la idea de Equidad desde el contexto social y educativo.


Como se sealara con anterioridad, el tema de la incorporacin de la equidad en los modelos que sustentan la poltica educativa es una caracterstica central de la ltima dcada. Si se verican las menciones al tema que, con relacin a las reformas educativas en varios pases, son reseadas en una reciente publicacin (Townsend, Clarke y Ainscow, 1999), ellas son abundantes, aunque los contextos y la terminologa varan de pas en pas. Primeramente, se ha estimado pertinente buscar la razn que genera un condicionamiento del trmino tal y como se sealara en el ttulo de la presente seccin. El caso es que el signicado que el trmino equidad puede adquirir en distintos contextos, vara grandemente. Un buen ejemplo de esto ltimo se encuentra en el Primer Informe del Primer Estudio Internacional Comparativo sobre Lenguaje, Matemtica y Factores Asociados en Tercero y Cuarto Grado, (1998), el cual muestra desempeos desiguales entre escuelas pblicas y privadas y entre las urbanas y las de mega-ciudad. Sin embargo, si se presta atencin al caso de Cuba, se puede observar que no se muestra una diferencia apreciable entre el comportamiento de las escuelas rurales con el de las urbanas

TALLER 1: Procesamiento y anlisis de datos


los objetivos conjuntos de calidad y equidad: la igualdad de oportunidades para recibir una educacin de calidad debera ser la base de las decisiones y polticas educacionales y se agrega que la socializacin de los estudiantes y sus relaciones con el mundo circundante, deben estar basadas en un equilibrio entre los mejores intereses de los estudiantes y la utilidad de aquellos intereses para la sociedad. Como puede apreciarse el nfasis de la equidad, en este caso se sita en una accin concreta sita en el aula. Para Francia, la reciente y creciente independencia de las escuelas ha producido un gradual convencimiento de que la uniformidad tradicional del sistema francs estaba lejos de constituir una garanta para la equidad, ni para la ecacia de las escuelas. En Noruega el tema de la equidad se enfoca desde la perspectiva del gnero y su vigencia en las escuelas. En Chile la visin de la equidad es ms bien tradicional, en cuanto a que los profesores tienden a atribuir al bajo nivel socioeconmico de los alumnos las dicultades halladas al intentar poner en marcha el enfoque de escuelas ecaces en el pas. En los Estados Unidos de Norteamrica, aunque el tema de la equidad es de larga data, en la actualidad existe una especial preocupacin por l, evidente en la investigacin, para relacionarla con el proceso escolar. El modelo ms clsico es el desarrollado por Edmonds, en 1979 con sus cinco factores: fuerte liderazgo instruccional del Director, focalizacin de la instruccin, un ambiente de aprendizaje ordenado y seguro, altas expectativas, monitoreo frecuente y uso de la informacin evaluativa para orientar el mejoramiento. Otro aspecto importante es el del reconocimiento de los efectos negativos demostrados por las condiciones inadecuadas de entrada de los estudiantes sobre sus oportunidades educacionales (Kozol, 1991, citado en Townsend, Clarke y Ainscow, 1999) Otros aspectos son el impacto de la descentralizacin, la posibilidad de eleccin de la escuela y el movimiento de los denominados charter schools, en su relacin con la equidad y ecacia de las escuelas y un elemento que ha
D3

adquirido una dimensin nueva y que hoy es reconocido como una herramienta de aplicacin mltiple en la Educacin y central al tema de la equidad. Se trata de que, como sealan algunos autores (Townsend, Clarke y Ainscow, 1999) el desarrollo de instrumentos vlidos y conables para evaluar la ecacia es an un tema no zanjado. Sin embargo, existen esfuerzos en proceso para desarrollar un conjunto de tareas de evaluacin, aunque los temas de conabilidad siguen siendo su principal obstculo. Al respecto hay varias preguntas an en espera de respuesta: Cules son los sistemas justos y autnticos de evaluar el progreso de los estudiantes que son aceptables para el pblico y que a la vez sirven a las necesidades de los polticos, estudiantes y ciudadanos? Cmo es posible determinar si el mejoramiento de las escuelas est agregando valor a los estudiantes?.

3. Antecedentes de la idea de evaluacin de valor agregado en relacin con Educacin.


La Evaluacin en el campo educativo ha centrado su atencin durante casi toda su historia en la determinacin del rendimiento escolar. Este ltimo corresponde a la expresin cuantitativa de lo que un alumno ha aprendido y es medido en base del resultado obtenido al responder una prueba. Aunque menos difundida, la determinacin estadstica de los progresos en rendimiento es de larga data en Educacin. Los enfoques y consecuentes procedimientos anteriores a la dcada de los Noventa, consistieron principalmente en la transferencia directa al campo evaluativo de la determinacin estadstica de las diferencias denominadas progresos, fuese entre muestras dependientes o independientes, utilizada en modelos de investigacin. En la prctica, lo que se determinaba era la diferencia entre los resultados obtenidos por los alumnos, pertenecientes a cada grupo, en aplicaciones sucesivas de los mismos instrumentos o de pruebas equivalentes y seguidamente, se

calculaba el nivel de signicacin estadstica de tales diferencias. Sin perjuicio de lo sealado, la idea central de determinar y expresar cambios diferenciales en el rendimiento de los estudiantes, como se puede comprobar por lo recin sealado no es una idea nueva, sino que como seala un autor (Saunders, 1999): Podra decirse que el valor agregado (progreso) era una idea esperando por su momento (... propicio). La expresin progresos como se la maneja hoy en da en Educacin, es asociada al trmino valor agregado, ha pasado por varias etapas evolutivas. Su origen primero se ubica fuera del campo de la Educacin, de modo que para algunos autores El trmino valor agregado se origina en la Economa cuando se hace referencia a la diferencia entre insumos, tales como materias primas y la energa, versus los productos nales representados por el valor de venta... En aos recientes el concepto econmico de valor agregado ha adquirido un signicado adicional, cuando se le asocia con la necesidad de las Economas Occidentales de focalizarse en la manufactura de alta calidad, como una forma de competir exitosamente con economas de rpido crecimiento. El trmino valor agregado en este contexto se aplica a productos elaborados cuya calidad y valor son aumentados por altos niveles de tecnologa y destreza en el proceso de manufactura. (Spours y Hodgson, 1996, citados en Saunders, 1999). Sin embargo, es imprescindible tener en cuenta que las ambigedades asociadas con el trmino valor agregado, que no son pocas, han sido heredadas precisamente del contexto econmico. Es por esto ltimo que el hecho de que el concepto parezca originarse en tal entorno no garantiza en absoluto, ni la precisin ni la claridad conceptual. Por otra parte la denicin de Spours y Hogdson, recin citada, puede llevar a pensar en que no slo el contexto econmico pueda haber afectado al educativo, sino que existira razn para anticipar que
D4

pudiese haber tambin un efecto en la direccin opuesta, dado que en el discurso dentro del cual se sita esta denicin evolucionada del valor agregado (ella) est conectada con la relacin entre la economa (de nivel nacional) y la entrega de educacin/entrenamiento; y en qu medida puede ser demostrado o slo supuesto que la educacin y el entrenamiento sean elementos integrales de la salud econmica de la nacin. ... es posible sealar al respecto que recientemente ha empezado a surgir la sombra de cierta duda acerca de si en realidad la calidad de la educacin/entrenamiento constituye efectivamente una variable clave para el xito de una economa. Algunas consideraciones adicionales parecen ser necesarias (Saunders, 1999) en cuanto a completar esta visin del valor agregado desde la perspectiva de sus orgenes econmicos. El primer aspecto consiste en la exploracin de respuestas a las preguntas valor que se agrega a qu, por parte de quin, y para el benecio de quin? Es as como estas preguntas llevan a tomar cabal conciencia de la antes mencionada ambigedad del concepto, si adems se agregan a la bsqueda de respuestas a otras tales como es el valor agregado un concepto absoluto o relativo? Tiene un rol descriptivo o uno evaluativo? En cuanto a esto ltimo, el tema de la ventaja o benecio es un aspecto muy importante de captar ya que el valor agregado, incluso en un contexto econmico, tiene un signicado evaluativo, aunque ste pueda no estar presente en todas las acepciones del trmino. En este contexto educativo, sera posible argumentar que el potencial evaluativo, presente al interior del trmino se ha convertido ms bien en un propsito evaluativo, en todas sus aplicaciones. La introduccin del trmino al campo de la Educacin, fue por la va de su segmento ms avanzado, esto es por el de la Educacin Superior. Como trmino explcito seala la autora mencionada (Saunders, 1999) su primera aparicin parece haber ocurrido en el sector de la educacin avanzada/superior en el contexto de los indicadores institucionales de desarrollo

TALLER 1: Procesamiento y anlisis de datos


o rendimiento. Un tema crtico para el valor agregado, sin embargo, se origin a partir de la agenda de investigacin en escuelas ecaces, la cual estuvo centrada en la Educacin Media obligatoria. En ambos casos ha existido una investigacin metodolgica asociada, la que ha adquirido por derecho propio una dimensin educativa. Otra de las primeras alusiones a ste trmino, dene valor agregado como una medida del rendimiento de los estudiantes, el que toma en cuentas los efectos de diferentes insumos propios de ellos (por ejemplo: calicaciones de ingreso) El rendimiento de los estudiantes as concebido, puede ser usado para contribuir a la evaluacin de la calidad institucional, dentro las funciones de enseanza y aprendizaje (McGeevor y colaboradores, 1990, citados en Saunders, 1999). Agrega la autora mencionada (Saunders, 1999) aludiendo a que el trmino surgi en la Educacin Superior, que Esencialmente el sector de la educacin avanzada/superior parece haber estado particularmente interesado en la evaluacin de la eciencia y ecacia dentro de las instituciones educativas, de manera de justicar las asignaciones de fondos; mientras que el sector escolar estaba ms preocupado con las formas de efectuar comparaciones ms justas entre las instituciones educativas, particularmente en forma de explicar la aparente falta de coherencia entre resultados distintos para similares niveles de nanciamiento, en diferentes instituciones o para niveles educativos locales. Sin embargo, agrega la autora, ambas conceptualizaciones tienen en comn el hecho que responden a la misma pregunta Cmo puede medirse el progreso de los estudiantes/ alumnos en forma de arrojar luz acerca del desempeo de las instituciones?. Como seala una autora (Saunders, 1999) el clculo de medidas de valor agregado para la educacin obligatoria (Primaria y Secundaria) estuvieron inicial y primariamente conectadas
D5

con (el propsito de) hacer cada vez ms objetivas y vlidas, las comparaciones entre los desempeos de las escuelas. Esta es una connotacin que persiste en la actualidad, aunque las metodologas estadsticas denominadas como de niveles mltiples hoy permiten efectuar la determinacin del valor agregado en varios niveles de agregacin, en forma simultnea. Uno de los trabajos pioneros en este aspecto se llev a cabo en el Reino Unido y ste fue el de las comparaciones entre los resultados en el Certicado General de Enseanza Media y el Nivel A (universitario), probadas y desarrolladas a travs del sistema denominado ALIS (Sistema de Informacin del Nivel A), desde los comienzos de los Ochenta, por Fitz - Gibbon, quin en aquella poca se desempeaba en el Centro de Currculum, Evaluacin y Gestin de la Universidad de Newcastle. Los resultados de tal estudio sealaron -por ejemplo que las diferencias entre escuelas parecen no constituir una fuente muy importante de las diferencias alcanzadas por los estudiantes individuales, de distintos niveles de habilidad/rendimiento que asisten a distintas escuelas; y (tambin) que existe evidencia contrapuesta en cuanto a la pregunta de si ciertas escuelas muestran una ecacia diferente para estudiantes cuyas habilidades / logros (tambin) diferan al ingreso- tambin (de ese modo) pregurando mucha de la evidencia acumulada, desde ese entonces, respecto de la ecacia relativa de tales mediciones. (Gray, Jesson y Jones, 1986, citados en Saunders, 1999). Lo recin sealado, estableci la necesidad de contar con una forma de medir distinta a la tradicional, por dos razones concretas. Por una parte se planteaba que metodolgicamente dos temas emergen de la intencin de comparar el desempeo de las escuelas: primero, que debe introducirse algn concepto de contextualizacin, de modo de dar posibilidad de manifestarse al hecho de que las escuelas estn tratando con poblaciones estudiantiles

que dieren considerablemente en trminos de rendimiento previo y en otras variables claves (el tema de los insumos) Por otra parte, desde el momento en que las escuelas son parte de un sistema educacional que posee jerarquas naturales o niveles de inclusin (por ejemplo, los estudiantes agrupados en secciones, dentro de cohortes, a su vez al interior de escuelas), el modelo estadstico adoptado para efectuar los anlisis de los datos de desempeo, debe reejar esta estructura. (Gray, Jesson y Jones, 1986, citado en Saunders, 1999). Las razones recin enunciadas tienen una relevancia especial, dado que inciden en varios aspectos que por largo tiempo se han considerado centrales en la actividad evaluativa en Educacin. El primero de ellos consiste en que aquella debe proporcionar informacin que permita tomar decisiones que estn encaminadas a producir efectos en las decisiones de poltica educativa y que necesariamente tales decisiones tienen que ser pertinentes. Pertinentes, en cuanto a que la evaluacin genere informacin que permita adoptar las medidas necesarias sobre las escuelas, eso s cuidndose que ello ocurra en la medida en que stas sean realmente responsables del desempeo de los alumnos. En segundo lugar, es crucial poder tomar en cuenta cul es la contribucin de cada uno de los niveles jerrquicos del sistema educativo y de sus variables asociadas, sobre el rendimiento. En ste ltimo sentido, el nuevo enfoque a cuya aplicacin se reere este documento permite, casi por primera vez, considerar en forma exhaustiva los abundantes hallazgos que demuestran, por una parte, que los nios provenientes de entornos socialmente deprivados tienden a obtener puntajes en los exmenes y resultados en las pruebas, inferiores a los de aquellos nios de entornos ms privilegiados. De similar modo y an ms relevante que los aspectos recin sealados, es el hecho de que este enfoque evaluativo permite, a diferencia de otros anteriores, tomar en cuenta que el logro de los nios cuando entran por primera vez a la escuela, constituye el factor ms determinante
D6

del rendimiento posterior (Goldstein y Cuttance, 1988, citado en Saunders, 1999). Otro aspecto central que est incluido en el enfoque en cuestin es ... que la ecacia de las escuelas vara en trminos del desempeo relativo de diferentes sub-grupos. Intentar resumir las diferencias entre escuelas, an ajustando por caractersticas de ingreso, sexo y antecedentes tnicos de los alumnos y por las caractersticas jas de las escuelas, en una sola cantidad, es engaador... . El concepto de ecacia total, no es til (Nuttal, Goldstein, Prosser y Rabash, 1989, citado en Saunders, 1999). Un tema adicional que es abordado por el enfoque en cuestin es que el ordenamiento de las escuelas por jerarqua de resultados, sean estos brutos o ajustados por estatus socioeconmico y/o rendimiento previo es, en cualquier caso, altamente problemtico, ya que el propio mtodo usado para arribar a esas estimaciones de desempeo de las escuelas, parcialmente determina el orden resultante. Es necesario, por lo tanto, asumir que el mtodo en este caso abarca (e inuye sobre) ambos, el tema de cules productos son usados, particularmente aquellos que son capaces de diferenciar entre diferentes grupos de alumnos y el tema de cules tcnicas de modelacin estadstica son usadas. (Goldstein y Cuttance, 1988). Adems, estos mismos autores previenen en cuanto a que mientras mayor es el nmero de factores de contexto que se incluyen en el anlisis, ms inestables y menos conables resultan las comparaciones. Este es un principio importante de tener en cuentas, dado que han existido demandas, razonables desde el punto de vista de aquellos que buscan administrar y mejorar las escuelas, por un modelo que incluyese todo aquello, que pudiese hacer pensar que constituye factores que afectan el desempeo de las escuelas. Es por estas razones que el principio subyacente en la mayor parte del trabajo de valor agregado, ha sido ms restrictivo que inclusivo... Su relacin con la ecacia de las escuelas ha

TALLER 1: Procesamiento y anlisis de datos


estado radicada no tanto en identicar un rango de variables correlacionadas con la ecacia, sino que en discernir entre diferentes clases de ruido o informacin exgena, presentes en los anlisis de ecacia y (nalmente) en (procurar) desembarazarse de estos lo ms posible. (Saunders, 1999). En trminos histricos, la primera referencia al valor agregado en Educacin publicada, fue el artculo de Nuttal, de 1991, aparecido en el Suplemento Educacional del Times de Londres. Este constitua una solicitud (casi un ruego) redactada en Lengua comn pero explcito, presionando por investigacin en el tema de la ecacia escolar en su relacin con la generacin de poltica, en particular respecto de la necesidad urgente de nuevos sistemas de medicin. (Saunders, 1999) Textualmente manifestaba que Por casi 30 aos, la investigacin sobre la ecacia de las escuelas ha (procurado) la utilizacin del progreso alcanzado por los estudiantes desde su nivel de desempeo al ingreso (a la escuela) hasta el nivel al momento de egresar (de ella), ms que sus resultados brutos al momento de dejar la escuela. Este enfoque, adecuadamente iluminado por la metfora del valor agregado, hace sentido intuitivamente y es fcilmente comprensible. (Nuttal, 1991). Un segundo hito en la presencia explcita del trmino y del concepto en la literatura especializada, es el trabajo de McPherson de 1992, denominado Midiendo valor agregado en las escuelas. Su argumento central es que un mal sistema de indicadores como aquel solamente basado en puntajes brutos de pruebas o resultados de exmenes, lleva implcitos los costos ocultos de juicios errados, ansiedades innecesarias e intiles investigaciones adicionales originadas en falsas seales. La medicin del valor agregado, explcitamente denida como el clculo de la contribucin que las escuelas hacen al progreso de los estudiantes, es central en el desarrollo de un buen sistema de indicadores. Tal medicin
D7

debe estar basada en una teora explcita slidamente sustentada, que est abierta al escrutinio y renacin y que incluya elementos tales como: el rendimiento previo de los alumnos. la naturaleza longitudinal del progreso. la naturaleza multinivel de las escuelas. la naturaleza multivariada de los factores involucrados, especialmente factores ajenos a la escuela que pueden potenciar o retardar el progreso, tales como los antecedentes socioeconmicos de los estudiantes. la ecacia diferencial de escuelas especcas para distintos grupos de estudiantes.

4. Aspectos operacionales del valor agregado.


Para efectos de este documento se ha adoptado la denicin de valor agregado que seala que tal concepto es (denido en el mbito especco del Reino Unido) una indicacin de la medida en que una escuela en particular ha procurado el progreso de todos sus estudiantes, en un mbito de asignatura y durante un especco perodo de tiempo, por ejemplo, desde el ingreso a la escuela hasta los exmenes pblicos, en el caso de las escuelas secundarias o sobre aos especcos en Primaria, en comparacin con los efectos de otras escuelas de la misma muestra. (Sammons, Thomas y Mortimore, 1997). Cmo se puede advertir, aunque se tiene conciencia plena de la existencia y trascendencia de otros resultados del aprendizaje, tales como valores y actitudes, en el presente caso, la referencia a progreso de los estudiantes se ha restringido exclusivamente al mbito del aprendizaje acadmico. La obtencin del progreso a travs del enfoque del valor agregado implica que la informacin de insumo cumpla con tres

condiciones a saber: que cuente con una lnea de base; que la evaluacin se realice a nivel censal y no muestral y; que los alumnos que sern parte de la evaluacin, estn plena e inequvocamente identicados. Respecto de la primera de las condiciones, ello es contar con una lnea de base, que permita sustentar la estimacin estadstica por regresin, existen varias alternativas de acuerdo a su diferente poder predictivo. La opcin por una u otra alternativa congura, a la larga, distintos modelos que pueden, a su vez, ser clasicados de acuerdo a ese variado poder predictivo y explicativo, respecto de la variacin en rendimiento. Tales modelos sern reseados ms adelante. Sin perjuicio de la abundancia de alternativas, la opcin ms conveniente y ortodoxa para constituir la lnea de base, se apoya en el empleo, como Primera Medicin, de resultados obtenidos por los alumnos evaluados en pruebas estandarizadas de rendimiento, aplicadas idealmente con anterioridad al Grado en el cual se encuentren al momento de la Segunda Medicin, lo que permitir la determinacin del progreso, a travs del valor agregado. Sin embargo, la opcin ms conveniente, en la mayora de los casos no es la ms factible. Lo recin sealado, por cuanto en la mayora de las situaciones los sistemas de medicin de amplia cobertura tienen carcter muestral y por la misma razn no siempre registran de manera utilizable la identicacin de los sujetos que incluyen en sus evaluaciones. Por otra parte, el hecho de que el enfoque de valor agregado constituya una forma innovativa de evaluacin en el campo educativo, requiere que sus aplicaciones puedan exhibir en tiempo relativamente breve, resultados que sean utilizables con nes de generar decisiones en poltica educativa. Estas dos ltimas razones llevan, la mayora de las veces a emplear como lnea de base alternativas
D8

diferentes, menos ecaces y ecientes, que las mediciones estandarizadas. Respecto de la condicin relativa al carcter censal de las mediciones, tampoco sta es una condicin habitualmente encontrada en los sistemas de medicin de amplia cobertura. Lo ms comn es que se estructuren de manera muestral y en el mejor de los casos que, si bien pueden en algunos, alcanzar dimensiones que se aproximan al universo de su poblacin objetivo, dejan fuera segmentos de ste, aunque no de manera sistemtica. En otras situaciones aunque existe cierta sistematicidad, las exclusiones involucran marginar segmentos de la poblacin que por sus caractersticas son signicativos en el sistema educativo. Esto ltimo tiene por resultado que existan, en esos casos, prdidas de informacin importantes que afectan el mbito de generalizacin de la respectiva evaluacin. En cuanto a la identicacin plena y unvoca de los sujetos participantes en el proceso evaluativo, la tendencia general ha sido, por una parte, que los resultados de las mediciones y evaluaciones no entreguen datos por estudiante, sino que agregados por cursos o por establecimientos. Por otra parte, situaciones an ms extremas han implicado que no existan mecanismos habilitados dentro de los sistemas de evaluacin educativa y en algunos, ni siquiera dentro de los sistemas educativos como tales, que permitan identicar a los estudiantes. Ambas situaciones y en particular la segunda de las nombradas conspira en contra de la posibilidad de estructurar sistemas bajo el enfoque de valor agregado. Paradjicamente, aunque el establecimiento de mecanismos de identicacin de los sujetos pareciera constituir el problema ms difcil de resolver por lo largo y trabajoso, la decisin poltica de no hacer pblica la informacin respecto de los sujetos individuales, es an ms difcil de remontar que aquellos, especialmente para nes evaluativos.

TALLER 1: Procesamiento y anlisis de datos

5. Aspectos metodolgicos del valor agregado.


Como un primer paso antes de entrar de lleno en el tema de la metodologa, es importante tener presente que la necesidad de este enfoque surge del hecho de que las evaluaciones que publican resultados brutos, organizados en ordenamientos jerrquicos (league tables) entregan una informacin imprecisa y que adems, puede hasta ser peligrosa. Tal peligro radica, por un lado, en el hecho de que puede inducir a la complacencia entre las escuelas que atienden a poblaciones ms aventajadas. En el hecho, el progreso que alcanzan los estudiantes en algunos de tales establecimientos puede, en realidad, ser menor que el de otras escuelas que sirven a alumnos de menores recursos. En la prctica, sus resultados seran en tal caso, en realidad ms bajos que lo pudiesen ser. Al contrario, hay escuelas de comunidades ms pobres en las cuales los alumnos alcanzan un mayor progreso que los de otras escuelas con alumnos de niveles socioeconmicos ms aventajados y sin embargo, en trminos de resultados brutos sus logros aparecen como mediocres. En los primeros casos, errneamente puede existir la percepcin de que no se requiere mejoramiento cuando en los segundos, la situacin puede llevar a serias e injusticadas desmoralizaciones. Desde esta perspectiva es ahora posible ingresar de lleno al tema de la determinacin del valor agregado, el cual se presentar en base de un ejemplo sencillo, el clculo del desempeo estimado de una escuela determinada, utilizando datos agregados al nivel de la escuela y calculando la relacin estadstica entre el logro de sus estudiantes al ingreso a esa etapa escolar determinada y aquel obtenido al nalizar la etapa. Lo que en la prctica se obtiene es el grco de las medias del logro al ingreso, en el eje de las x, contra las medias del logro al n de la etapa, en el eje de las y, ambas para cada escuela.
D9

Cada punto en que se intersectan ambas medias para cada escuela constituye la relacin que existe para cada establecimiento entre ambas variables. De modo estadstico, luego se ajusta una recta que se site a las mnimas distancias de cada punto y su inclinacin (pendiente) revela el grado de asociacin entre ambas medidas, estando la magnitud de tal asociacin expresada por el coeciente de correlacin. La correlacin que como sabemos vara entre 1 y +1, si fuese 0, lo que indicara ausencia de relacin entre ambas variables implicara que la lnea fuese ms o menos horizontal. Una correlacin de 1 o +1 que mostrara una recta inclinada en un ngulo de 45 grados, involucrara una alta correlacin. La pendiente de la recta es utilizada para determinar el puntaje estimado para cada escuela. Mientras ms alejada la posicin de una escuela de la recta implicar que su resultado bruto diere del esperado y que la escuela tendr mejores o peores resultados en trminos de valor agregado. La diferencia entre el puntaje nal esperado y el puntaje nal real de una escuela provee la medida del valor agregado, la cual es denominada en trminos estadsticos como residuos de la escuela. Las escuelas ubicadas exactamente sobre la recta muestran total coincidencia entre su desempeo real y su desempeo esperado. Aquellas que estn por sobre la recta, a su vez, muestran estar desempendose mejor que lo esperado y tienen residuos positivos, mientras que las escuelas bajo la recta estn desempendose peor de lo esperado y los tienen negativos. Claramente las escuelas con altos o bajos puntajes de rendimiento previo pueden obtener cualesquiera de los dos tipos de resultados, mejores o peores. (Sammons, Thomas y Mortimore, 1997). Si bien la forma ms evidente y simple de calcular el valor agregado es utilizando el mtodo de Regresin Simple por Mnimos Cuadrados, hay autores como Goldstein (1987, 1995) que han destacado la importancia de utilizar tcnicas de niveles mltiples y datos detallados respecto del nivel de los estudiantes, para cada alumno

individual, en el clculo del valor agregado. La ventaja de utilizar tales mtodos es que ellos permiten explotar la estructura jerrquica de los datos educativos, los que estn congurados por estudiantes agrupados en secciones, stas dentro de escuelas y stas ltimas dentro de distritos, etc. Del mismo modo en que la Regresin Mltiple es usada, esta metodologa puede ser empleada para ubicar diferencias tales como aquellas existentes en los desempeos de nias y nios, los cuales al haber tomado en cuenta sus respectivas situaciones al ingreso, permiten una comparacin equitativa. Sin embargo, aunque ecaz, la metodologa reseada no permite distinciones nas entre escuelas, tales como aquellas que emergen de las comparaciones de puntajes brutos. Ms bien el valor agregado posibilita obtener indicadores de ecacia y de la medida en que algunas escuelas se estn desempeando mejor o peor que otras, una vez que se ha ajustado por las condiciones de entrada de sus estudiantes. Dos aspectos adicionales deben ser mencionados antes de dar por terminada esta seccin. El primero se reere al hecho de que, si bien es posible entregar informacin a varios niveles de agregacin, debe tenerse en cuenta que la comparacin tanto de los alumnos de un aula determinada, como la de las aulas dentro de una escuela y las escuelas al interior de un distrito, deben llevarse a cabo con respecto de la Media de los alumnos del universo completo al cual se reri la medicin. Lo que se acaba de sealar implica no intentar comparaciones de alumnos en un aula respecto de la Media de esa aula o de aulas dentro de una escuela respecto de la Media de esa escuela o de las escuelas de un distrito con referencia a la Media de ese distrito. La razn es, ni ms ni menos, que el hecho de que al hacer la comparacin que se acaba de sealar, implica que la suma algebraica de todas las diferencias sera Cero. El segundo aspecto se reere a que se debe tener presente que un anlisis inferencial por
D 10

regresin, utilizando el valor agregado como variable dependiente, dara en general por resultado que el porcentaje de varianza explicado fuese mnimo. La razn estriba en el hecho de que la determinacin del valor agregado, de entrada implic controlar por las variables de contexto y ya se hizo cargo de gran parte de la varianza. Es por lo sealado de que la mayora de los estudios que pretenden relacionar valor agregado y Factores Asociados, por lo general utilizan como nica manera de determinar el efecto de estos ltimos sobre el primero, el hacer uso de estudios cualitativos que no requieren el uso de tcnicas de estadstica inferencial y en especial las de regresin.

6. Los diferentes modelos de valor agregado.


Ante la imposibilidad casi generalizada de acceder a prima facie a informacin de lnea de base es preciso enfrentar el dilema respecto de cul metodologa emplear para obtener el valor agregado. Las alternativas de modelos diferentes emergen directamente del tipo, y nmero de las variables emplear y de las distintas posibilidades de sus combinaciones. Ante la ausencia de datos acerca de rendimiento previo es posible utilizar en su reemplazo antecedentes socioeconmicos y otras caractersticas de los estudiantes. En este sentido, el algunos estudios han explorado en forma especca el uso de las notas asignadas por los profesores de cada asignatura al n del curso previo al cual se trata, para la Segunda Medicin. Los resultados de esta exploracin, que realiz el autor, para Quinto Grado en la Provincia de Buenos Aires, indican que es ms recomendable el uso de calicaciones como una forma de imputar los puntajes eventualmente faltantes y no perder sujetos, antes que utilizarlos como una forma de reemplazar la lnea de base obtenida a travs de pruebas estandarizadas. Un ejemplo emblemtico de un enfoque alternativo cuando no se dispone de datos de rendimiento previo obtenidos a travs de

TALLER 1: Procesamiento y anlisis de datos


mediciones estandarizadas, es el empleado por la Ocina de Estndares en Educacin (OFSTED) del Reino Unido, reportado por Sammons et al., en 1994, el cual propone el establecimiento de un procedimiento provisorio para evaluar el desempeo de las escuelas, ante la ausencia de datos nacionales disponibles para los alumnos a su ingreso a la escuela secundaria. La metodologa desarrollada por la OFSTED, de acuerdo a lo sealado por Sammons, Thomas y Mortimore, 1997, ha inuido considerablemente en el establecimiento de estndares y en el planteamiento de metas en el tema. Sin embargo, agregan los autores, numerosos investigadores han abordado el tema de comparar diferentes modelos para separar y medir los efectos de la escuela de aquellas caractersticas de entrada de los estudiantes, tales como rendimiento previo y factores socioeconmicos. Los hallazgos de Thomas y Mortimore (1996) y los de Sammons et al. (1994) sealan que un nmero de escuelas (quiz un 20 por ciento del total) puede obtener diferentes resultados cuando se cuenta para el anlisis con datos disponibles respecto de las condiciones de entrada, (en contraste) con los resultados basados solamente en datos del contexto de los estudiantes -tales como edad, gnero, y derecho a alimentacin escolar. Ms an plantean que, Es interesante constatar que cuando se han usado adecuadas lneas de base, la inclusin de informacin socioeconmica en los clculos contribuye poco, en cuanto a explicar las diferencias entre los estudiantes. Sin embargo, sta es til como una manera de lograr una sintona na de los puntajes de valor agregado (Willms, 1992; Sammons, 1996; Tomas y Mortimore, 1996). Como maniestan Sammons, Thomas y Mortimore (1997) Por lo tanto, es esencial que, donde sea posible, los sistemas de valor agregado estn basados en un diseo longitudinal para medir el progreso de los estudiantes, donde ambos la lnea de base y los resultados, estn medidos en trminos de lo que es enseado en las escuelas: el Currculum Nacional. Con el n de comentar las diferentes posibilidades entregadas por el uso de distintas medidas de lnea de base y de variables explicativas, se presentan a continuacin los cuatro modelos distinguidos por Sammons, Thomas y Mortimore (1997).

Modelo I Modelo II

Intercepto Slo contexto.

No incluye variables explicativas. Incluye por ejemplo: gnero, edad, etnia y derecho a alimentacin en la escuela. Incluye medidas tales como: resultados de pruebas estandarizadas anteriores o notas. Incluye por ejemplo: gnero, edad, etnia y derecho a alimentacin escolar, adems de medidas de rendimiento previo tales como: resultados de pruebas estandarizadas o notas.

Entrega puntajes brutos. Entrega valor agregado.

Modelo III

Slo rendimiento previo.

Entrega valor agregado. Entrega valor agregado.

Modelo IV

Completo.

A continuacin se muestran, de acuerdo a un estudio realizado por los autores antes nombrados, los porcentajes de varianza explicados por cada modelo, en Lenguaje, Matemtica y en Puntaje Total.

D 11

Lenguaje
Modelo II. Varianza total explicada. Modelo II. Varianza de la escuela explicada. Modelo III. Varianza total explicada. Modelo III. Varianza de la escuela explicada. Modelo IV. Varianza total explicada. Modelo IV. Varianza de la escuela explicada.
Como es posible apreciar, los modelos, a medida en que aumentan en los elementos que incorporan, aumenta tambin su capacidad de explicacin de la varianza en los resultados, tanto de la escuela como en el total. En este sentido el Modelo IV es el de mayor capacidad para tal propsito. Como sealan Sammons, Thomas y Mortimore (1997) la bondad de ajuste de los distintos modelos est representada en funcin del porcentaje de varianza explicada en cada asignatura y en el Puntaje Total. Como puede verse, el uso de medidas previas de rendimiento solamente, como variables explicativas (Modelo III) produce resultados ms pobres que el Modelo Completo IV. Esto indica que el hecho de controlar por medidas adicionales de contexto, tales como gnero, es necesario para obtener medidas precisas de ecacia de las escuelas (residuos) Es importante tambin notar que el slo uso de factores de contexto (Modelo II), explica un porcentaje substancialmente menor de la varianza total, que los Modelos III y IV, sugiriendo en forma clara que el Modelo II -caso en el cual el anlisis carece de rendimiento previo- es inadecuado en cuanto a proveer controles debidos de las condiciones de ingreso de los estudiantes.

Matemtica
6,9 37,1 33,7 48,1 36,6 53,9

Total
11,6 43,8 40,4 57,4 45,9 70,0

9,5 52,7 36,5 57,3 40,9 68,2

Otro aspecto necesario de considerar es el hecho de que parte de los insumos para la determinacin del valor agregado son de naturaleza retrospectiva, basndose en perodos previos del devenir de las escuelas. Este es un aspecto que es preciso tener en cuenta al momento de interpretar los resultados obtenidos. Es por ello que desde la perspectiva de quin interprete los resultados, sea esta de la esfera acadmica, poltica o docente, es imprescindible que previamente a extraer conclusiones se las ponga en el contexto temporal en que se sitan ambas mediciones. Un tercer aspecto a considerar es que el valor agregado en general, presenta inestabilidades en el tiempo, lo cual hace aconsejable, de acuerdo a la opinin de la mayora de los autores, que para poder emitir y sustentar conclusiones respecto de una escuela, seccin o individuo, se disponga de a lo menos de dos determinaciones secuenciales del valor agregado e idealmente de tres. Finalmente, el otro aspecto que debe considerarse es el hecho de que el valor agregado no necesariamente muestra comportamientos consistentes a travs de diversas asignaturas, por lo cual es preciso interpretar sus resultados en cada materia y ser muy cuidadoso en cuanto a extrapolar o comparar los resultados obtenidos en diferentes materias. En la raz de las objeciones existen preocupaciones que exceden a los aspectos exclusivamente operativos. Uno de ellos emerge
D 12

7. Limitaciones y objeciones del enfoque de valor agregado.


Si bien las ventajas del enfoque tratado aqu por sobre los puntajes brutos, son evidentes, l adolece de algunas limitaciones, entre ellas los efectos del error de medicin y la precisin de los datos.

TALLER 1: Procesamiento y anlisis de datos


del planteamiento de Goldstein y Thomas (1995) en cuanto a que: Mientras nos sea posible estudiar los factores asociados con el desempeo de los estudiantes y arribar a conclusiones acerca de cul de ellas parece estar relacionada con el xito, an as parece difcil identicar precisamente cules escuelas estn hacindolo bien o mal ...En otras palabras, la investigacin acerca de la ecacia de las escuelas es una actividad til en nuestros intentos por obtener conocimiento acerca del proceso de educacin, pero es una herramienta muy pobre para hacer que las escuelas asuman su responsabilidad. Valga entonces nalizar la presentacin de estas ideas con un planteamiento que si bien no muestra mayor optimismo, s coincide con una visin realista y objetiva. Dice un autor (Byatt, 1997) que Valor agregado, ciertamente en su contexto educacional, debe ser propiamente visto como uno de esas metforas y analogas, de las cuales (el pensamiento cientco) debe hacer uso y (a la vez) sospechar Es posible, sin embargo comentar que al igual que la manida discusin del pasado respecto de la bondad comparativa de las pruebas estructuradas y aquellas de respuesta abierta, en el caso del valor agregado cuando ste se compara con los logros brutos, cada uno tiene sus ventajas y desventajas. De este modo, tal como no hay mejor forma de medir la presencia de aprendizajes de alto nivel de complejidad que las pruebas abiertas, no hay forma ms ecaz de determinar la contribucin de una escuela a sus alumnos que el uso del valor agregado. Anlogamente, como no hay mejor manera de determinar la presencia de aprendizajes de bajo nivel de complejidad que las pruebas estructuradas, la determinacin del logro cumple un rol irreemplazable en la evaluacin como certicacin y como variable dependiente para la determinacin de relaciones de variables de producto con los Factores Asociados a la Educacin.

Bibliografa
Byatt, A. S. (1997). The inequality express. The American Prospect. 20, 81-93. Emonds, R. (1979). Some schools work and more can. Social Policy, 9, (4), 28-32. Goldstein, H. (1987). Multilevel models in educational and social research. London: Charles Grifn and Company. New York: Oxford University Press. Goldstein, H. (1995). Multilevel Statistical Models (2nd. Ed.). London: Edward Arnold. New York: Halsted Press. Goldstein, H. y Thomas, S. (1995). School effectiveness and value added analysis. Forum. 37, 3638. Goldstein, H. y Cuttance, P . (1988). A note on national assessment and school comparisons. Journal of educational policy, 3, 197-202. Gray, J., Jesson, D., y Jones, B. (1986) The search for a fairer way of comparing schools examination results. Research papers in education, 10 (1), 45-68. Kozol, J. (1991). Savage Inequalities: Children in Americas schools. New York: Harper Perennial. Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin, UNESCO-SANTIAGO, Ocina Regional de Educacin para Amrica Latina y El Caribe (1998) Primer Estudio Internacional Comparativo sobre Lenguaje, Matemtica y Factores Asociados en Tercero y Cuarto Grado, Primer Informe. Santiago de Chile: UNESCO.
D 13

McGeevor, P ., Giles, C., Little, B., Head, P . y Brennan, J. (1990) The measurement of Value Added in higher education. A joint PCFC/CNAA project report. London: Council for national academic awards. McPherson, A. (1992). Measuring value added in schools (NCE brieng 1). London: National Commission on Education. Mkhatshwa, S. en Townsend, T., Clarke, P ., y Ainscow, M (Eds.) (1999) Third Millenium Schools. A world of differences in effectiveness and improvement. Lisse: Swets and Zeitlinger, 339-351. Nuttal, D. (1991) An instrument to be honed: Tables do not reect schools true performance. Times educational supplement, 22. Nuttal, D., Goldstein. H., Prosser, R y Rabash, J. (1989). Differential school effectiveness. International journal of educational Research, 1 769-776. Sammons, P . (1996). Complexities in the judgment of school effectiveness. Educational research and evaluation. 2, (2),113-149. Sammons, P ., Thomas, S., Owen, C. y Pennell, H. (1994). Asssesing school effectiveness: Developing measures to put school performance in context. London: Ofce for Standards in Education (OFSTED). Sammons, P ., Thomas, S. y Mortimore, P . (1997). Forging Links. Effective schools, effective departments. London: Paul Chapman. Saunders, L. (1999). A brief History of educational Educational Value Added: How did we get to where we are? School efecctiveness and school improvement. Spours, K. y Hogdson, A. (1996). Value Added and raising attainment: A formative approach. A resource pack for practitioners. Poole: BP Education Service. Thomas, S. y Mortimore, P . (1996) Comparison of value added models for secondary school efectiveness. Research papers in education, 1, (11), 5-33. Townsend, T., Clarke, P ., y Ainscow, M (Eds.) (1999) Third Millenium Schools. A world of difference in effectiveness and improvement. Lisse: Swets and Zeitlinger. Willms, J. D. (1992). Monitoring of school performance: A guide for educators. London: Falmer.

D 14

S-ar putea să vă placă și