Evaluacion Gye titers) Guia tedrica y practica Daniel L. Stufflebeam/ Anthony J. Shinkfield Temas de educacién PaidésA#M.E.C.Titulo original: Systematic evaluation Publicado en inglés por Kluwer-Nijhoff Publishing, Dordrecht/Boston Traduccién de Carlos Losilla 0 G 5 7 re Supervision de Nuria Pérez de Lara Os OE es —T Cubierta de Ferran Cartes T ls ol Quedan rigurosamente prohibidas, sin la autorizacién escrita de los titulares del «Copyright», bajo las sanciones establecidas on las leyes, la reproduccién total o parcial de esta obra por cualquier medio o procedimiento, comprendidos la reprografia y el tratamiento informatico, y la distribucién de ejemplares de ella mediante alquiler o préstamo publicos. © 1985 by Kluwer-Nijhoff Publishing © 1987 de la presente edicién: Centro de Publicaciones del Ministerio de Educacién y Ciencia, Ciudad Universitaria, s/n, Madrid y Ediciones Paidés Ibérica, S. A., Mariano Cubi, 92 - 08021 Barcelona Coeditan: Centro de Publicaciones del M.E.C. y Ediciones Paidés Ibérica, S. A. http://www.paides.com ISBN: 84-7509-445-7 Depésito legal: B-37.956/2002 N.LP.O.: 176-87-169-7 Impreso en Novagrafik, S. L., Vivaldi, 5 - 08110 Montcada i Reixach (Barcelona) Impreso en Espaiia - Printed in SpainINTRODUCCION A LA EVALUACION La evaluacién es una de las actividades fundamentales de los servicios profesionales més solventes, Los clientes de estos profesionales merecen una asistencia que satisfaga sus necesidades, que sea de una alta calidad, moderna y eficiente. Para que los profesionales se responsabilicen de satisfacer estos q niveles, la sociedad debe someter regularmente a evaluacién a los propios servicios profesionales, Una parte del trabajo evaluativo, la que consiste en 0 la regulacién y proteccién del interés publico, debe, obviamente, ser dirigida i Por organismos independientes, como agencias gubernamentales y juntas acre- “Y" ditadas. Pero, fundamentalmente, las evaluaciones més importantes de los ser- = vicios profesionales estén realizadas (o encargadas) por los propios profe- il sionales, 9 Para mantener sus setvicios al dia y asegurarse de que, efectivamente, “, —. satisfacen las necesidades de sus clientes, los profesionales deben recabar con- = 4 tnuamente informacién oportuna sobre el trabajo evaluativo. Este proceso = ~ incluye estudiar las necesidades de sus clientes, evaluar los métodos que pro- Ponen o utilizan otros, seguir muy de cerca el desarrollo del servicio, valorar los resultados a corto y largo plazo y buscar modos de que los servicios sean cada vez més eficientes y efectivos. La primera pregunta que todo grupo eva- luativo exterior debe plantear es si el profesional realiza periddicamente un Programa de autoevaluacién que responde oportunamente, con las correspon- dientes pruebas y evidencias, a estas cuestiones. . Desafortunadamente, el alcance de las evaluaciones que realizan los servi- cies profesionales —por medio de los propios profesionales y sus agentes acteditados— ha sido, tradicionalmente, y en el mejor de los casos, desigual, fon pobre, Algunos distritos escolares grandes y agencias guberna- es ; mantienen sistemas de evaluacién competentes y realizados por un Sonal adecuado, y los evaluadores de agencia han sabido ayudar a las orga-18 | Evaluaci6n sistematica ables con todos los implicados y a obtener anificar administrar sus servicios. Pero incluso el més 5 evaluativos no puede asumir las responsabilida- rofesionales de Ja agencia. No debe olvidarse el bilidad tanto personal como insti- j6n pueden cubrir las principales responsabili- nizaciones centrales a ser respons la capacidad de pl competente de estos sistema des evaluativas de todos los p' hecho de que la evaluacién es una responsal tucional. Las oficinas de evaluac dades de una agencia y proporcionar preparacion para el servicio y ayuda téc- nica al personal. Pero, a la larga, de todas maneras, cada profesional debe ser responsable de evaluar su propio trabajo. Este libro ha sido escrito para ayudar a los educadores profesionales y a aquellos que desempefien otros servicios profesionales, como servicios sociales médicos, a consolidar sus conocimientos practicos sobre la evaluacién. Su intencién primordial es la de un manual. Se puede consultar cada unidad, que es independiente de las dem4s, pata obtener informacién sobre un tema en concreto. En general, los temas incluidos han sido escogidos para proporcionar informacién acerca de la naturaleza general de la evaluacién, para facilitar un amplio andlisis comparativo de ciertos métodos de evaluacién alternativos y para exponer un profundo estudio de ocho mo delos o planes alternativos pata realizar evaluaciones. Cada unidad ha sido escrita como una guia autosuficiente que incluye objetivos de aprendizaje, informacion expositiva, preguntas y eer cicios que puede calificar usted mismo y unas pocas preguntas destinadas 4 la discusién, Esta primera unidad, concebida como un panorama de la evaluaci6n, pro- porciona una amplia definicin de este concepto y pasa revista al desarrollo de la evaluacién, especialmente desde 1930. Muestra cémo ha evolucionado el término evaluacion, en lo que se refiere a la profundidad y amplitud de los sigg que se le han atribuido. Las muchas definiciones y funciones que a io aim a ® evaluacién, dependiendo de los cambios en el contexte Prete _ ion ién son descritas aqui. A la vez, se descubren ciertas al trabajo evaluat — ie y ciertas funciones que se han asociado con mado eeieutamment ina eS se discuten los esfuerzos que se han rea'r a través del cearrollo d pro esionalizar el trabajo evaluativo, especialmente esta unidad es familiares val lee pefealenales. En general, la intencidn o& campocdecestadlans eran al lector con la evaluacin entendida como ua cstin lauinpestigntign ee oe que puede diferenciarse de otros afines, tales , la planificacién y la administracin. Objetivos Esta unidad A ; se propone cinco objetivos de aprendizaje. Cuando haya estu- diado a fondo “ : el capitul cBietivos: pitulo, usted deberfa ser capaz de realizar los siguientesIntroduccl6n a la evaluaci6n | 19 1, Definir la evaluacién, tal como se presenta en esta unidad, ¢ identificar la base Iégica que se ha proporcionado para esta definicién. 2. Identificar varios métodos de evaluacién alternativos. 3. Identificar los dos principales grupos de normas para programar evalua- ciones y caracterizar los principales rasgos de las Normes del Joint Com- mittee. 4, Identificar y describir los cinco perfodos principales expuestos en esta unidad para caracterizar la evolucién de la teorfa y la prdctica evalua- tivas. 5, Indicar y definir doce funciones principales del trabajo evaluativo. Como en todas las unidades, al final de ésta encontraré una serie de pre- guntas y ejercicios. Le sugerimos que los haga y que compare sus respuestas con las soluciones correspondientes. Luego examine o discuta con sus colegas las preguntas sin respuesta. Aunque pueda alcanzar todos los objetivos estu- diando sélo el material que se proporciona en esta unidad, Je recomendamos que amplie sus conocimientos sobre los conceptos estudiados consultando la bibliograffa que se facilita al final de cada unidad. tQué es la evaluacion? gO Se han dado muchas respuestas a la pregunta: gqué es la evaluacién? fy Mientras algunas de ellas varian s6lo en aspectos menores, otras mantienen "| diferencias sustanciales. Por ejemplo, algunas definiciones identifican esencial- mente la evaluacién con otros conceptos como la investigacién o las encues- tas, mientras otros distinguen claramente la evaluacién de otras materias. Una definicién importante, y que se viene dando desde hace mucho tiempo, afirma que la evaluacién supone comparar objetivos y resultados, mientras que otras exigen una conceptualizacién més amplia, apelando a un estudio combinado del trabajo en sf y de los valores. Muchas de las distintas definiciones formu- ladas aparecen en los diferentes modelos de evaluacién presentados en las unidades 3-10, Ademés, la unidad 2 proporciona un andlisis comparativo de gy estos modelos y definiciones. Esencialmente, ese anélisis examina todo lo que iw se ha argumentado contra la definicién que damos en esta unidad. Esta definicién es consecuente con lo que dice comtinmente el diccionario y, de una manera més espectfica, es la que ha adoptado el Joint Committee on Standards for Educational Evaluation. La definicién es la siguiente: la evalua- cidn es el enjuiciamiento sistemético de la valia o el mérito de un objeto. Esta definicién se centra en el tétmino valor ¢ implica que la evaluacién siempre supone juicio, Desde el momento en que Ja evaluacién, en un sentido Sptimo, emplea procedimientos objetivos para obtener una informacidn segura ¢ imparcial, ya esta ligada a la valoracién, En efecto, su meta esencial es deter-20 | Evaluacién sistemética minar el valor de algo que est4 siendo enjuiciado. De acuerdo con esta def. nicién, si un estudio no informa de cudn buena o mala es una cosa, no se trata de una evaluacién. Algunos autores se han mosttado contrarios a esta posicién. Creen que esta orientacién valorativa conduce a interpretaciones radicales y subjetivas que conceden un poder inmerecido a los evaluadores e impiden el progreso. Afirman, por asf decirlo, que «la belleza reside en los ojos del observador» y que las valoraciones de un grupo no deben tener precedencia sobre las de otro a la hora de determinar si algo es bueno o malo. También afirman que la evaluacién es, demasiado a menudo, una fuerza negativa y, en general, mala psicologia. Pero sus argumentos sdlo nos convencen de que la mayoria de las evaluaciones no son determinantes y de que es dificil hacerlas bien; quizds existen muchas evaluaciones distintas, y posiblemente contradictorias en apa- tiencia, de un objeto dado, dependiendo de la posicién valorativa que se adop- ta. Pero, inevitablemente, la valoracién. debe desempeflar un papel. Y si sirve al progreso y se utiliza para identificar los puntos débiles y los fuertes, y para tender hacia una mejora, puede ser una fuerza positiva. Como puede verse, la evaluacién es una empresa compleja. Creemos que este aspecto de la complejidad no debe ser interpretado en el sentido de que estas evaluaciones sélo deben ser consideradas como procesos mentales que se producen de un modo natural, conduciéndonos as{ hacia una gran variedad de interpretaciones sobre el valor de algo. Al contrario: signi- fica que hay que poner mucho cuidado no sélo cuando se recopile la infor- macidén, que debe ser de calidad, sino también cuando se clarifique y propor- cione una base Iégica que justifique las perspectivas de valoracién utilizadas para interpretar los resultados, Como se puede ver, en la afirmacién anterior incluimos la posibilided de emplear muchas perspectivas de valoracién. Consideramos que esta posi- bilidad es fundamental para los evaluadores y profesionales en general, A me- nudo, existen distintos piiblicos, que exigen o necesitan cosas distintas de un servicio profesional, Por ejemplo, a las familias acaudaladas quiz4 les importe més el hecho de que las escuelas publicas preparen a los estudiantes para en- trar en colegios de élite y en universidades, mientras que los nuevos inmi- grantes, que son pobres y hablan muy poco inglés, quizé rechacen las escuelas que no ofrecen una educacién bilingiie, no atienden a los nifios atrasados y 20 promueven la integracién social, A la hora de evaluar un distrito escolar en concreto, un evaluador competente debe tener en cuenta, segiin nuestra definicién, entre otras cosas, estas dos perspectivas de valoracién. De hecho, podrfamos afirmar que las necesidades que unen o separan a los clientes de un determinado servicio son las que deben considerarse como base para deci- dir qué tipo de informacién se debe recopilar y a qué criterios recurtir para determinar Ja valia o el mérito de un servicio, Los términos valta y mérito también deben ser definidos para cariquecctIntroduccién a la evaluacién | 2t nuestro concepto de evaluacién. Scriven (1981) ya ha indicado las trascen- dentales diferencias que hay entre ellos y el importante papel que desempefian a la hora de determinar el valor de algo. Por ejemplo, un programa para formar a profesores de Historia, epodré producir profesores que ensefien His- toria a otros de un modo efectivo y de manera que se pueda confiar en ellos? En general, chard bien lo que se supone que debe hacer? Si lo hace, serd metitorio, pero puede que no sea valido. Por ejemplo, si la sociedad ya no necesita més profesores de Historia porque ya tiene mas de los que puede emplear, entonces aunque el programa sea muy bueno —y quizé sea mejor que otros parecidos—, continuar con el mismo nivel de expansién del pro- grama quizd no sea la mejor manera de gastar sus escasos recursos. Aunque tun programa meritorio puede no ser vélido, debemos indicar que un progra- ma que no sea meritorio no puede ser vélido. Puede que no sea bueno formar malos profesores de Historia aunque exista una gran escasez de ellos. Hasta aqui, esta discusién sobre qué bases de valoracién deben ser tenidas en cuenta a la hora de evaluar algo, ha proporcionado tres importantes fuentes de criterios: 1. Las distintas expectativas de los clientes. 2. El mérito o excelencias del servicio en cuestién. 3. Hasta qué punto el servicio es necesario (es decir, su validez potencial). En general, recomendamos que se tengan en cuenta los tres aspectos cuan- do se realice una evaluacién, Pero creemos necesario considerar dos aspectos més: la viabilidad y la equidad. Aunque un servicio pueda ser de mucha cali- dad, atienda los diferentes objetivos de distintos grupos de clientes y se cen- tre en un drea que de verdad lo necesite, quizd falle en lo que se refiere a los valores de la viabilidad y la equidad. Por ejemplo, puede que consuma més recursos de los que necesita 0 pue- de causar infinidad de problemas politicos. En cualquiera de los dos casos, el programa, en principio, debe ser modificado en esas dreas para hacerlo més viable. Obviamente, una buena evaluacién del servicio deberfa mencionar esto y, en su caso, proporcionar una solucién para que el servicio sea més sencillo, utilice el tiempo y los recursos de un modo més apropiado y sea polfticamente viable. Este argumento en favor de Ja viabilidad es, en principio, aplicable a todas las sociedades. La Ultima base valorativa que vamos a mencionar aqui, la equidad, esté predominantemente relacionada con Jas sociedades democraticas. Se exigen las mismas oportunidades para todo el mundo y se reclama la libertad para to- dos, En los Estados Unidos, una evaluacién puede resultar incompleta si no tiene en cuenta que un servicio puiblico debe estar pensado y ser asequible para todos los miembros de la sociedad. Es importante indicar que nuestro concepto de equidad es complejo. No es suficiente decit que los servicios pu-22 | Evaluacién sistemética blicos educativos deben poder ser requeridos y usados por todo el mundo Como ha dicho KELLAGHAN (1982), para que exista verdaderamente la igual. dad deben existir siete indicios de equidad: 1. Los servicios piblicos educativos de una sociedad deben estar pensados para toda la poblacién. 2. Todos los sectores de la sociedad deben tener el mismo tipo de acceso a los servicios. 3. Todos-los grupos deben disfrutar de una participacién equitativa en la utilizacién de los servicios, 4. Los niveles de logro, por ejemplo, los afios en el sistema educativo, no serdn significativamente distintos para los diferentes grupos. 5. Los conocimientos exigidos para alcanzar los objetivos del servicio no de- ben ser sustancialmente diferentes para los distintos grupos. 6. Las aspiraciones vitales que se persiguen deben ser similares en todos los grupos sociales. 7. El sistema del servicio deber4 producir resultados similares en lo que se tefiere a la mejora en el bienestar de todos los grupos sociales. De la discusién anterior, se puede colegir que la definicién de evaluacién que hemos propuesto es engafiosa en su aparente simplicidad. Cuando exami- nemos seriamente el término base valor, debemos inevitablemente tomar en consideracién tanto las perspectivas de valoracién como la informacién, la combinacién de ambas con el fin de conseguir averiguar el valor de algo y, por ultimo, la transformacién de los resultados en conocimientos operativos que se utilizaran para suministrar o no suministrar (o para comprar o no comprar) ciertos servicios y para mejorar los que ya se estén ofreciendo. Antes de terminar con este tema de la definicién de evaluacién, debemos considerar otros tres aspectos de la evaluacién. El primero se refiere a si la evaluacién necesita ser comparativa; el segundo, a las principales utilizaciones de la evaluacién; y el tercero se pregunta hasta qué punto los evaluadores necesitan cualificaciones especiales, Algunos autores (Stake, Scriven, Cronbach) han indicado que la eve luacidn puede centrarse en un solo producto o servicio, o compararlo con ottas alternativas vdlidas, Por otra parte, han debatido los méritos de estas dos posturas, para acabar queddéndose con una de ellas. Nosotros creemos qué, dependiendo de las circunstancias, una evaluacién puede ser, leg{timamente, tanto comparativa como no comparativa, . __ Algo que se debe tener muy en consideracién es la naturaleza de la audien- Cia y qué es lo que necesita saber acerca del objeto de la evaluacién. Si la audiencia est4 compuesta por consumidores que desean escoget un producto © servicio, la evaluacién debe ser comparativa y ayudar a los consumidores & saber qué alternativas son convenientes y cémo compararlas criticamente- Si,Introduccl6n a la evaluacién | 23 el contrario, la audiencia incluye promotores o consumidores que ya est4n comprometidos con el desarrollo o el uso de un programa determinado, es mejor que la evaluacién se centre intensamente en la evolucién del programa ‘a intentar mejorarlo. A veces sucede, sin embargo, incluso si un grupo es totalmente devoto de cierto servicio o producto, que, al considerar otras opcio- nes, obtiene mejores resultados de su proveedor o encuentra una alternativa mejor. En general, creemos que la evaluacién debe ser comparativa antes de que empiece el proceso o antes de suscribirse a un servicio, no comparativa duran- te el-proceso (para que permita concentrarse en lo que resulte mejor para el desarrollo del servicio), y periddicamente comparativa después del proceso y/o la utilizacién continuada, para que el camino quede abierto ante posibles ma- yores avances. Hablando en general, que una evaluacién deba ser comparativa o no de- pende de lo que se quiera conseguir de esa evaluacién, en cuanto a su utili- zacién se refiere. Nosotros consideramos tres utilizaciones principales: perfec- cionamiento, recapitulacién y ejemplificacin. La primera utilizacién se refiere ala informacién que se proporciona para asegurar la calidad de un servicio 0 para mejorarla. Hay que prestar mucha atencién a la naturaleza y las necesi- dades de los consumidores, y a la relacién existente entre el proceso y los resultados. En este punto, los evaluadores deberfan estar muy en contacto con el personal del programa y servir como gufas para las tomas de decisio- nes. El plan de evaluacién necesita ser flexible y receptivo. Cuando la meta principal es mejorar algo, la evaluacién deberfa parecerse més al estudio de un caso que a un experimento comparativo. La segunda funcién més importante de la evaluacién es hacer recapitula- ciones o informes sumarios. Se trata de andlisis retrospectivos acerca de pro- yectos ya terminados, programas ya hechos o productos ya acabados. La infor- macién no va dirigida al personal encargado de su desarrollo, sino a los patro- cinadores y consumidores. Debe incluir una valoracién de la eficacia de lo f invertido, siendo también importantes las comparaciones con los més impor- M tantes competidores. La informacién que se deriva de estos profundos estu- dios y de las encuestas comparativas es muy interesante para la audiencia en a este tipo de situaciones. La tercera utilizacién es la ejemplificacién. Bésicamente, la evaluacién y la investigacién son actividades distintas. La primera se dedica a considerar todos los criterios que se utilizan en la determinacién de un valor, mientras que la segunda se limita mds bien al estudio de ciertas variables que tienen un interés teérico. Las evaluaciones suelen utilizar métodos subjetivos y no estén tan estrechamente controladas ni sujetas a manipulacién como las investigacio- nes. No obstante, los resultados obtenidos, en un cierto perfodo de tiempo, evaluando servicios pueden facilitar informacién que luego serd utilizada para crear y ensayar una teoria. Y, sin duda, los resultados de las evaluaciones aa 24 | Evaluaci6n sistemética conducen, de hecho, @ unas conclusiones més series e interesantes en el terreno de 1a investigacién. Por lo tanto, cree conergue es importante que los evaluadores, al planifcar sus estudios,tengan mos Ginta que sus conclusiones pueden ser utilizadas en el contexto de una mprensién més amplia de los fenéme. investigacién que se proponga una co n mds amplia de los seve vaminados en Ia evaluacién. Con una planificacién més minuciosa y cui Tedose, las evaluaciones pueden servir no s6lo como guia de programas opers. de sus conttibuciones, sino también para ilustrar inves. jones tedricas. ue la evaluacién es un concepto altamente com- deben tenerse en menudo deberfan conducir y tivos, 0 como resumen tigaciones concretas 0 cuesti ‘Asi pues, parece claro q ‘ n plicado. A la hora de planificar o dirigir una evaluacién, cuenta una serie de cuestiones: — :Qué valores deben ser mencionados al juzgar los resultados? — {Qué criterios deben ser adoptados y cudles deben tener preferencia? — ¢La evaluacién debe ser compatativa? — ila evaluacién debe estar capacitada para guiar el desarrollo, responsa- bilizar a los profesionales, ordenar las opciones o promover nuevas intu ciones acerca de los fenémenos implicados? Si se tienen en cuenta estas cuestiones con el fin de que la audiencia confie en los resultados y los utilice, los evaluadores deben mantener ciertos criterios © normas en su trabajo. Como consecuencia, cteemos que la distincién entre evaluaciones profesionales y evaluaciones informales es importante, Desde lue- go, todo el mundo recurre a las segundas cuando se trata de emplear, opinar, aceptar 0 comprar cosas. Pero ocurre demasiado a menudo que nuestras ev: luaciones resultan poco o nada sistemfticas y en modo alguno convincentes, ni siquiera para nosotros mismos. En muchos casos, preferirfamos que nues- tras conclusiones tuvieran més relevancia, rigor y objetividad. Estos requ sitos, sin embargo, requeririan a menudo més tiempo, dinero y habilidad de los que nosotros tenemos, Asi, en muchas ocasiones, las buenas evaluaciones deben ser realizadas Por un personal especializado, Aunque nuestra definicién afirma que la evalua- cion es sistemética, muchas veces, sin duda, no lo es. Lo que intentamos nea en este libro es una especie de evaluacién que sea justificable. La sie oe elaici ae tenemos en mente requiere un esfuerzo sistemitic tilting en fo we om 5 Persones que posean, en principio, un cierto niv Fane ene at, Tefere Tas téenicas evaluativas que se exigen en estos dae nimes due el concienzudo estudio que propone este libo puede pen lle ben Sa canzar el nivel bisico de habilidad que se necesita evaluar las evalenine a nuestro concepto de evaluacidn sistemdtica y pare ealizadas por otros.Introduccién a la evaluacién | 25 Métodos Un aspecto que diferencia la evaluacién sistemética de la evaluacién infor- mal es, sin lugar a dudas, el rea metodoldgica. Cuando pasamos de las eva- luaciones realizadas con juicios répidos e intuitivos a las que suponen una rigurosa recopilacién de resultados que deben ser considerados de un modo fectivo, debemos necesariamente enfrentarnos a las complejas areas de la epistemologia, las reglas empiricas, las ciencias informativas, los proyectos de investigacién, las valoraciones, las estadisticas, la comunicacién, etc. Muchos principios, instrumentos y estrategias de estas 4reas son importantes para la evaluacin sistemética. El evaluador bien preparado debe dominar conve- nientemente todas las técnicas de estas reas y mantenerse informado acerca de los avances tecnolégicos que puedan resultarle ttiles. Estos evaluadores, que pueden convertirse en pioneros y contribuir al desarrollo de su profesién, cuelen aumentar las criticas de los métodos ya existentes y la aparicién de otros nuevos A lo largo de los afios, muchos evaluadores han escogido, e incluso defen- dido, la utilizacién exclusiva de unas pocas técnicas. Algunos han equiparado Ja evaluacién a sus métodos favoritos, como el disefio experimental, las prue- bas estandarizadas o las visitas personales. Otros han atacado duramente la estrechez de miras respecto de la adecuacién de los métodos y, en algunos casos, han abogado por sustituir su técnica favorita, como por ejemplo el estu- dio de un caso. Nosotros creemos que ambas posiciones son ineficaces, inade- cuadas y, a veces, parciales, ‘A cambio, recomendamos un método ecléctico. Asf, creemos que los eva- luadores deberfan conocer un amplio espectro de técnicas adecuadas y saber c6émo aplicarlas en los distintos contextos evaluativos. De este modo, podrian valorar, en cada situacién, qué técnicas son potencialmente aplicables y cudles pueden servir de un modo més eficaz a los propésitos particulates de la evalua- cidn en cuestién. Entre las dreas técnicas que, segiin creemos, deben conocer a fondo los evaluadores profesionales se encuentran las siguientes: las entrevistas, los informes preliminares, el andlisis de contenidos, la observacién, el anilisis po- Itico, el andlisis econémico, el examen investigativo, los informes técnicos, el estudio del caso, la evaluacién sin metas, la escucha de opiniones contra- puestas, las asociaciones de defensa, Jas listas de control, la elaboracién de pruebas, el andlisis estadistico, el disefio de Ja investigacién, el andlisis siste- mético, la teorizacién y la administracién del proyecto. Es recomendable con- sultar las fuentes de informacién general que, acerca de estas areas técnicas, pueden encontrarse en Scriven (1974); ANDERSON, BaLL y MurpHy (1974); BRINKERHOFF y otros (1983) y SMITH (1981a y 1981b).Pci 26 | Evaluacién sistemética Normas Una de las caracteristicas de las practicas profesionales es que sus miem- bros deben cumplir exigentes normas referentes al trabajo y al servicio que Por lo general, estas normas ya vienen formuladas por los miembros de la profesién, y, en algunos casos, por el gobierno. Ejemplos tfpicos de ello son las normas existentes en Jas areas de la ley, la medicina y la conta bilidad, con el fin de asesorar y valorar la prdctica en cuestién, y, en algunos casos, llegar a conclusiones acerca de ciertos procedimientos ilegales. Hast: muy recientemente, los evaluadores de programas no disponian de normas explicitas para la evaluacién, pero esta situacién est4 cambiando. Recientemente, se han publicado dos conjuntos de normas para las eva- luaciones. Uno consiste en un grupo de treinta normas formuladas por el Joint Committee on Standards for Educational Evaluation. El otro es una serie de cincuenta y cinco normas formuladas por la Evaluation Research Society (ERS). Aqui vamos a centrarnos en el primero por unas razones determinadas. Cuidadosas comparaciones realizadas por investigadores independientes han demostrado que casi todo lo que aparece en las normas de la ERS es exami- nado con mayor profundidad en las Normas del Joint Committee. Es més, la primera serie ha sido elaborada por un comité cuyos diecisiete miembros han sido nombrados por doce organizaciones profesionales que abarcan un total de alrededor de dos millones de miembros, mientras que las normas de la ERS han sido elaboradas por un grupo de alrededor de dos mil miembros. Otra diferencia clave es que las Normas del Joint Committee incluyen tanto al cliente como al que realiza los servicios evaluativos. El texto Standards for Evaluations of Educational Programs, Projects, and Material (Joint Committee, 1981) fue elaborado en un perfodo de cinco afios. Este comité esté formado por alrededor de doscientas personas relacionadas con la préctica profesional de Ja evaluacién, que realizan la labor de crear, valorar y clarificar principios ampliamente compartidos con el fin de que sirvan como base para evaluaciones sobre programas educativos. El resultado son las treinta normas resumidas en la tabla 1-1, Es particularmente notable el conti- nuo proceso que llevan a cabo reexaminando y revisando las normas. En esen- cia, el Joint Committee concluye afirmando que las treinta normas son nece- sarias y suficientes para asegurar que las evaluaciones sean ttiles, factibles, precisas y validas. Se aconseja al lector que estudie en profundidad ese libro de Normas. En general, las Normas del Joint Committee aconsejan que los evaluadores y los clientes cooperen entre si para que las evaluaciones puedan cumplir estas cuatro condiciones principales: realizan.Introduccién a la evaluacién | 27 Una evaluacién debe ser stil. Debe estar dirigida a aquellas personas y grupos que estén relacionados con la tarea de realizar aquello que se estd evaluando o que sean sus mds directos responsables. Debe ayudarles a jdentificar y examinar lo bueno y lo malo de este objeto. Debe poner muchisimo énfasis en plantearles las cuestiones de mayor importancia. Debe proporcionarles informes claros de una manera oportuna. Y, en ge- neral, debe facilitar no sélo informaciones acerca de virtudes y defectos, sino también soluciones para mejorarlo todo. Debe ser factible. Debe emplear procedimientos evaluatives que puedan ser utilizados sin demasiados problemas, Debe tomar en consideracién y aplicar controles razonables sobre aquellas fuerzas politicas que puedan, de alguna manera, inmiscuirse en la evolucién, Y deben ser dirigidas de un modo eficiente. Debe ser ética. Debe estar basada en compromisos explicitos que aseguren la necesaria cooperacién, la proteccién de los derechos de las partes impli- cadas y la honradez de los resultados. Ademés, debe proporcionar un informe equitativo que revele todas las virtudes y defectos del objeto. Debe ser exacta. Debe describir con claridad el objeto en su evolucién y en su contexto, Debe revelar las virtudes y defectos del plan de evalua cin, de los procedimientos y de las conclusiones. Debe estar libre de in- fluencias. Y debe proporcionar unas conclusiones vélidas y fidedignas. TABLA 1-1. Resumen del texto «Standards for Evaluations of Educational Programs, Projects, and Materials» Al Normas de utilidad Las normas de utilidad estén concebidas para asegurar que una evaluacién proporcione las informaciones précticas que necesita una audiencia deter minada. Estas normas son: Descripcién de la audiencia La audiencia relacionada con Ia evaluacién o afectada por ella debe ser des- ctita con el fin de que todas sus necesidades puedan ser satisfechas. Credibilidad del evaluador Las personas que dirigen la evaluacién deben ser honradas y a Ia vez com- petentes para poder Ilevarla a cabo, con el fin de que sus conclusiones alcancen el méximo de credibilidad y aceptacién.28 | Evaluacién sistemética A3 A4 AS AG A7 Ag Bi Alcance y seleccién de la informacion La informacién recopilada debe tener el suficiente alcance y haber sido se. leccionada de tal manera como para incluir en si misma las cuestiones per. tinentes acerca del objeto de la evaluacién y responder a las necesidades ¢ intereses de audiencias concretas. Interpretacién valorativa Las perspectivas, procedimientos y bases légicas utilizadas para interpretar los resultados deben ser cuidadosamente descritas, con el fin de que queden claras las bases para el juicio valorativo. Claridad del informe E] informe de la evaluacién debe describir el objeto que se est4 evaluando y su contexto, a la vez que los propésitos, procedimientos y resultados de la evaluacién, con el fin de que las audiencias comprendan en seguida qué se ha hecho, cémo se ha hecho, qué tipo de informacién se ha obtenido, qué conclusiones se han sacado y qué recomendaciones se hacen. Difusién del informe Los resultados de la evaluacién deben ser dados a conocer a los clientes y a otras audiencias interesadas 0 adecuadas, para que puedan valorar y utilizar las conclusiones. Oportunidad del informe La difusién de los informes debe ser oportuna, con el fin de que las audien- cias puedan hacer el mejor uso posible de la informacién recopilada. Impacto de la evaluacién Las evaluaciones deben ser planificadas y dirigidas de manera que animen a la audiencia a continuar investigando por s{ misma. Normas de viabilidad Las normas de viabilidad estén concebidas para asegurar que una evaluacién sea realista, prudente, diplomdtica y moderada. Son éstas: Procedimientos practicos Los procedimientos evaluativos deben ser practicos, para que los problemas sean minimos y pueda obtenerse la informacién necesariaB2 B3 cl C2 C3 C4 Introduccl6n a la evaluaci6n | 29 Viabilidad politica La evaluacién debe ser planificada y dirigida conociendo las distintas pos- turas de los diferentes grupos de interés, con el fin de obtener su coopera- cién, y para que cualquier posible intento, por parte de alguno de estos grupos, de abreviar las operaciones evaluativas 0 de influir en los resulta- dos o utilizarlos, pueda ser prevenido o contrarrestado. Eficacia de los costes La evaluacién debe producir informacién con el valor suficiente como para justificar lo que ha costado. Normas de honradex Las normas de honradez estén concebidas para asegurar que una evaluacién sea realizada legal y éticamente, y, a la vez, con el debido respeto por el bienestar de todos los que intervienen en ella, asf como de aquellos que estén interesados en las conclusiones Obligacién formal Las obligaciones de las partes formales de una evaluacién (qué hay que hacer, cémo hacerlo, quién debe hacerlo y cudndo) deben ser plasmadas en un compromiso escrito, con el fin de que estas partes estén obligadas a cumplir todas las condiciones del compromiso 0 a renegociarlo formalmente. El conjlicto de intereses El conflicto de intereses, frecuentemente inevitable, debe ser afrontado abierta y honestamente, con el fin de que no interfiera en el ptoceso eva- luativo y sus resultados. Informes completos y claros Los informes orales 0 escritos de una evaluacién deben ser francos, directos y honestos en la revelacién de las conclusiones pertinentes, incluyendo las limitaciones de la evaluacién. El derecho del piblico a saber Las partes formales de una evaluacién deben respetar y asegurar el dere- cho del publico a saber, dentro de los limites de unos principios y estatutos determinados, como por ejemplo la seguridad del piblico y el derecho a Ja intimidad.30 | Evaluacién sistemética OS C5. Los derechos humanos Las evaluaciones deben ser preparadas y dirigidas de tal manera que sean respetados y protegidos los derechos y el bienestar de los seres humanos, C6 ~——- Relaciones humanas Los evaluadores deben respetar la dignidad y la integridad humanas en su trato con otras personas relacionadas con la evaluacién. C7 ~~ Informacién equilibrada La evaluacién debe ser completa y honrada en la presentacién de las virtu- des y defectos del objeto de la investigacién, para que las virtudes puedan ser mejoradas y los problemas solucionados. C8 = Responsabilidad fiscal La cuota del evaluador y los gastos efectuados deben reflejar los procedi- mientos econdémicos del trabajo y, por otra parte, ser prudentes y ética- mente responsables. D Normas de precision Las normas de precisi6n estén concebidas para asegurar que una evaluacién revele y transmita una informacién técnicamente exacta acerca de las ca- tacteristicas del objeto que est siendo estudiado, para poder determinar su valor o su mérito. Estas normas son: D1 —Identificacién del objeto El objeto de la evaluacién (programa, proyecto o material) debe ser exa- minado en profundidad, de manera que su(s) estructura(s) pueda(n) ser claramente identificada(s). D2 = Anélisis del contexto El contexto en el que est4 incluido el programa, proyecto o material debe set examinado en su mds minimo detalle, con el fin de identificar sus po sibles influencias sobre el objeto. D3 _——Deseripcién de intenciones y procedimientos Las intenciones y los procedimientos de la evaluacién deben ser concebi- dos y descritos con todo detalle, de manera que puedan ser identificados y valorados.Introduccién a la evaluacién | 31 D4 DS D6 D7 D8 D9 D10 Dil Fuentes de informacién fiables Las fuentes de informacién deben ser descritas con todo detalle, para que pueda valorarse si la informacién es suficiente. Determinar la validez Los instrumentos y procedimientos para la recopilacién de informacién deben ser escogidos 0 creados y Iuego utilizados de manera que aseguren que la interpretacién final es valida para su uso. Determinar la exactitud Los instrumentos y procedimientos para la recopilacién de informacién de- ben set escogidos 0 creados y luego utilizados de manera que aseguren que la informacién obtenida es lo suficientemente exacta para ser utilizada de- bidamente. Control sistemético de los datos Los datos recopilados, sistematizados y finalmente presentados en una eva- luacién deben ser revisados y corregidos, con el fin de que los resultados de Ia evaluacién no sean inexactos. Anilisis de la informacién cuantitativa La informacién cuantitativa de una evaluscién debe ser adecuada y siste- miticamente analizada con el fin de asegurar que las interpretaciones sean fidedignas. Andlisis de la informacién cualitativa La informacién cualitativa de una evaluacién debe ser adecuada y sistemé- ticamente analizada con el fin de asegurar que las interpretaciones sean fidedignas. Conclusiones justificadas Las conclusiones a las que se legue en una evaluacién deben ser explicita- mente justificadas, para que las audiencias puedan valorarlas. Objetividad del informe Los procedimientos de Ins evaluaciones deben proporcionar las garantias suficientes para proteger los resultados y los informes de la evaluacién con- tra la distorsidn de los sentimientos ¢ inclinaciones personales de cualquiera de las partes formales. Fuente: The Joint Comittee on Standards for Educational Evaluation, McGraw-Hill, 1981.32 | Evaluacién sistemética Las Normas del Joint Committee pueden aplicarse en cualquier etapa del proceso evaluativo: deben ser tenidas en cuenta, por ejemplo, a la hora de decidir si hay que realizar la evaluaci6n 0 no, a la hora de planear la evalua- cién y Ilevarla a cabo, al presentar los resultados y al aplicar las conclusiones. Por lo tanto, la utilizaci6n de las Normas no s6lo sirve para controlar la calidad de un informe ya terminado, sino también como asesoramiento duran- te la realizacién de la evaluacién. Un segundo punto que hay que tener en cuenta es que las distintas normas son mds o menos importantes en cada etapa de la evaluacién. Asi, quienes utilicen las normas deben estudiarlas y analizatlas comparativamente con el fin de poder aplicarlas juiciosamente en cada una de las etapas de Ja evaluacién, El resumen de las treinta normas presentado en la tabla 1-1 es un punto de partida, pero recomendamos al lector que consiga y estudie el texto completo. El trabajo del Joint Committee se ha basado en dos premisas basicas: que la evaluacién es una actividad humana tan esencial como inevitable, y que la evaluacién solvente debe proporcionar una comprensién mds amplia y una mejora de la educacién, Ademés, el comité se guid por la creencia de que una serie de normas concienzudamente elaboradas puede desempefiar un papel vital a la hora de mejorar la prdctica de la evaluacién educativa. En otras palabras: un papel metaevaluativo. Otro punto trascendental con respecto a las Normas del Joint Committee es que se trata de un documento vivo. Un comité permanente, formado por doce organizaciones y respaldado por el Centro de Evaluacién de la Universi- dad de Western Michigan, controla la utilizacién de las normas y carga con la responsabilidad de ponerlas al dia y perfeccionarlas periddicamente. El comité anima a los usuarios para que les proporcionen informacién basada en criticas y, especialmente, en los usos mas actuales de las normas. La historia‘ Ninguna introduccién a la evaluacién entendida como una practica profe- sional estard completa si no se presta la debida atencidén a la evolucidn histé- rica del tema. Cualquier profesién, para poder satisfacer las necesidades de sus clientes, debe evolucionar de acuerdo con los cambios de las necesidades sociales y teniendo en cuenta todos los avances tedricos y técnicos. A menos que los miembros de una profesién elaboren y sostengan una perspectiva histérica sobre su trabajo, probablemente seguirdn teniendo siempre una con- cepcién limitada de su funcién social, sin poder estimular la innovacién ni 1, Este apartado sobre la historia de la evaluacién est4 basado en un anflisis de George Madaus y Daniel Stufflebeam, que aparece resumido en George Manaus, Michael Scriven y Daniel SturFLEBEAM, Evaluation Models, Boston: Kluwer-Nijhoff, 1983.Introducci6n a la evaluacién | 33 contribuir a ella. Se dice a menudo que los que no conocen su propia historia estin condenados a repetirla. Nosotros facilitaremos Gnicamente un breve es- bozo histdrico con el fin de informar al lector sobre los acontecimientos més significativos ocurridos en el campo de la evaluacion, Nuestro anilisis histérico se basa en un trabajo clave de Ralph W. Tyler (véase unidad 3), que a menudo es considerado el padre de Ja evaluacién edu- cativa. Utilizando sus contribuciones iniciales como principal punto de refe- rencia, hemos establecido cinco periodos bésicos: 1) el perfodo pre-Tyler, que abarca hasta 1930; 2) la €poca tyleriana, que va desde 1930 hasta 1945; 3) la €poca de la «inocencia», desde 1946 hasta 1957; 4) la &poca del realismo, que cubre el perfodo 1958-1972; y 5) la &poca del profesionalismo, que in- cluye la evolucién experimentada desde 1973 hasta el presente. El periodo pre-tyleriano La evaluacidn sistematica no era desconocida antes de 1930, pero tampoco €ra un movimiento reconocible. E] hecho de evaluar individuos y programas aparecid, como minimo, en el afio 2000 a.C., cuando algunos oficiales chinos dirigieron unas investigaciones de los servicios civiles, y en el siglo v a.C., cuando Sécrates y otros maestros gtiegos utilizaron cuestionarios evaluativos como parte de su metodologia didéctica, En el siglo xtx, en Inglaterra, se utilizaron comisiones reales para evaluar los servicios publicos. En 1845, en los Estados Unidos, Horace Mann dirigié una evaluacién, basada en tests de rendimiento, para saber si las escuclas de Boston educaban bien a sus estu- diantes. Entre 1887 y 1898, Joseph Rice estudié los conocimientos en orto grafia de 33 000 estudiantes de un amplio sector escolar y sacé la conclusién de que la gran insistencia en la ensefianza de la ortograffa, que entonces estaba en boga, no habla producido avances sustanciales en el aprendizaje. Este es- tudio esté generalmente reconocido como la primera evaluacién formal sobre un programa educativo realizado en América. También en los ultimos afios del siglo pasado, empezé a crearse el movimiento para la acreditacién de insti. tuciones educativas y programas en los Estados Unidos; desde entonces, el Proceso de acreditacién se ha convertido en uno de los principales medios Para evaluar los servicios educativos. Una aproximacién ain mayor a la eva. luacién se produjo, en los primeros afios de este siglo, con la aparicién de los tests estandarizados, Este acontecimiento formaba parte de un gran esfuer- z0 que pretendia que a educacién fuera més eficiente para que un mavor numero de estudiantes pudiera utilizar los recursos entonces disponibles en las escuelas. EI breve resumen anterior viene a confirmar que la evaluacidn sistemdtica tiene una larga historia. Mientras que sélo muy recientemente se ha llegado 4 considerar la evaluacién como una practica profesional, buena parte del tra-34 | Evaluacl6n sistematica bajo evaluativo moderno continéa basdndose en ideas ¥ mala que ya se aplicaban hace mucho tiempo, como por ejemplo las encuestas, las comisio- nes, la acreditacin y Jas comparaciones experimentales de varios programas. La época tyleriana ada de los treinta, Ralph Tyler acufié el blicé una amplia y renovadora visién del do de alrededor de quince afios, desarro- odo que suponia una clara En los primeros afios de la déc término evaluacion educacional y pu curriculo * y la evaluaci6n. En un perio ; 1l6 sus intuiciones hasta que conformaron un mét alternativa a otras perspectivas. . La principal caracteristica de su método era que se centraba en unos obje- tivos claramente fijados. De hecho, definfa la evaluaci6n como algo que deter- mina si han sido alcanzados ciertos objetivos. Como consecuencia de esta de- finicién, los evaluadores debian ayudar a quienes elaboraban curriculos a cla- rificar el rendimiento de los estudiantes, que habia sido precisamente deter- minado a través de la realizacién de un curriculo. Los objetivos resultan- tes, referidos al rendimiento, proporcionaban entonces la base para elaborar un curriculo y un test de desarrollo. La elaboracién del curriculo queda- ba ast influida tanto por lo s contenidos que debian aprenderse como por la evolucién del rendimiento de los estudiantes. La tecno logia de los tests de desarrollo iba a servir de base para la elaboracién de tests relacionados con los objetivos, y también a Jos relacionados con Jas diferencias individuales y con las normas nacionales o del estado. Durante la década de los treinta, los Estados Unidos, como el resto del mundo, cayé en las profundidades de la Gran Depresién. Las escuelas, como otras instituciones publicas, se estancaron en una ausencia total de recursos y optimismo. Justo cuando Roosevelt intentaba con su New Deal sacar de este abismo a la economfa americana, John Dewey y algunos otros intentaron con- tribuir a que la educacién se convirtiera en un sistema dindmico e innovador, que a la vez se fuera renovando a sf mismo. Con el nombre de Educacién Progresiva, este movimiento teflejé la filosoffa del pragmatismo y empleé los jnstrumentos de la psicologfa conductista. : Tyler se vio metido de eno en este movimiento cuando le encargaron di- a la parte de investigacién del hoy famoso Eight-Year Study (SMITH y 1 2 ne ee eae engin? en treinta escuelas a lo largo de toda América El studio eral etaoe a. El estudio resulta notable por- * D «omit ' . general = Sean la palabra «curriculum» en inglés, utilizada en ‘a en tor! ivi plan de estudios, hemos preferido conservarla, una vee a a docente y no sélo Ja obra. [T.] . castellanizada, a lo largo de todaIntroduccién a la evaluacién | 35 que ayudé a Tyler a difundir, ensayar y demostrar su concepcién de la eva- luacién educacional de una manera inmediata. A través de este programa de 4mbito nacional él veia como un método que tenia claras v momento en que la evaluacién los resultados y los objetivos, y; ticas comparaciones entre grup todo se centra en determinar el indirectos que determinan facto: de libros que hay en la bibliote nidad, Y ademés, las evaluaci por la fiabilidad de las difere alumnos ya que generalmen exégenas que las cubiertas fueron bien recibidos por e de los afios 40 Ralph Tyler para ejercer una gran influen veinticinco aiios, , Tyler pudo publicar lo que entajas sobre los demds. Desde el tyleriana incluta comparaciones internas entre @ no necesitaba recurrir a costosas y problemé- jos de control y grupos experimentales. El mé- gtado de éxito, por lo que se opone a métodos res como la calidad de Ja ensefianza, el mimero ca, los materiales y la participacién de la comu- Ones tylerianas no se ven demasiado afectadas ncias entre las puntuaciones individuales de los te cubren una franja més amplia de variables por los tests tipificados, Todos estos argumentos 1 sector de la educacién americana, y a mediados ya habia conseguido la categoria suficiente como cia sobre el panorama educacional en los préximos La 6poca de la «inocencia» Para la sociedad americana, los tltimos afios 40 y la década de los 50 fue un tiempo para olvidar la guerra, dejar atrds la Depresién, crear y desa- rrollar aptitudes, adquirir recursos, y lograr disfrutar de la «buena vida». Podriamos haber calificado esta €poca como el perfodo de expansion, pero hay que tener en cuenta que también existia una amplia complacencia a la hora de enjuiciar los graves problemas de aquella sociedad. Como consecuencia, cteemos que es mejor referirnos a esta época como al Perfodo de «inocencia» 0 incluso de la irresponsabilidad social. Ademés de ser una época de plenitud, este perfodo fue un tiempo de po- breza y desesperacién en las ciudades del interior y en las dreas turales, pero al parecer casi nadie, excepto los afectados, se dio cuenta. Fue un perfodo de profundos prejuicios raciales y de segregacién, pero gran parte de la poblacién blanca parecia inconsciente de esta enfermedad, Fue un periodo de exorbi- tado consumo y de gran despilfarro de los Tecursos naturales, sin tener en cuenta que un dfa estos recursos iban a agotarse. Fue un perfodo de un abru- mador desarrollo de la industria y la capacidad militar, pero se tomaron muy Pocas precauciones contra los perjuicios que iban a sufrir el paisaje y las fu- turas generaciones. Mas que de la evaluacién educacion ofertas educacionales, del personal y de | edificios. Aparecieron nuevos tipos de al, se traté de una expansién de las las facilidades, Se construyeron nuevos instituciones educativas, como los co-Introduccién a la evaluaci6n | 35 que ayudé a Tyler a difundir, ensayar y demostrar su concepcién de la eva- luacién educacional de una manera inmediata. A través de este programa de 4mbito nacional, Tyler pudo publicar lo que él veia como un método que tenia claras ventajas sobre los demas. Desde el momento en que la evaluacién tyleriana incluia comparaciones internas entre los resultados y los objetivos, ya no necesitaba recurrir a costosas y problemé- ticas comparaciones entre grupos de control y grupos experimentales. E] mé- todo se centra en determinar el grado de éxito, por lo que se opone a métodos indirectos que determinan factores como la calidad de la ensefianza, el numero de libros que hay en la biblioteca, los materiales y la participacién de la comu- nidad. Y ademas, las evaluaciones tylerianas no se ven demasiado afectadas por la fiabilidad de las diferencias entre las puntuaciones individuales de los alumnos ya que generalmente cubren una franja més amplia de variables exdégenas que las cubiertas por los tests tipificados, Todos estos argumentos fueron bien recibidos por el sector de la educacién americana, y a mediados de los afios 40 Ralph Tyler ya habfa conseguido la categoria suficiente como para ejercer una gran influencia sobre el panorama educacional en los préximos veinticinco afios. La 6poca de la «inocencia» Para la sociedad americana, los tiltimos afios 40 y la década de los 50 fue un tiempo para olvidar la guerra, dejar atrés la Depresién, crear y desa- rrollar aptitudes, adquirir recursos, y lograr disfrutar de la «buena vida». Podriamos haber calificado esta época como el perfodo de expansién, pero hay que tener en cuenta que también existia una amplia complacencia a la hora de enjuiciar los graves problemas de aquella sociedad. Como consecuencia, creemos que es mejor referirnos a esta época como al Perfodo de «inocencia» o incluso de Ia irresponsabilidad social. Ademés de ser una época de plenitud, este perfodo fue un tiempo de po- breza y desesperacidn en las ciudades del interior y en las dreas rurales, pero al parecer casi nadie, excepto los afectados, se dio cuenta. Fue un perfodo de profundos prejuicios raciales y de segregacién, pero gran parte de la poblacién blanca parecia inconsciente de esta enfermedad. Fue un perfodo de exorbi- tado consumo y de gran despilfarro de los recursos naturales, sin tener en cuenta que un dfa estos recursos iban a agotarse. Fue un perfodo de un abru- mador desarrollo de Ja industria y la capacidad militar, pero se tomaron muy pocas precauciones contra los perjuicios que iban a sufrir el paisaje y las fu- turas generaciones. Mas que de la evaluacién educacional, se traté de una expansidn de las ofertas educacionales, del personal y de las facilidades. Se construyeron nuevos edificios. Aparecieron nuevos tipos de instituciones educativas, como los co-36 | Evaluacién sistemética legios comunitarios. Los pequefios distritos escolares se unieron a otros con el fin de proporcionar un mas amplio abanico de servicios educativos, como ya lo hacian los sistemas escolares mds grandes, incluyendo servicios para la salud mental y fisica, consejos escolares, comedores, ensefianzas musicales, amplios programas deportivos, educacién comercial y técnica y educacién social. Se incrementaron desmesuradamente las inscripciones en los programas educati- vos para maestros y, en general, las inscripciones en los colegios aumentaron espectacularmente. Este panorama general de la sociedad y la educacién se reflejé también en la evaluacién educacional, Mientras se producia esta gran expansién de la edu- cacién, la sociedad no parecia tener un gran interés en formar profesores com- petentes, en localizar y solucionar las necesidades de los menos privilegiados o en identificar y solucionar los problemas del sistema educativo, Los educa- dores escribian sobre la evaluacién y sobre la recopilacién de los datos més importantes, pero, al parecer, no traducian estos esfuerzos en intentos de me- jorar los servicios educativos. Esta falta de objetivos provocé también el retra- so de los aspectos técnicos de la evaluacién. Hubo un considerable desarrollo de los instrumentos y estrategias aplicables a los distintos métodos evaluativos, como los tests, la «experimentacién comparativa» y la «coincidencia entre re- sultados y objetivos». Como consecuencia, los educadores dispusieron de nue- vos servicios de tests y de nuevas maneras de calificarlos, de algoritmos para designar objetivos de comportamiento, de taxonomias de objetivos, de nuevos modelos experimentales y de nuevos procedimientos estadisticos para analizar los datos educativos. Pero estas contribuciones no se derivaban de un anilisis de la informacién necesaria para valorar y perfeccionar la educacién, ni repre- sentaban un desarrollo de la experiencia escolar. Durante este perfodo, las evaluaciones educacionales dependian, como ya lo habian hecho antes, sobre todo, de los limites de los distritos escolares locales. Las escuelas, pues, dependian del interés y la habilidad locales para poder hacer o no una evaluacién. Las agencias federales y estatales atin no estaban demasiado introducidas en el campo de la evaluacién de programas. Los fondos destinados a las evaluaciones provenian de las arcas locales, de fundaciones o de organizaciones profesionales. Esta ausencia de ayudas exteriores y de apoyos para la realizacién de evaluaciones en todos los niveles de la educacién iba a concluir con la llegada del préximo perfodo de la historia de la evaluacién. La época del realismo La época de la inocencia en la evaluacién tuvo un brusco final con el auge, a finales de los afios 50 y principios de los 60, de las evaluaciones de proyectos de curriculos a gran escala, financiadas por estamentos federales. Los educa- dores se encontraron, durante este periodo, con que ya no podian hacer o noIntroducclén a la evaluacién | 37 hacer las evaluaciones a su antojo, y que los futuros progresos de las metodo- logias evaluativas deberian estar relacionados con conceptos como utilidad y relevancia. Su violento despertar, en este periodo, marcé el final de una era de complacencia y ayudé a emprender profundos cambios, guiados por el in- terés publico y dependiendo del dinero de los contribuyentes para su financia- cién, lo cual condujo a que la evaluacién se convirtiera en una industria y en una profesién. Como consecuencia del lanzamiento, por parte de la Unidn Soviética, del Sputnik I en 1957, el gobierno federal respondié promulgando la National Defense Education Act de 1958, Entre otras cosas, esta acta proporcioné nue- vos programas educativos en matematicas, ciencias e idiomas, y creé servicios asesores y programas de encuestas en los distritos escolares. Aparecieron, asi, un cierto ntimero de nuevos proyectos nacionales para el desarrollo de curricu- Jos, especialmente en las areas de ciencias y matemdticas. Finalmente, se asig- naron fondos para evaluar estos programas. Los cuatro métodos evaluativos expuestos hasta aqui estaban ya represen- tados en Jas evaluaciones que se realizaron en este periodo. Primero, el mé- todo ‘Tyler fue usado para definir los objetivos de los nuevos curriculos y para valorar el grado en que estos objetivos quedaban, més tarde, alcanzados. Segundo, los nuevos tests estandarizados a nivel nacional sirvieron para refle- jar mejor los objetivos y los contenidos de los nuevos curriculos. Tercero, el método del criterio profesional fue usado para valorar las propuestas y veri- ficar periddicamente los resultados. Finalmente, muchos evaluadores se compro- metieron a evaluar los resultados del desarrollo del curriculo a través de prue- bas concretas. A principios de los afios 60, algunos de los més importantes evaluadores educacionales se dieron cuenta de que su trabajo y sus conclusiones no ayuda- ban demasiado a los que elaboraban curriculos, y no respondian a las pregun- tas sobre los programas que planteaban aquellos que necesitaban comprobar su grado de efectividad. La «flor y nata» de la comunidad evaluativa educacio- nal participé en estos esfuerzos para evaluar los nuevos curriculos; estaban adecuadamente financiados y aplicaban cuidadosamente la tecnologia que habia ido desarrollandose durante la pasada década o incluso antes. A pesar de todo esto, empezaron a darse cuenta de que sus esfuerzos no tenian éxito. Esta valoracién negativa quedé perfectamente reflejada en un histérico ar- ticulo de CRONBACH (1963: véase unidad 5). Examinando los esfuerzos eva- luativos del pasado reciente, criticé duramente los conceptos en los que se habfan basado las evaluaciones por su falta de relevancia y utilidad, y acon- sej6 a los evaluadores que abandonaran sus inclinaciones de entonces y se dedicaran a hacer evaluaciones basadas en comparaciones de los resultados obtenidos en tests tipificados, realizados por grupos experimentales y de con- trol, Cronbach recomendé a los evaluadores que reconceptualizaran la evalua- cidén no como si se tratara de una carrera de caballos entre programas compe-38 | Evaluacién sistemética tidores, sino como un proceso consistente en recoger y formalizar informacién que pueda ayudar a quienes elaboran los curriculos. Cronbach argiifa que ¢| anélisis y la relacién de los resultados de un test podrian ser, probablemente, de més utilidad para los profesores que informarles sobre el promedio del total de las calificaciones. Cuando fue publicado por primera vez, el consejo de Cronbach y sus recomendaciones pasaron inadvertidos durante mucho tiempo, exceptuando un pequefio circulo de especialistas en evaluaciones, De cualquier manera, el articulo era basico y contenia hipdtesis sobre la concep- tualizacién y la direccién de evaluaciones que iban a considerarse totalmente validas al cabo de muy pocos ajios. En 1965, conducida por la clarividencia del senador Hubert Humphrey, el carismatico liderazgo del presidente John Kennedy y la gran habilidad politica del presidente Lyndon Johnson, se desencadenéd la Guerra contra la Pobreza. Estos programas invirtieron billones de délares en reformas que pretendian igualar y aumentar las oportunidades para todos los ciudadanos de los Estados Unidos a través de una amplia serie de servicios sanitarios, sociales y educa- tivos. La expansién de la economfa permitid que el gobierno federal finan- ciara estos programas, y se consiguié un gran apoyo de toda la nacién para desarrollar lo que el presidente Johnson Ilamé la Gran Sociedad. Junto a este esfuerzo masivo para ayudar a los necesitados, se produjo, en ciertas regiones, una cierta preocupacién por el posible despilfarro de las inversiones si no se exigian algunos requisitos en la contabilidad. En respuesta a estas preocupaciones, el senador Robert Kennedy y algunos de sus colegas del congreso promulgaron el Acta de la Educacién Elemental y Secundaria de 1965 que inclufa requisitos especificos para la evaluacién. Como resultado, el primer articulo de esa acta (que aspiraba a proporcionar una educacién com- pensatoria a los nifios menos favorecidos) exigia especificamente que cada dis- trito escolar recibiera fondos, basdndose en ese articulo, para que evaluara anualmente hasta qué punto los proyectos que habfa realizado al amparo del articulo I habfan alcanzado sus objetivos, todo ello utilizando los datos de tests debidamente estandarizados. Este requisito, con su referencia especifica a las encuestas y a la valoracién de la congruencia entre resultados y objetivos, tefleja cémo se encontraba la evaluacién educacional en aquella época. Y, lo que es m4s importante, el requisito obligé a los educadores a que trasladaran sus preocupaciones, en lo que se refiere a la evaluacién educacional, desde el campo de la teoria y las suposiciones al de la préctica y el perfecciona- miento. Cuando los distritos escolares empezaron a responder a los requisitos eva- luativos del articulo I, comprobaron répidamente que los instrumentos y estra- tegias que empleaban entonces los evaluadores, resultaban totalmente inapro- piados para aquel trabajo. Los tests estandarizados que se habian elaborado con el fin de determinar el promedio del grado de conocimientos de los estu- diantes no sirvieron para casi nada cuando hubo que diagnosticar las necesi-Introduccién a la evaluacién | 39 dades y valorar los avances de los nifios menos favorecidos, cuyo desarrollo educativo se encontraba muy por detrés del de sus compafieros de clase media. Ademés, dichos tests eran relativamente inadecuados para discernir las dife- rencias entre escuelas y/o programas, principalmente a causa de sus propie- dades psicométricas y el alcance de sus contenidos, En lugar de determinar los resultados directamente relacionados con una escuela o un programa en con- creto, estos tests determinaban, en el mejor de los casos, el grado de aprendi- zaje, centrindose casi en los mismos rasgos que los tests de aptitudes (KELLA- GHAN, Mapaus y Arrastan, 1980). La utilizacién de tests estandarizados planted otro problema: un método de evaluacién como éste se oponia a los preceptos del método tyleriano. Desde el momento en que Tyler reconocia y enfatizaba las diferencias entre los ob- jetivos de un lugar u otro, a este modelo le resultaria dificil adaptar a todo el dmbito nacional sus programas de tests estandarizados. Para ser comercial- mente viables, estos programas regularizados debfan olvidar ciertos objetivos bastante extendidos © importantes para ciertos lugares, en favor de otros que eran importantes para la mayoria de los distritos. Es més, habfa una escasez de informacién acerca de las necesidades y niveles de éxito de los nifios menos afortunados, Jo cual limitaba a los profesores a la hora de fijar objetivos de comportamiento que fueran significativos para este grupo de alumnos. Los intentos de aislar los efectos del articulo I a través de la utilizacién de planes establecidos por grupos de control o experimentales fallaron, debido, principalmente, a la incapacidad de cumplir los requisitos de estos planes. Y las inspecciones in situ realizadas por expertos —aunque fueron muy uti zadas por responsables gubernamentales— no resultaron aceptables como pri- mera estrategia evaluativa porque se consideré que este método estaba falto de la «objetividad» y el «rigor» estipulados en Ja legislacién de la ESEA. Cuando se informaba de que no se habfa llegado a ninguna conclusién, lo cual ocurria frecuentemente, se daba muy poca informacién acerca de los procedimientos empleados y, a menudo, no se proporcionaban datos sobre cémo se habjan llevado a cabo. Frecuentemente, el énfasis puesto en las puntuaciones de los tests desviaba la atencién del examen de los procedimientos o de su ejecucién. Como resultado de la creciente inquietud producida por los esfuerzos rea- lizados en las evaluaciones con resultados siempre negativos, el Phi Delta Kappa creé el National Study Committee on Evaluation (STUFFLEBEAM y otros, 1971). Tras examinar el panorama, este comité concluyé que la evaluacién edu- cacional «era victima de una grave enfermedad» y recomendé el desarrollo de nuevas teorias y métodos de evaluacién, asi como nuevos programds para pre- parar a los propios evaluadores. Al mismo tiempo, empezaron a aparecer nue- vas conceptualizaciones sobre la evaluacién. Provus (1971), HAMMOND (1967), Eisner (1967) y MErFESsEL y MICHAEL (1967) propusieron una reforma del modelo Tyler. Guaser (1963), TYLER (1967) y PopHam (1971) recomen-40 | Evaluaci6n sistemética daron los tests basados en critetios como una alternativa a los tests basad normas. Cook (1966) pidié la utilizacién del método de andlisis siste os en para la evaluacién de programas. ScRIVEN (1967), STUFFLEBEAM (1967 ee y STAKE (1967) crearon nuevos modelos de evaluacién que se alefabas wail calmente de los métodos anteriores, Estas conceptualizaciones Teconocfan ; necesidad de evaluar las metas, examinar las inversiones, y analizar el pe fee cionamiento y la prestacién de los servicios, asi como determinar los resultados que se desean (0 no se desean) obtener del programa, También insistieron en la necesidad de enjuiciar el mérito o el valor del objeto de la evaluacién, Los tiltimos afios de la década de los 60 y los primeros de la de los 70 vibraron con las descripciones, discusiones y debates acerca de cémo debfa ser conce- bida la evaluacion, Las unidades que siguen tratan en profundidad los métodos alternativos que empezaron a tomar forma en este periodo. La 6poca del profesionalismo Aproximadamente en 1973, el campo de la evaluacién empezé a cristalizar y a emerger como una profesién diferenciada de las demés, relacionada con (pero también distinta de) sus antecedentes de investigacién y control. El campo de la evaluacién ha avanzado considerablemente como profesién, aun- que es instructivo considerar su desarrollo en el contexto del periodo anterior. En aquellos momentos, como ya hemos explicado, los evaluadotes se en- frentaban a una crisis de identidad. No sabfan muy bien cudl era su papel, si debian ser investigadores, administradores de tests, profesores, organizado- res o fildsofos. Cualquier calificacién especial que se les pudiera dar no resul- tarfa clara. No existian organizaciones profesionales dedicadas a la evaluacién entendida como especialidad, ni tampoco publicaciones especializadas a través de las cuales los evaluadores pudieran intercambiar informacién acerca de su trabajo. Esencialmente, no existia literatura acerca de la evaluacién educacio nal, excepto trabajos inéditos que circulaban tinicamente entre circulos de es- pecialistas. Habia muy pocas oportunidades de prepararse para ejercer Up servicio evaluativo. Las normas claras para una buena prictica se velan con- finadas a las encuestas educacionales y psicolégicas. El campo de la evaluacion era amorfo y fragmentado. Muchas evaluaciones estaban dirigidas por personal sin preparacién, otras por investigadores metodoldgicos que intentaban sin éxito adaptar sus métodos a las evaluaciones educativas (GusA, 1966) Tae estudios evaluativos estaban cargados de confusién, ansiedad y hostilidad ta evaluacién educacional como especialidad tenia poca talla y ninguna dimension politica, Con este telén de fondo, el progreso realizado por los evaluador cionales para profesionalizar su especialidad durante los afios 70 es ! te destacable. Algunas publicaciones, como Educational Evaluation a" es educa- otalmen- Policy —Introduccion a la evaluacién | 41 Analysis, Studies in Evaluation, CEDR Quarterly, Evaluation Review, New Directions for Program Evaluation, Evaluation and Program Planning y Eva- Iwation News, aparecieron en aquella época, y luego han demostrado set ex- celentes vehiculos para recoger y difundir informacién acerca de las diversas facetas de la evaluacién educacional, A diferencia de lo que ocurria quince afios atras, numerosos libros y monografias tratan ahora exclusivamente de la evalua- cién. De hecho, el problema actual no es encontrar literatura sobre la eva- luacién, sino seguir el ritmo de lo que se publica. El grupo May 12, la Division H de AERA, la Evaluation Network y la Evaluation Research Society han pro- porcionado excelentes oportunidades para que pueda establecerse un inter- cambio profesional entre personas relacionadas con la evaluacién y otros pro- gramas. Muchas universidades han empezado a ofrecer por lo menos un curso de metodologia evaluativa (distinguiéndola de la metodologia investigativa). Unas pocas —como la Universidad de Illinois, la Universidad de Stanford, el Boston College, la UCLA, la Universidad de Minnesota y la Universidad de Western Michigan— han elaborado programas para graduarse en evaluacin. Durante siete afios, la Oficina de Educacién de los Estados Unidos patrociné un programa nacional de preparacién para el servicio evaluativo destinado a educadores especiales (BRINKERHOFF y otros, 1983), y otras organizaciones profesionales han ofrecido talleres ¢ institutos que tratan distintos temas rela- cionados con la evaluacién. Se han fundado centros para la investigacién y el desarrollo de la evaluacién, entre los que se encuentran la unidad de evaluaci6n del Northwest Regional Educational Laboratory, el Center for the Study of Evaluation de la UCLA, el Stanford Evaluation Consortium, el Cen- ter for Instructional Research and Curriculum Evaluation de la Universidad de Illinois, el Evaluation Center de la Universidad de Western Michigan y el Center for the Study of Testing, Evaluation, and Educational Policy del Boston College. El estado de Louisiana ha establecido un sistema y un pro- grama para la titulaci6n de evaluadores, Massachusetts est trabajando actual- mente en un programa evaluativo similar y Dick JoHNsON (1980) ha elabo- rado un primer borrador de una guia telefdnica de evaluadores y agencias de evaluacién. De un modo creciente, la especialidad esté considerando la metaevaluacién (Scriven, 1975; STUFFLEBEAM, 1978) como un medio para asegurar y compro- bar la calidad de las evaluaciones. Como ya se ha indicado, un comité (Joint Committee, 1981), formado por doce organizaciones profesionales, ha publi- cado una clarificadora serie de normas para juzgar las evaluaciones de los pro- gramas educativos, proyectos y materiales, y ha establecido un mecanismo (Joint Committee, 1981) para repasar y revisar las Normas y facilitar su uso. Ademés, se han publicado muchos otros grupos de normas importantes para la evaluacién educacional (Evaluation News, mayo de 1981). Y han aparecido muchas técnicas nuevas, tal y como se describe a lo largo de este libro.42 | Evaluacién sistemative Fste considerable desarrollo profesional de la evaluacién educacional h producido diversos resultados. Primero, al producirse un indudable aum a y mejora de la comunicacién en la especialidad, ha aparecido también ‘he enorme cantidad de «chécharay (CRONBACH, 1980). Segundo, aunque la e paracién y titulacién de evaluadores ha mejorado con el fin de que las fine ciones puedan disponer de servicios realizados por petsonas cualificadas, al. gunos lamentan que este desarrollo pueda reducirse a una especie de club cerrado y exclusivista (STAKE, 1981). Tercero, la cooperacién entre organiza. ciones profesionales relacionadas con la evaluacién educacional, promovida por el Joint Committee on Standards for Educational Evaluation, es un pro- metedor pero frégil compromiso para fomentar ia ejecucién y utilizacién de trabajos evaluativos de alta calidad, Cuarto, mientras la creacién de nuevas organizaciones profesionales ha incrementado la comunicacién y reducido la fragmentacién de la especialidad evaluativa, atin persiste una profunda divi- sién entre la Division H de AERA, la Evaluation Network y la Evaluation Research Society. Finalmente, aunque se ha incrementado la comunicacién entre los partidarios de los métodos positivistas/cuantitativos y los que proponen métodos fenomenoldgicos/cualitativos, existe, actualmente, el peligro de que se produzca una polarizacién entre estos dos campos. A pesar de la creciente bisqueda de métodos adecuados, del incremento de la comunicacién y el entendimiento entre los principales tedricos, y del desa- rrollo de nuevas técnicas, la prdctica actual de la evaluacién ha cambiado muy poco en la mayoria de los casos. Est4 claro que es necesario renovat los es- fuerzos para educar a los evaluadores en Jas nuevas técnicas, para poner a prueba e informar de los resultados conseguidos mediante estas nuevas téc- nicas y para desarrollar técnicas adicionales. En todos estos esfuerzos, debe ponerse el énfasis en conseguir que la metodologia responda a las necesidades de los profesionales y de aquellos a quienes sirven. Hemos presentado la evaluacién educacional como u ca y atin en desarrollo. Aunque se trata de una profesién hay duda de que poco a poco se va convirtiendo en una parte identificable del amplio aparato profesional y gubernamental de educacién, salud y bienestar. La prediccién que se solfa hacer en los afios 60, en el sentido de que Ja eva: luacién de programas formalizada era sélo una moda que pronto desapareceria, ha demostrado ser falsa, y hay fuertes indicios de que esta especialidad con- tinuaré creciendo en importancia, complejidad y valor. Los logros alcanzados desde el final de la década de los sesenta son importantes, pero ain existe? muchas deficiencias obvias y son necesarias una investigaci6n y evolucién constantes, na profesién dindmi- avin inmadura, 00Introducclén a la evaluacién | 43 Reparto de papeles en el trabajo evaluativo Hasta aqui hemos presentado y discutido una definicién bdsica de la evaluacién, descrito algunos de los métodos relacionados con el trabajo eva- luativo, sefialado las normas de esta profesién y proporcionado un panorama histérico. Hecho esto, concluiremos echando un vistazo a los papeles que se desempefian en una evaluacién. Tanto si una evaluacién es dirigida por una persona como si lo es por muchas, deben desempefiarse unos cuantos papeles, y cuando se considera el trabajo relacionado con apoyar y promover la evaluacién como profesién, este abanico de papeles se convierte en mucho més amplio. Todos los que estén relacionados con la evaluacién, ya sea en general o como especialistas, deben tener una amplia visién de todos estos papeles con el fin de que su participa- cién y su colaboracién se integren en la labor de equipo. Quiz4 nada sea tan destructivo con respecto a la potencial contribucién en una evaluacién como el hecho de pensar que esa evaluacién es una investigacién independiente reali- zada por un solo investigador. Por el contrario, la evaluacién alcanza su mejor momento cuando se desarrolla como un trabajo de equipo. Con la intencién de proporcionar un amplio panorama del trabajo relacio- nado con las evaluaciones individuales y con la profesién evaluativa en ge- neral, hemos descrito doce papeles basicos. Aunque otros autores describan un panorama distinto y le asignen funciones diferentes, nosotros creemos que nuestra clasificacién de papeles abarca muchas, si no todas, de las responsabili- dades laborales que los evaluadores pueden llevar a cabo. Es més, en nuestra experiencia, esos doce papeles se han asociado con la actual distribucién del trabajo. Desde luego, no siempre existe una correspondencia un{voca entre papel y trabajo, pero creemos que esos doce papeles pueden resultar utiles para el lector, no sélo para que reflexione sobre la amplia serie de actividades evaluativas existentes, sino también para que tenga en cuenta los posibles estudios que se pueden realizar en torno a la evaluacién. Lo que sigue, pues, son unas breves definiciones de los doce papeles bdsicos que pueden desempe- fiarse en una evaluacién. El cliente de la evaluacién Cualquier evaluacién de utilidad implica la plena participaci6n de un cliente. Esto es cierto tanto si el estudio est4 dirigido por una persona para servir a sus propios propésitos como si lo esté por muchas. El cliente es la persona o grupo que utilizard los resultados para algtin propésito, como la seleccién o el perfeccionamiento de un programa. El grupo de los clientes incluye tanto a quien haya encargado la evaluacién, en primer lugar, como a44 | Evaluaci6n sistematica an los resultados para hacer uso de ellos. De una Jos recursos requeridos para una evaluacién son pro- mds personas pertenecientes a un grupo de clientes. Los clientes son, también, el origen a de las uestiones pla teadas y de los criterios empleados para interpretar resu ta los; tam! én tienen la responsabilidad primordial de aplicar as conc! oslo a menudo, una evaluacién no puede realizarse si el cliente no lo dispone todo con mucho cuidado y trata de asegurar de que existird una plena cooperacién entre todos los que intervienen en el trabajo. Puede encontrarse una gran vai todos aquellos que esper forma u otra, el tiempo ¥ porcionados por el cliente 0 por una 0 tiedad de clientes en las organizaciones edu- cativas, sociales y de la salud. Esto incluye, por ejemplo, inspectores de dis- tritos escolares, administtadores hospitalarios y directores de agencias; direc- tores de colegios, presidentes de departamento y administradores de becas; y maestros, psicdlogos y médicos. Si Ja evaluacién consiste en contribuir al maxi mo a la hora de proporcionar servicios meritorios y vlidos a la gente,"deberén intervenir y aprovecharse toda esta serie de clientes. Ademds, creemos que deben estar activamente comprometidos en el encargo y la planificacién de las evaluaciones, con el fin de obtener la informacién que necesitan para hacer bien sus trabajos. Por Jo tanto, para satisfacer estas expectativas, deben estar adecuadamente preparados, tanto como todas aquellas personas que van a realizar los otros once papeles, Queremos subrayar que, quizd, la misién més importante de los programas de preparacién para una evaluacién —tanto para antes del servicio como para su realizaci6n— es ensefiar a los clientes de la evaluacién a cumplir con sus responsabilidades. Si no tienen un concepto s6- ido de la evaluacién, probablemente no intervendrdn en ella, se mostrardn pa- sivos, no sabrén utilizarla para conseguir sus propésitos y/o considerardn que los resultados tienen poco interés, En cambio, los clientes entendidos pueden ayudar @ asegurar que la evaluacién sea un instrumento util y poderoso para garantizar la calidad de los servicios profesionales. El disefiador de la evaluacién U ds i ‘: ds Une de Jos aspectos més fascinantes del trabajo evaluativo es que se trata ° Yak empresa creative Disefiar una evaluacién para satisfacer la demanda tinktio,, Ei cién de un cliente es algo mas que un proceso mecdnicamente ru- ae sees pee tesponsabilidades, debe conceptualizar las cuestiones que datos yon plan deantt cl Panorama politico, trazar una recopilacién de andlisis, idear los informes y el proceso informativo, en- Te . = empleadas ls normas profesiondes en y Gplesints, cba debs at . i¢ Ja evaluacidn. P; este complejo e: oa cién, Para solucionar todo Pisio entramado de decisiones de planificacién, no bastan modelosIntroduccl6n a la evaluaci6n | 45 de otras evaluaciones o planes ya publicados. Por el contrario, el disefio tipico de una evaluacién consiste en un continuo proceso conceptual. Para disefiar una buena evaluacién, se debe ser un observador sensible de los ambientes sociales, saber entrevistar y escuchar, y estudiar con volun- tad y capacidad lo esencial del programa que va a ser examinado, El evaluador debe ser también experto en un amplio campo de técnicas comunicativas y de encuestas, y capaz de reunir las distintas piezas de las premisas y la infor- macién en planes de trabajo que sean prdcticos, coherentes y que sirvan como guias racionales. Debemos considerar el papel del disefiador de la evaluaci6n como el més importante del trabajo evaluativo, junto con el del cliente. Aquellos que se convierten en expertos en disefio evaluativo, a menudo trabajan todo el tiempo como evaluadores y estén muy solicitados como asesores para ayudar a los clientes de una evaluacién a planificar y encargar los estudios evaluativos. Las conceptualizaciones generales sobre la evaluacién presentadas en las unidades 3 a 10 proporcionan un importantisimo material de estudio a todos aquellos que deseen adquirir mayor facilidad para conceptualizar planes de evaluacién, Ademds de estudiar las contribuciones creativas de otros, subra- yamos que el desarrollo de la capacidad para disefiar evaluaciones requiere practica: se necesita haber participado en la planificacién de muchas evalua- ciones, Creemos que esta practica debe incluir algtin trabajo individual con un cliente. Ademas, se puede aprender mucho colaborando con grupos encat- gados del disefio de evaluaciones. Igualmente, el estudio de un gran numero de disefios evaluativos preparados por otros proporciona muchos buenos ejemplos e intuiciones acerca de esta compleja drea de trabajo. Creemos que estos programas de preparacién para evaluaciones deben incluir ejercicios y otras formas de gufas practicas para la planificacién de evaluaciones. El coordinador de Ja evaluacion Muchas evaluaciones requieren los esfuerzos de varios participantes, y la utilizaci6n de considerables recursos y servicios para multiples clientes. Por lo tanto, se hace necesario coordinar de un modo eficaz todo este trabajo. Esta necesidad se amplia cuando una determinada agencia tiene en preparacién varios proyectos de evaluacién distintos. No es sorprendente, por lo tanto, que la profesién incluya muchos trabajos evaluativos con nombres como ayu- dante del supervisor de la evaluacién, coordinador de proyectos evaluativos, director del departamento de evaluacién o director de personal del proyecto de evaluacién. Este papel implica que las personas especializadas en evaluaciones deben también prepararse para funciones administrativas, y también que aquellos a quienes se les asigne un trabajo administrativo relacionado con la evaluacién46 | Evaluacion sistematica eer o adquirir conocimientos basicos sobre la planificacién de eva- luaciones. Finalmente, creemos que las mds importantes instituciones educa- tivas, sanitarias y sociales, deben a menudo dirigir sus esfuerzos hacia la crea- cién de grupos administrativos competentes. deben pos' Asistentes de /a evaluacion Frecuentemente, uno de los papeles més importantes —a menudo indepen- dientes— de la evaluacién es el del asistente. Este papel supone contactos periédicos con los clientes, revisiones de los documentos del programa, inspec- ciones de las actividades del programa, hacer entrevistas y tecoger otro tipo de informaciones acerca de Jas partes, redactar informes y asumir la princi- pal responsabilidad a la hora de presentar los informes. A veces, el asistente es el encargado de realizar la planificacién del estudio completo. En otros casos, él o ella tiene una responsabilidad menor. Pero siempre estard encar- gado de colaborar con el personal del programa y de cooperar en la realizacién de la planificacién del estudio. Para desempefiar el papel de asistente se requieren tanto habilidad técni- ca como capacidad para las relaciones humanas. Ademés, las personas asigna- das a este puesto deben poseer o ser capaces de desarrollar una gran credibi- lidad ante los clientes y ante todos aquellos que participan en la realizacién del programa. Respondentes de la evaluacién : Se trata de un papel al que demasiado a menudo no se le concede mucha importancia, Son las personas que rellenan los formularios, responden a los tests, contestan a las entrevistas y permiten que les observen en su trabajo. En muchos casos, la calidad de la informacién obtenida depende casi por completo de su buena voluntad para cooperar y dar lo mejor de sf mismos. Es improbable que realicen cualesquiera de estas tareas si no estén informados acerca de su papel y convencidos de la importancia del estudio, Como conse- | ae esti al frente de las evaluaciones deben hacer un esfuetzo mane = = are el estudio servird de algo a estos colaboradotes, tal Sewoeen ie wal s clientes. También deben cuidar que las actividades que otiven y preparen para responder apropiadamente. Especialistas en ayuda técnica La mayor ‘is wéeninn a a de las ilkcndoces suponen una cierta cantidad de trabajo quiere la ayuda de expertos especializados. Por ejemplo, puedeIntroducclén a la evaluaci6n | 47 ser necesario supervisar y anotar los resultados de unas entrevistas; creat, pro- porcionar y utilizar instrumentos para una recopilacién de datos estructurada; analizar tanto la informacién cuantitativa como la cualitativa; y realizar pre- sentaciones audiovisuales de los resultados. En las evaluaciones a pequefia escala, un simple evaluador puede, a menu- do, hacer todas estas tareas sin asistencia especializada. El agente evaluador esta obligado a coordinar y realizar todos los trabajos que sean necesarios, asi como a dominar todas las técnicas especializadas que se requieran. Este tipo de agente necesita una amplia preparacién que le introduzca en las mds impor- tantes de estas especialidades. A menudo, esta persona debe ser capaz de coor- dinar la asistencia de los especialistas cualificados. De todas maneras, es inevitable que los estudios a gran escala contraten especialistas para llevar a cabo estas tareas con el fin de que los asistentes puedan concentrar sus esfuerzos en su propio campo de trabajo: los clientes y los respondentes. Este grupo de expertos puede incluir especialistas en la elaboracién de pruebas, especialistas en muestreos, especialistas en el proce- samiento de datos, estadisticos, especialistas en el estudio de casos y redac- tores técnicos. Especialistas en informacién Un papel técnico que hemos escogido para dedicarle una atencién espe- cial es el del especialista en informacién. Y lo hemos hecho porque ese papel supone una continua necesidad de informacién relacionada con otras evalua- ciones y no con problemas técnicos determinados. El especialista en informa- cidn es especialmente importante en las agencias que disponen de departamen- tos de evaluacién. Las evaluaciones dirigidas desde estos departamentos deben tomar en consideracién el panorama institucional y su contexto histérico, exa- minar los descubrimientos del pasado y de la actualidad para determinar las tendencias y evitar una innecesaria pluralidad de esfuerzos en lo que se refiere a la recopilacién de datos. Es necesario, como minimo, un buen sistema para ordenar y archivar los informes de manera que la informacién que contienen pueda ser facilmente consultada en futuras evaluaciones. Ademés, muchas agen- cias se beneficiarian de una recopilacién regular de informacién que las ayuda- ria a estar totalmente al cortiente de entradas de datos, procesos y produc- ciones, asf como de la actitud de sus componentes hacia los servicios de la agencia. El desempefio del papel de especialista en informacién requiere que el eva- luador, 0 uno o més miembros del equipo de evaluacién, conozca bien las ciencias informativas, Eso supone conocimientos y técnicas en dreas como la comunicacién, los sistemas de informacién, el proceso de datos, la contabilidad financiera y la planificacién de gran alcance. Las personas que piensan espe-4g | Evaluacion sistematica eben adquirir un dominio general de las espegiali- dades de Ja informacion, mientras que un cierto tipo de trabajo correspondien- te a esta drea resulta importante incluso para las evaluaciones mis sencillas. Ademés, los departamentos de evaluacién deben, a menudo, asignar una o més personas para el cumplimiento de esta importante funcidn. cializarse en evaluacién d Especialistas en comunicaci6n La evaluacién bien hecha es una comunicacién efectiva acerca del mérito y el valor de algtin objeto. Esto quiere decir que los problemas de los clientes guian el trabajo de los evaluadores, y las conclusiones de éstos llegan hasta fos clientes para informarlos. Ninguno de estos objetivos se hace posible sin una comunicacién efectiva entre el evaluador y el cliente. Ocurre demasiado a menudo, de todas formas, que Ja comunicacién efec- tiva se pierde en el trabajo evaluativo. Los evaluadores y/o los clientes asumen que los primeros conocen su oficio y, de algtin modo, obtendran y facilitardn las conclusiones adecuadas; en lugar de eso, los evaluadores a menudo se ocu- pan de las cuestiones equivocadas. Por otra parte, los evaluadores deben hacer un buen trabajo consiguiendo que los clientes ayuden a centrar la evaluacién y a recopilar una informacién que resulte sdlida y potencialmente util, para luego «pasarles la pelota» y que sean ellos los que, sin ayuda, interpreten y apliquen la informacién, Deseariamos dejar totalmente claro que la evaluacién efectiva supone no sdlo recopilar y analizar la informacién apropiada, sino también asegurar, a través de una efectiva tecnologia comunicativa, que la informacién sea presentada de una forma util y utilizada en consecuencia. Sabemos que los evaluadores no deben ser considerados responsables de todas las falsas interpretaciones y empleos erréneos que se han hecho de sus infor- mes, pero sf, entre otras cosas, de asegurarse de que sus informes sean rele- vantes para los intereses de sus audiencias y de que puedan entenderlos. Todo esto requiere que los evaluadores tengan conocimientos sobre tecno- logfas de la comunicacidn. Bésicamente, deben ser capaces de preparar infor- mes escritos con claridad y que estén dirigidos a —y resulten comprensibles para— la audiencia o audiencias que los han solicitado. También deben saber cémo comunicar conclusiones a través de medios distintos del material im- preso: por ejemplo, deben saber cémo hablar en publico, utilizar técnicas audio- visuales y servirse de los medios ptblicos. Finalmente, queremos sefialar que deben poseer conocimientos sobre el anilisis politico y la solucién de conflic- tos, ya que, a menudo, las evaluaciones son objeto de controversia. El papel del especialista en comunicacién tiene considerables implicacio- nes para la preparacién de Jos evaluadores, su utilizacién de los especialistas y la eleccién de personal en los departamentos de evaluacién. Sin duda, los evaluadores deben adquirir preparacién en una amplia serie de técnicas comu-Introduccién a la evaluacién | 49 nicativas. En su prdctica, deben, como minimo, someter los borradores de sus informes al juicio de los editores. Y los departamentos de evaluacién, a me- nudo, deben emplear a especialistas en comunicacién para que asesoren la planificacién de las evaluaciones y la presentacién de las conclusiones. Estos especialistas también desempefian un importante papel a la hora de evaluar y ayudar a mejorar el exhaustivo trabajo de un departamento de evaluacié: comunicando los resultados a sus clientes, El andlisis de los papeles realizado hasta este punto ayuda a clarificar la complejidad del trabajo evaluativo. Una gran agencia, que deba someter con- tinuamente a evaluciones a sus exhaustivos servicios, puede que necesite un personal completo de especialistas en evaluacién. La figura 1-1 es un ejemplo de cémo debe estar organizado el departamento de evaluacién de una agencia para que cumpla a la perfeccién las diversas funciones de una evaluacién, Como puede verse en ese esquema organizativo, el coordinador de la evaluacién tiene la responsabilidad de satisfacer las necesidades evaluativas de la agencia y de sus componentes, Para ayudarle en el desempefio de este papel, el coordi- nador de la evaluacién dispone de los esfuerzos de distintos especialistas. Que los servicios del departamento sean técnicamente sdlidos e influyentes, depen- de de hasta qué punto su trabajo esté coordinado de un modo efectivo, Al mismo tiempo, queremos subrayar que la evaluacién debe, a menudo, estar realizada por un solo evaluador. Para hacer bien su trabajo, debe llegar a desenvolverse bien en toda la amplia gama de papeles ya desctitos. Probable- mente, la mejor manera de encontrar y aprender el modo de conocer bien toda la gama de papeles de una evaluacién es dirigiendo evaluaciones de una sola persona bajo la tutela de un experto en evaluaciones, Participar en equipos de evaluacién también proporciona excelentes oportunidades de aprender. Los evaluadores deben ser inventivos a la hora de utilizar la ayuda de los especia- listas, que pueden resultarles baratos e incluso no costarles nada. Hasta el Llanero Solitario consideraba necesario y beneficioso colaborar con un socio leal y capaz. Llegados a este punto en el andlisis de los papeles en una evaluacién, slo hemos examinado aquellos que corresponden a una evaluacidn efectiva. Ahora vamos a ver otros cuatro que actian como papeles secundarios en la profesio- nalizacién de Ja evaluacién. ? Preparador de la evaluacién A lo largo del andlisis precedente, nos hemos ido refiriendo a la necesidad de una buena preparacién por parte de aquellos que participan en una eva- luacién. Estas necesidades incluyen tanto la orientacién hacia unos planes de evaluacién especificos como el desarrollo de unas técnicas y conocimientos més generalizados, y, mds concretamente, los conocimientos que se adquieren50 | Evaluacion sistematica Jefe de la agencia Clientes y respondentes de la evaluacién Coordinador de la evaluacién Planificador de la evaluacién Especialistas en ayuda técnica Asistentes de la evaluacién Especialista en comunicacién Especialista en informacién Figura 1-1. Esquema organizativo examinando una practica determinada. Ademés, la necesidad de una prepara- cién corresponde tanto a los especialistas como a los clientes y a los res- pondentes. La evaluacién, como cualquier otra profesién, debe asegurarse de que los que participan en ella disfruten de una amplia gama de sdlidas oportunidades para prepararse bien. Esto incluye programas de preparacién especializada que culminan en una titulacién; cursos auxiliares que estén concebidos para aseso- rar a todos aquellos que se estén preparando para una serie de funciones pro- fesionales —como por ejemplo supervisores, asistentes sociales, profesores y médicos— sobre la evaluacién de sus propios servicios profesionales; continuas oportunidades educativas para evaluadores y especialistas, y sesiones orienta- tivas sobre estudios especificamente evaluativos destinados a clientes y respon- dentes. Este tipo dé preparacién debe presentar un contenido actual que resulte valido para los problemas concretos que deberdn enfrentar los aprendices. Sin duda, la preparacién es un papel crucial para mantener y hacer progresar la calidad de los servicios evaluativos. Investigador evaluativo La misién de cualquier profesién es servir a sus clientes de la mejor ma- nera posible, y la realizacién de este imperativo se ve siempre limitada por el estado actual de los conocimientos acerca de la especialidad, Por lo tanto, todas las profesiones deben tener un cardcter investigativo. Los profesionales debenIntroduccl6n a la evaluaci6n | 51 estudiar las necesidades relacionadas con la profesién y los problemas de los clientes, examinar sus practicas a la luz de los conocimientos y principios de las disciplinas més relevantes, analizar su trabajo en su contexto histérico, teorizar sobre los servicios profesionales y hacer avanzar los conocimientos sobre su especialidad a través de un andlisis estructurado de sus principales premisas e hipétesis. Los programas de investigacién més extensos se dan en las profesiones més veteranas, como la medicina y el derecho, o los negocios y la industria. En el primer caso, la investigacién, bajo la influencia de la ética profesional, se utiliza para rendir el mejor servicio posible. En el segundo, la principal mo- tivacién es la obtencién de beneficios y la supervivencia en un mundo com- petitive. Ambas reas son muy conscientes de que un mejor servicio y la competitividad dependen casi totalmente de un programa de investigacién dindmico y adecuado. Aunque la evaluacién es tan antigua como la civilizacién, sélo desde hace muy poco tiempo existe como prdctica formal. Unicamente en las dos ultimas décadas se han realizado serios esfuerzos para recopilar Ja historia de la espe- cialidad, teorizar sobre la préctica evaluativa y planificar estudios que resulten adecuadamente descriptivos y se basen en hipétesis apropiadas. Pero existe, y debe existir, una fuerte tendencia hacia el establecimiento y mantenimiento de una base investigativa para la especialidad. Esta tendencia es especialmente evidente en la gran cantidad de literatura aparecida sobre Ia especialidad eva- luativa, aunque gran parte de este material no puede calificarse como inves- tigativo. En cualquier caso, queremos subrayar que la investigacién evaluativa es una funcién vital para asegurar que los evaluadores mejoren progresiva- mente sus servicios y sus resultados. Promotor de la evaluacién Se trata de otro de los papeles vitales de la evaluacién. Tiene como base la funcién de ayudar colectivamente a los evaluadores a alcanzar y mantener el status de una profesién. El significado de este papel puede encontrarse en la definicién de un diccionario que afirma que una profesién es «un oficio que requiere un conocimiento especializado y, a menudo, una preparacién larga € intensiva, incluyendo el dominio de técnicas y métodos, as{ como también de las nociones cientificas, histéricas y eruditas en las que se basan estas téc- nicas y métodos, manteniendo, mediante la organizacién o la coordinacién de conceptos, altos niveles de ejecucién y éxito, y sometiendo a sus miembros un estudio continuo y a una concepcidn del trabajo en la que lo que més importa es el ofrecimiento de un servicio publico». _La especialidad de la evaluacién esté empezando ya a presentar las carac- ‘isticas de una profesién, tal y como se promulgan en esta definicién. Ya52 | Evaluacién sisteméatica existen programas de preparacién que terminan en doctorados y masters, asi como también una extensa y boyante literatura sobre el tema, La literatura sobre evaluacién recomienda contenidos y experiencias para ser incluidas en los programas de preparacién, asi como anilisis sobre cémo deben elaborarse los programas a partir de disciplinas afines, como la filosoffa, la psicologta, la sociologia y la economia. Muchas organizaciones profesionales y dos amplios conjuntos de normas profesionales ya estén a disposicién de los evaluadores, Y, desde luego, el gobierno, el ptiblico y las organizaciones de servicios con- tintian requiriendo evaluaciones de los servicios profesionales, asi como fondos que los financien. Mantener estos avances hacia la profesionalizacién de la evaluacién requiere iniciativas nacionales y estatales, ademas del apoyo de los miembros de la profesién. Cada una de las personas que cobren por trabajar como evaluadores estén obligadas a apoyar los distintos esfuerzos que se estén haciendo para que la profesién siga adelante. Entre las funciones especificas que pueden cumplirse se encuentran las de editor de una publicacién sobre la evaluacién, elaborador de normas, educador de evaluadores y especialistas y funcionario de una sociedad evaluadora. Compartiendo las responsabilidades de estas funciones, los evaluadores pueden contribuir a asegurar al publico que los servicios profesionales que ellos ofrecen son modernos y de gran calidad. El metaevaluador El ultimo papel que queremos subrayar, el del metaevaluador, requiere mucha astucia y penetracién. Esta relacionado con las funciones de evaluar evaluaciones, pero también supone enjuiciar el valor y el mérito de todo lo que representa y hace la profesién: servicios de evaluacién, utilizacién de las eva- luaciones, preparacién de la evaluacién, investigacién evaluativa y desarrollo organizativo. La metaevaluacién utiliza las normas aceptadas de la profesién y trata de asegurar que son cumplidas. También se ocupa de examinar las pro- pias normas con el fin de decidir en qué sentido deben ser revisadas. De una manera u otra, la metaevaluacién necesita incorporarse a cada una de las actividades de la profesién. A veces se trata de una actividad de auto- asesoramiento, como cuando los evaluadores, los preparadores, los investiga- dores o los funcionarios de sociedades evaluativas examinan sus planes, la eje- cucién de su trabajo o los resultados, compardndolos con las normas de la profesién. En otros casos supone contratar a un agente independiente para que valore los servicios. El objetivo de la metaevaluacién es asegurar la calidad de los servicios evaluativos, evitar o enfrentarse a las practicas ilegales 0 a los servicios que no son de interés ptblico, sefialar el camino para el perfecciona- miento de la profesién y promover una mayor comprensién de la empresa evaluativa. Desde luego, todos los evaluadores profesionales deben mantener al dia sus conocimientos de las normas de la profesién, incorporarlas a su tra-Introduccién a la evaluacién | 53 bajo, estar dispuestos a actuar como metaevaluadores de los trabajos de otros profesionales y actuar profesionalmente a la hora de evaluar ¢ intentar me- jorar las contribuciones que la evaluacién hace a la sociedad. Con este breve comentario sobre la metaevaluacién, terminamos nuestro repaso de los papeles que se desempefian en una evaluacién. Hemos analizado minuciosamente, hasta cierto punto, Ja funcién del evaluador profesional y hemos echado un vistazo a las divisiones que presenta. Creemos que, sin duda, todo ello ha contribuido a apoyar la idea de que la evaluacién es a menudo un trabajo de equipo. Pero sacar la conclusién de que las evaluaciones nece- sitan de los esfuerzos de un equipo seria una falsa interpretacién: por el contrario, la evaluacién debe ser una parte necesariamente integrante de las funciones de todo profesional. Nuestra conclusién es que estas funciones (0 papel) son tan diffciles como importantes. Y la conclusién més obvia y fun- damental es que todos los profesionales deben desarrollar sus responsabilida- des evaluativas, puedan o no conseguir la ayuda de un equipo y aunque tengan que desempefiar ellos solos todas las funciones de Ja evaluacién. Ya darfamos un gran paso en Ja dieccién adecuada si consiguiéramos una mayor facilidad para conceptualizar los problemas evaluativos y los métodos adecuados para solucionarlos. El resto de este libro ha sido pensado para llevar a cabo este proceso, Presenta y examina en profundidad varias conceptualiza- ciones alternativas de la evaluacién. Test de conocimientos sobre la unidad 1 Puede comprobar que cada unidad finaliza con tres tipos distintos de cues- tiones 0 ejercicios; cada uno de ellos, a su manera, pretende saber cudl es su grado de comprensién de la unidad. Se encontraré con preguntas que presen- tan miltiples respuestas para que escoja una, y con explicaciones que aclaran cuales de las respuestas alternativas son correctas y cudles no. Tanto las pre- guntas como las respuestas deben permitirle saber si usted ha alcanzado un nivel satisfactorio en relacién con los objetivos que se proponia la unidad en lo que a conocimientos se refiere, En cada caso, rodee con un circulo la letra que, segtin usted, representa la mejor respuesta y luego valore su eleccién comparéndola con Ia solucién que le proporcionamos y con la subsiguiente interpretacién de las respuestas alternativas. Cuando haya respondido a todas las preguntas sobre conocimientos, se le pedird que revise su trabajo y aumente su comprensién de la unidad, o bien que continué con los otros ejercicios. Entonces deberé enfrentarse a algu-54 | Evaluacion sistemética practicos. La unidad concluye con unas «Preguntas sin respuesta» s ejercicios oon dacién de unas lecturas complementarias. y con la recomen Precunta 1. ¢Cuél de las respuestas que vienen a continuacién refleja lo que esta unidad ha considerado como los fundamentos esenciales que deben get considerados para determinar el valor de un objeto que se est4 evaluando? Aunque otros criterios también son importantes, los esenciales son el mérito, la necesidad y la equidad. b) Deben ser considerados todos los valores més apreciados por el personal de Ja evaluacién y sus clientes. c) Los evaluadores son los que deben escoger los fundamentos, basandose en su propia filosofia. d) Las expectativas de los clientes, el mérito, Ja necesidad, la viabilidad y la equidad son los ctiterios que deben determinar esos fundamentos. a) Respuesta correcta: Debe usted haber sefialado la «d». Las distintas ex- pectativas de los clientes, el mérito del objeto (o servicio) en cuestién, la ne- cesidad que se tenga de él, la viabilidad (incluso politica) del objeto y la equi- dad o igualdad de oportunidades para que todos puedan tener acceso al obje- to, deben ser las normas por que se debe guiar el evaluador. Respuestas incorrectas a) Es incorrecta porque es incompleta. b) Es incorrecta porque la unidad identifica especfficamente cinco funda- mentos. c) Es incorrecta porque la subjetividad del evaluador puede dar una incli- nacién inadecuada al estudio, mientras que si toma como gufa los crite- rios sugeridos no quedaré ignorado ningtin fundamento principal. Precunta 2. En esta unidad se afirma que las evaluaciones, en general, deben ser a) comparativas, cotejando las alternativas disponibles antes del desarrollo del programa o del servicio. 5) comparativas tanto antes del comienzo del programa como, periddicamen- te, después de su desarrollo. ¢) comparativas antes de que el programa empiece, no comparativas durante su desarrollo y ocasionalmente comparativas después, d) ni comparativas ni no comparativas.Introduccién a la evaluacién | 55 Respuesta correcta. Debe usted haber sefialado la «co, La evaluacién com- parativa antes del programa permite realizar comparaciones criticas entre dis- tintas alternativas; la evaluacién no comparativa durante el desarrollo permite al personal del programa concentrarse en descubrir las mejoras maneras de avanzat; y la evaluacién periédicamente comparativa después del programa despejaré el camino para el logro de mayotes progresos. Respuestas incorrectas a) Es incorrecta porque tanto la fase no comparativa como la fase compa- rativa postoperativa han sido omitidas. 6) Es incorrecta porque la fase no comparativa ha sido omitida. d) Es incorrecta porque cualquier evaluacién es comparativa, no compara- tiva 0 ambas cosas, dependiendo de las necesidades informativas de los clientes y/o la audiencia de la evaluacién. Precunta 3. ¢Cudl de las siguientes afirmaciones es més coherente con lo que se ha dicho en esta unidad respecto de los métodos que pueden ser apro- piadamente empleados en los estudios evaluativos? 4) Evitar el trabajo descuidado, que a menudo es consecuencia de intentar utilizar muchos métodos; un evaluador debe especializarse en la utiliza cidn de una sola técnica, como la planificacién experimental o el estudio de un caso. 5) En general, resulta apropiado seguir un enfoque ecléctico para la selec- cién de métodos, pero el evaluador debe evitar Ia utilizacién de métodos poco cientificos, como el estudio de casos o el andlisis politico. c) El panorama actual de los métodos que pueden emplearse en una evalua- cién es ya muy avanzado, y los evaluadores deben concentrarse no en valorar los métodos existentes y desarrollar otros nuevos, sino en apren- der y utilizar la metodologia disponible, especialmente la que procede de a investigacidn y la psicologfa educativas. 4) En general, los evaluadores necesitan set capaces de utilizar una amplia gama de técnicas de investigaci6n, y los que se ocupan de elaborar mé- todos de evaluacién deben desarrollar nuevas técnicas. Respuesta correcta, Debe usted haber sefialado la «d», Esta unidad reco- mienda, a la vez, el empleo de un acercamiento ecléctico a la evaluacién y la necesidad de nuevas estrategias e instrumentos evaluativos,56 | Evaluacién sistemética Respuestas incorrectas a) Es incorrecta porque la unidad recomienda el uso de mii 5) Es incorrecta porque la unidad fomenta la utilizacién gama de técnicas, incluyendo el estudio de casos y el andli c) Es incorrecto porque esta unidad recomienda el empleo gama de las metodologias existentes y, a la vez, el desarr métodos. Htiples técnicas, de una amplia sis politico, de una amplia ollo de nuevos Precunra 4. ¢Cudl de las siguientes afirmaciones caractetiza mejor la €poca tyleriana? a) Se introdujeron los tests estandarizados para conseguir que la educacién resultara mas eficiente. b) EI método tyleriano se distinguié por concentrarse en unos objetivos cla- ramente fijados y en su consecucidn. c) Los evaluadores aprendieron a ayudar a quienes elaboraban curriculos a clarificar el comportamiento de los estudiantes, que sale a la luz con la realizacién de un curriculo. 4) Las comparaciones internas entre tesultados y objetivos resultan cos- tosos. Respuesta correcta, Debe usted haber sefialado la «b». Es lo més desta- cable de la filosoffa de Tyler y del método prdctico de evaluacién. Respuestas incorrectas 4) Es incorrecta porque los tests estandarizados se desarrollaron en el pe- tiodo pre-tyleriano (a principios de este siglo), Aunque esto no es incorrecto, se trata de una descripcién muy pobre de la alternativa de Tyler a las concepciones mds tempranas de la evaluacién. d) Incorrecta; de hecho, por el contrario, las evaluaciones internas han de- mostrado ser menos costosas porque no requieren los servicios de un especialista en evaluacién, c) Precunta 5. ¢Qué afirmacidn se corresponde mejor con el perfodo de la evolucién de la evaluacién denominado la época de la «inocencia» (1946- 1957)? 2) Aunque se daba una gran expansién de la educacién, la sociedad no tenfa un particular interés en formar evaluadores responsables.+ ¢) Introduccion a la evaluacién | 57 Las evaluaciones no parecian ocuparse demasiado de la exactitud de las doterencias existentes entre las calificaciones de cada estudiante. Las agencias federales empezaron a sentir un gran interés por la evalua cidn de programas. Durante este tiempo, se crearon nuevos servicios de tests, algoritmos, planificaciones experimentales y procedimientos estadisticos, como res- puesta aun andlisis de las necesidades de la educacisn. Respuesta correcta. Debe usted haber sefalado la «a». Esta afirmacién reficia fieimente el desinterés de la evaluacién por la responsabilidad 0, légi- camente, por otras cosas, incluso aunque las disposiciones educativas estuvie- extendiéndose répidamente. Respwestas incorrectas b) €) a) Incorrecta; la concentracién en las encuestas regularizadas condujo a una gran preocupacién por la exactitud de las diferencias de calificaciones entre los estudiantes. Es incorrecta, porque este hecho no se produjo hasta los afios sesenta. Es incorrecta, porque, lamentablemente, no fue éste el caso; procedi- mientos como los mencionados se ocupaban poco o nada de las necesi- dades educativas, incluida la de su mejora. Prscunta 6. ¢Cudl de las siguientes afirmaciones se corresponde més ¢on el desarrollo de la evaluacién durante la época del realismo (1958-1972)? a) 6) 4) Desde 1965, se invirtieron billones de délares en programas cuyo obje- tivo era la igualdad y la mejora de las oportunidades en cuestiones de servicios sanitarios, sociales y educativos. El articulo 1 del Acta de la Educacién Elemental y Secundaria de 1965 tenia como objetivo proporcionar una educacién compensatoria a los Milos atrasados. Las adecuadas metodologias evolutivas utilizadas en es- tos programas tuvieron, afortunadamente, éxito, El éntasis puesto en las puntuaciones de los tests hizo que la atencién se dingiera hacia los propios programas. Las duras criticas de CkonBack (1963), que afirmaron que los métodos evaluativos de entonces carecian de relevancia, y que la evaluacién debfa conwertirse en un proceso de recogida y elaboracién de informaciones que sirvieron como gufa para la realizacién de un curriculo, fueron muy oportunas,58 | Evaluacién sistemética Respuesta correcta. Debe usted haber sefialado la «d». Las criticas de Cronbach, contenidas en su articulo de 1963, constituyeron un gtan paso adelante en e] proceso de descubrir metodologias apropiadas para satisfacer las exigencias evaluativas de los afios sesenta. Respuestas incorrectas 2) Es incorrecta, porque se trata de uma afirmacién acerca de un programa politico y no estrictamente acerca de la evaluacién, incluso aunque los programas posteriores condujeran a un répido desarrollo de las metodo- logias evaluativas. 5) Es incorrecta, porque las metodologias evaluativas empleadas en esta época eran totalmente inadecuadas, c) Incorrecta; la verdad esté mds cerca de todo lo contrario, puesto que las puntuaciones de los tests desviaron la atencién de los programas en sf y de su perfeccionamiento, PrecunTa 7. ¢Cudl de las afirmaciones siguientes caracteriza mejor, de acuerdo con esta unidad, el estado de la evaluacién en 1983? 2) Los evaluadores han realizado un significativo progreso hacia el estable- cimiento de la evaluacién como prdctica formal especializada. &) De un modo creciente, la evaluacién se fue considerando sélo como una aspirante a la categorfa de profesién. Esta 4rea laboral dejd de ser util en la década de los sesenta: el ptiblico la fue dejando a un lado y ya no recibié mds ayudas econdmicas. c) Enel drea de la metodologfa, los evaluadores han Ilegado casi a un com- pleto acuerdo mediante el cual las evaluaciones deben emplear métodos naturalistas y evitar la utilizaci6n de métodos cuantitativos. d) En respuesta al mayor desarrollo metodolégico de Ja pasada década, se han realizado minuciosos cambios y reformas en la practica evaluativa. Respuesta correcta, Debe usted haber sefialado la «a». Los evidentes s{n- tomas de profesionalizacién de la evaluacién que se dan en 1983 incluyen Ja aparicién de publicaciones periddicas, de numerosos libros y monograffas sobre el tema, de organizaciones profesionales que se dedican a la evaluacién, de normas profesionales para la practica, de un programa concreto destinado a la titulacién, y un aumento de la investigacién y el desarrollo de temas sobre evaluacién,Introduccién a la evaluacién | 59 Respuestas incorrectas b) Es incorrecta porque, contrariamente a las afirmaciones previas, acerca de que la evaluacién formalizada era una moda que pasaria pronto, la especialidad ha empezado a adquirir las caracteristicas de una profesién. c) Es incorrecta porque existe una profunda divisién entre aquellos que son partidarios de los métodos experimentales/cuantitativos y los que reco- miendan métodos naturalistas/cualitativos. d) Es incorrecta porque, a pesar de la creciente competencia de los evalua- dores, la practica evaluativa actual, segiin esta unidad, ha cambiado muy poco en la mayorfa de los casos. INTERPRETACION DEL TEST DE CONOCIMIENTOS, Cuando haya terminado el test de conocimientos, le rogamos que examine cémo lo ha hecho. Le reco- mendamos que revise las partes mds importantes del test, prestando més atencién a las preguntas en las que se ha equivocado o en las que ha dudado, ¢ incluso aquellas en las que se ha sentido un poco confuso ante nuestras respuestas y explicaciones. Ejercicio practico Este apartado consiste en un ejercicio que pretende ayudarle a valorar si ha comprendido bien cémo pueden aplicarse en la practica los principales contenidos de la unidad. Le sugerimos que anote su respuesta en una hoja de papel aparte y luego la compare con la respuesta-ejemplo que sigue. Eyercicio 1. Suponga que el director del Departamento de Bienestar de una gran ciudad le contrata para discutir los planes de evaluacién de sus programas que le ha facilitado la agencia. Suponga ademés que el director de la agencia ha asumido el concepto de «auto-evaluacién», de acuerdo con el cual todos los miembros del personal de la agencia son responsables de eva- luar su propio trabajo. El jefe advierte también que no se han utilizado los servicios de un departamento de evaluacién, ni los de unos especialistas (ya sea durante todo el trabajo o parte de él), ni se ha pagado de una manera especial el trabajo evaluativo. En lugar de eso, ha recordado a los 95 miem- bros del personal que son responsables de evaluar su propio trabajo y les ha ensefiado un método evaluativo, con el fin de que sus esfuerzos Ieguen a buen puerto. El director cree que este tipo de actividad evaluativa puede ser de utilidad para convencer a la legislatura estatal de que incremente sus ayu- das a la agencia.60 | Evaluacién sistematica Las respuestas al ejercicio 1 deben incluir convenientemente los siguientes puntos: a) Cada profesional es totalmente responsable de la calidad y, por lo tanto, de la evaluacién de sus contribuciones. b) Aunque los profesionales necesitan una cierta preparacién sobre evalua. cién, este trabajo es demasiado complejo como pata suponer que cada uno de los profesionales, actuando independientemente, puede hacer todo lo que la evaluacién necesita para solucionar los problemas que la legis- lacién estatal plantea a la agencia. c) Indudablemente, una preparacién metodoldgica apropiada puede ser un positivo paso adelante hacia la profesionalizacién del trabajo de la agen- cia, pero entre la planificacién de esa preparacién y la decisién acerca de cémo distribuir los recursos de la evaluacién, el que toma las deci- siones en la agencia debe tener en cuenta una amplia gama de funciones evaluativas, d) Los papeles que se desempefian en el trabajo evaluativo de una agencia son, mas o menos, los siguientes: cliente de la evaluacién, planificador de la evaluacién, coordinador de los servicios evaluativos, evaluador especializado, asesor técnico, especialista en informacién y especialista en comunicacién. Preguntas sin respuestas Este apartado contiene preguntas destinadas a ayudarle a calibrar y pro- fundizar su comprensién de los asuntos tratados en esta unidad. No se pto- porcionan respuestas a las preguntas. Le sugerimos que intente dar respuestas a estas preguntas siguiendo ciertos pasos, como revisar Ja unidad, consultar las fuentes bibliograficas adecuadas, incluyendo las que se consignan al final de la unidad, y discutiendo las preguntas con sus alumnos o colegas. 1. La definicién de evaluacién que hemos dado en esta unidad, ¢es igual- mente defendible desde el punto de vista de escuelas filosdficas distintas, como el pragmatismo, el existencialismo o el positivismo légico? Teniendo en cuenta que esta unidad recomienda un enfoque ecléctico 4 la hora de escoger los métodos que se usardén en un trabajo evaluativo, cexiste alguna investigacién cuyas conclusiones se refieran a la conventen- cia © inconveniencia de elegir eclécticamente métodos de especialidades afines —como la investigacién educativa, la investigacién psicoldgica, la contabilidad y la planificacién ciudadana—, contribuyendo asf a recomen-Referencias bibliograficas | 61 dar o refutar el enfoque ecléctico para la eleccién de métodos investi- gativos? Algunas personas han sugerido que algunas de las Normas del Joint Com- mittee deben ser tenidas en cuenta antes que otras, es decir, que el orden de presentacién y aplicacién de cada una de las normas debe ser consi- derado muy importante. ¢Esta usted de acuerdo o no? Si lo estd, ecdmo ordenarfa usted las Normas con el fin de aplicarlas para tomar una deci- sién acerca de llevar a cabo o no una evaluacién que le han propuesto? Si cree que el orden en el que se estudien las Normas no es importante, epor qué piensa que no lo es? 4, Examine el repaso histérico de la teorfa y la prdctica evaluativas conte- nido en esta unidad. ¢Cémo evaluaria el progreso, la regresién o el estan- camiento de la especialidad en lo que se tefiere a la responsabilidad so- cial, la erudicién o la repercusién? 5. Teniendo en cuenta el alcance de la unidad y, especialmente, el andlisis de los papeles que se desempefian en un trabajo evaluativo, ¢hasta qué punto cree que la sociedad debe invertir en preparar y emplear a espe- cialistas en lugar de simples evaluadores? ¢Dénde, cémo y hasta qué punto debe proporcionérseles preparacién a ambos tipos de evaluadores? Referencias bibliograficas AMERICAN PsYCHOLOGICAL ASSOCIATION. 1974, Standards for educational and psychological tests, Washington, D.C., Autor ANDERSON, S.; BALL, S; y MurpHy, R. y colaboradores. 1974. Encyclopedia of educational evaluation, San Francisco, Jossey-Bass. Broom, B. S.; ENGLE HART, M. D.; Furst, E. J.; Hu, W. H.; y KraTHWOHL, D. R. 1956. Taxonomy of educational objectives. Handbook I: The cognitive domain, Nueva York, David McKay (trad. cast.: Clasificacién de las metas edu- cativas. Tomo I: Taxonomia de los objetos, Alcoy, Marfil, 1979). BriwcenHorr, R.; BreTHower, D.5 Hiucuyy, T.; y NOwAKkOwsKI, J. 1983. Program evaluation: A practitioners’ guide for trainers and educators, Boston, Kluwer-Nijhoff. Campset, D. T. y Sranzey, J. C. signs for research on teaching, on teaching, Chicago, Rand McNally. Coeman, J. S.; CAMPBELL, E. Q.; Hoss WeinreLp, F. D.; y YORK, R. L. 196 Washington, D.C. Oficina de Educacién, Departament Bienestar de los EE.UU. Coox, D. L. 1966. Program evaluation and review technique: Applications in Edu- cation, Washington, D.C. Oficina de Imprenta del Gobierno. —.1971. Educational project management, Columbus, Ohio, Charles E. Merrill. 1963, Experimental and quasi-experimental de- en N. L. Gage (comp.), Handbook of research on, C. J.; MCPARTLAND, J.; Movp, A. M5 6. Equalty of educational opportunity. o de Salud, Educacién y62 | Evaluacién sistemética Cronsacu, L. J. 1963. Course improvement through evaluation, Teachers College Record, 64, pags. 672-683. —. 1980. Toward reform of program evaluation, San Francisco, Jossey-Bass. Eisner, E. W. «Educational objectives: Help or hindrance?» The School Review 75 (1967), pags. 250-260. —.1975. The perceptive eye: Toward the reformation of educational evaluation Stanford, California, Stanford Evaluation Consortium, diciembre. , Graser, R. «Instructional technology and the measurement of learning outcomes: Some questions», American Psychologist, 18 (1963), pags. 519-521. Gass, G. 1976. Primary secondary and meta analysis of research, Educational Re. searcher, 5 (10), pags. 3-8. Gua, E. G. «A Study of Title III activities: Report on evaluation» (National Ins- titute for the Study of Educational Change, Universidad de Indiana, octubre de 1966) (ciclostilado). Gusa, E. G. y Lincoun, Y. S. 1981. Effective evaluation, San Francisco, Wash- ington, Londres, Jossey-Bass. Hammonp, R. L. 1967, «Evaluation at the local level». Conferencia para el Miller Committee for the National Study of ESEA Title III. Jounson, R. 1980. Directory of evaluators and evaluation agencies, Nueva York, Exxon Corporation. Joint Committee on Standards for Educational Evaluation. 1981. Standards for evaluations of educational programs, projects, and materials, Nueva York, Mc- Graw-Hill. Kaptan, A. 1964. The conduct of inquiry, San Francisco, Chandler. KELLAGHAN, T. 1982. «Los sistemas escolares como objeto de evaluacién». En Daniel STuFFLEBEAM; Thomas KELLAGHAN; y Benjamin ALVAREZ (comp.), La Evaluacién Educativa, Bogoté, Pontificia Universidad Javeriana. KeLtaGHan, T.; Mapaus, G.; y Amrastan, P. 1982. The effects of standardized testing, Hingham, Mass., Kluwer-Nijhoff Publishing. KratHWOHL, D. R.; Broom, B. S.; y Masta, B. B. 1964. Taxonomy of educatto- nal objectives: The classification of educational goals. Handbook II: Affective domain, Nueva York, David McKay (trad. cast.: Taxonomia de los objetivos de la educacidn. Clasificacién de las metas educativas, Alcoy, Marfil, 1979). MetresseL, N. S. y MicHazr, W. B, «A paradigm involving multiple criterion measures for the evaluation of the effectiveness of school programs». Educa- tional and Psychological Measurement, 27 (1967), pags. 931-943. Peck, H. «Report on the certification of evaluators in Louisiana». Texto presen- tado en el congreso de la Southern Educational Research Association, Lexing- ton, Kentucky, Fall 1981. PopHam, W. J. 1971. Criterion-referenced measurement, Englewood Cliffs, NJ. Educational Technology Publications (trad. cast.: Evaluacién basada en crite rios, Magisterio Espafiol, 1983). Provus, M. 1969. Discrepancy evaluation model, Pittsburgh, Pennsylvania, Pitts- burgh Public Schools. REINH arp, D. 1972. Methodology developments for input evaluation using advo- cate and design teams. Tesis doctoral inédita, Universidad del Estado de Ohio. Rice, J. M. 1897. The futility of the spelling grind, The Forum, 23, pags. 163-172.Referencias bibliogréficas | 63 —. 1914. Scientific management in education, Nueva York, Hinds Noble and Eld- redge. Roi, J. 1977. Needs and the needs assessment process, Evaluation News, 5, pé ginas 15-17. Scriven, M. S. 1967. The methodology of evaluation. En Perspectives of currict- lum evaluation (AERA Monograph Series on Curriculum Evaluation, n. 1), Chi- cago, Rand McNally. —.1974. Prose and cons about goal-free evaluation, Evaluation Comment, 3, pd ginas 1-4. —.1975. Evaluation bias and its control. Occasional Paper Series, n. 4, Universi- dad de Western Michigan, Centro de Evaluacién, Smiru, E.R. y Tyzer, R. W. 1942. Appraising and recording student progress, Nueva York, Harper. Surri, N. L. 1981a. Metaphors for evaluation: Sources of new methods, Beverly Hills, Sage. —.1981b. New techniques for evaluation, Beverly Hills, Sage. Sraxe, R. E. 1967. The countenance of educational evaluation, Teachers College Record, 68, pags. 523-540. —.1975. Program evaluation, particularly responsive evaluation. Occasional Paper Series n. 5, Universidad de Western Michigan, Centro de Evaluacién. —. 1978. The case-study method in social inquiry, Educational Researcher, 7, p&- ginas 5-8. —. «Setting standards for educational evaluators», Evaluation News n. 2, 2 (1981), pags. 148-152. SrurFLEBEAM, D. L. «The use and abuse of evaluation in Title III», Theory Into Practice, 6 (1967), pags. 126-133. —. 1978. Metaevaluation: An overview, Evaluation and the Health Professions, 1 (2), pags. 146-163. SrurFLeneam, D. L., y otros. 1971. Educational evaluation and decision making, Itasca, Ill., Peacock. Suknez, T. 1980. Needs assessments for technical assistance: A conceptual over- view and comparison of three strategies. Tesis doctoral inédita. Universidad de Western Michigan. Tver, R. W. 1967. Changing concepts of educational evaluation. En R. E. Stake (comp.), Perspectives of curriculum evaluation (vol. 1), Nueva York, Rand McNally. Wester, W. J. 1975. The organization and functions of research and evaluation units in a large urban school district, The Dallas Independent School District, Dallas.2 UN ANALISIS DE METODOS ALTERNATIVOS DE EVALUACION A lo largo de esta unidad, se presentan los tres métodos mas importantes de evaluacién de programas. El primero —la pseudoevaluacién— intenta con- ducir a conclusiones erréneas mediante una evaluacién. El segundo —la cuasi- evaluactén— incluye estudios que se preocupan de dar respuestas a ciertas cuestiones de interés, en lugar de determinar el valor de algo. El tercero —a verdadera evaluacién— comprende lo que nosotros consideramos esfuer- zos globales para exanrinar el valor y el mérito de un objeto. Los tipos de estudio particulares que estén relacionados con cada método son analizados con detalle y contrastados con otros. En total, esta unidad proporciona un panorama de doce modelos de estudios evaluativos. Lo més frecuente es que los clientes deseen un estudio politicamente pro- vechoso (pseudoevaluacién), los evaluadores pretieran realizar un estudio ba- sado en problemas concretos (cuasievaluacién) y los consumidores tiendan hacia estudios basados en valores (verdadera evaluacién). Los evaluadores deben prestar tanta atencién a sus propésitos evaluativos como a los de los clientes y consumidores. Uno de los més importantes avances que se han producido en el campo de Ia evaluacién consiste en los diversos modos de conceptualizar la propia evalueci6n. Esta unidad proporciona un panorama y un anilisis de tres méto- dos generales que se han recomendado o empleado bajo la etiqueta de evalua- cién sistemdtica. Estos métodos son tinicos y comprenden la mayorfa de for- mas de evaluar servicios. Mientras dos de los métodos se usan, por lo general, como medios legitimos para calibrar el valor y el mérito, uno de ellos se utiliza a menudo ilegitimamente pare crear una falsa impresién acerca del valor de un objeto. No debe sorprender que Jos distintos modelos de estudios esbozados en las siguientes pdginas sean aquellos que, segtin nuestra opinién,_ = 66 | Evaluacién sistemética encajan en las dos categorfas legftimas de evaluacién. Hemos incl tido comentario sobre el otro método porque se emplea con mucha frecuenci segiin creemos, debe ser expuesto como una prictica inadecuada. Bajo el dy fraz de una evaluacién sistemética, este método, a menudo, proporciona ia informaciones a las audiencias. Por lo general, el material contenido en oie unidad esté tomado de un estudio previo de STUFFLEBEAM y Wessrer (1 980) Objetivos Esta unidad estd pensada para ayudarle a alcanzar los siguientes objetivos: 1. Con la definicién de evaluacién que proporciona la unidad y la serie de descripciones de estudios evaluativos, debe ser capaz de clarificar éstos como pseudoevaluacién, cuasievaluacién o evaluacién verdadera, e iden- tificar el modelo de estudio con el que cada uno puede ser més facilmen- te asociado. 2. Con las denominaciones de dos o mds de los modelos de estudio expuestos en este capftulo, debe ser capaz de contrastarlos teniendo en cuenta orga- nizadores previos, utilidad, cuestiones que plantean, tipos y origen de é&- tas, métodos que usa por lo general y principales representantes. 3. Con los nombres de los modelos de estudio seleccionados, debe ser capaz de enumerar las principales virtudes y defectos de cada uno, teniendo en cuenta la manera en que debe Ilevarse a cabo una evaluacién, tal y como se describe en este libro. Cuando haya estudiado el nticleo de esta unidad, se encontrard con pre guntas y ejercicios que podré calificar usted mismo, incluyendo respuestas que reflejen parcialmente los objetivos expuestos arriba. Le recomendamos que realice estos ejercicios evaluativos para que pueda valorar su grado de cono- cimiento respecto al material de esta unidad, Al final de ella aparecen tam bién unas «preguntas sin respuesta» y ciertas lecturas recomendadas, que s proponen servirle de guia en sus estudios posteriores acerca de los concepts tratados en la unidad. Conceptualizaciones alternativas de la evaiuacién Los modelos de estudio que se exponen aqui y a lo largo de este = fueron seleccionados para que representaran ampliamente los diversos punto de vista y prdcticas utilizados en la evaluacién educacional, sobre todo, oe también en programas de salud y bienestar. Los distintos tipos de ee estan clasificados teniendo en cuenta su grado de coincidencia con una detMétodos alternativos de evaluacién | 67 minada definicién de evaluacién. De acuerdo con lo expuesto en la unidad 1, definimos la evaluacién aquf como un estudio sistemdtico planificado, dirigido y realizado con el fin de ayudar a un grupo de clientes a juzgar y/o perfec- cionar el valor y/o el mérito de algun objeto. Creemos que esta definicién es, por lo general, aceptable, puesto que concuerda con las definiciones que aparecen en la mayorfa de los diccionarios. De cualquier manera, el andlisis que sigue demuestra que muchos estudios realizados bajo la denominacién de evaluacién sistemdtica o bien no se ajustan a esta definicién, o bien se oponen claramente a ella. Utilizando la definicién propuesta, cada uno de los modelos de estudio presentados en este libro son examinados para comprobar si se corresponde con uno (o quizd més) de los tres amplios, aunque distintos, grupos. El pri- mer grupo incluye las evaluaciones polfticamente orientadas, que son diri- gidas o utilizadas subrepticiamente para provocar un punto de vista deter- minado, positivo o negativo, sobre un objeto, independientemente de la valo- racién objetiva de su valor o mérito. El segundo grupo incluye las evalua- ciones destinadas a dar soluciones a preguntas concretas, cuyas respuestas, a su vez, quizés incluyan, 0 quizé no, el enjuiciamiento del valor o el mérito de un objeto. El tercer grupo incluye estudios pensados, ante todo, para enjui- ciar y/o perfeccionar el valor o el mérito de un objeto. Para que resulte més facil referirse a cada uno de los tres grupos de métodos, han sido denomi- nados, respectivamente, pseudoevaluacién, cuasievaluacién y verdadera eva- luacién, Cada método y los modelos de estudio correspondientes son analizados mds adelante a la luz de estos siete aspectos: 1) organizadores previos, es decir, las principales indicaciones que siguen los evaluadores para realizar un estudio; 2) su principal utilidad; 3) el origen de las preguntas planteadas; 4) los problemas caracterfsticos de cada método 0 modelo de estudio; 5) los métodos més frecuentemente utilizados; 6) las personas que conceptualizaron por primera vez cada método o modelo de estudio; y 7) otras personas que han participado en el desarrollo y Ja utilizacién de cada método y modelo de estudio, Ademds, se enjuicia, en términos generales, cada método y mode- lo de estudio, compardndolos con las treinta normas del Joint Committee on Standards for Educational Evaluation. Pseudoevaluaciones Se dice que los mentirosos imaginan cosas y que las imaginaciones mien- ten. Del mismo modo, los charlatanes y los manipuladores utilizan a menudo la evaluacién de una manera inadecuada pata lograr sus objetivos, Puede que recopilen Ja informacién rigurosamente, pero no revelan las verdaderas con- clusiones, o lo hacen de un modo selectivo, o incluso las falsifican, engafiandoMétodos alternativos de evaluacién | 67 minada definicién de evaluacién. De acuerdo con lo expuesto en la unidad 1, definimos la evaluacién aqui como un estudio sistemdtico planificado, dirigido y realizado con el fin de ayudar a un grupo de clientes a juzgar y/o perfec- cionar el valor y/o el mérito de algun objeto. Creemos que esta definicién es, por lo general, aceptable, puesto que concuerda con las definiciones que aparecen en la mayoria de los diccionarios. De cualquier manera, el andlisis que sigue demuestra que muchos estudios realizados bajo la denominacién de evaluacidn sistemdtica o bien no se ajustan a esta definicién, o bien se oponen claramente a ella. Utilizando la definicién propuesta, cada uno de los modelos de estudio presentados en este libro son examinados para comprobar si se corresponde con uno (0 quizd mas) de los tres amplios, aunque distintos, grupos. El pri- mer grupo incluye las evaluaciones polfticamente orientadas, que son diri- gidas o utilizadas subrepticiamente para provocar un punto de vista deter- minado, positivo o negativo, sobre un objeto, independientemente de la valo- racién objetiva de su valor o mérito. El segundo grupo incluye las evalua- ciones destinadas a dar soluciones a preguntas concretas, cuyas respuestas, a su vez, quizds incluyan, o quizé no, el enjuiciamiento del valor o el mérito de un objeto. El tercer grupo incluye estudios pensados, ante todo, para enjui- ciar y/o perfeccionar el valor o el mérito de un objeto. Para que resulte més facil referirse a cada uno de los tres grupos de métodos, han sido denomi- nados, respectivamente, pseudoevaluacién, cuasievaluacién y verdadera eva- luacién. Cada método y los modelos de estudio correspondientes son analizados mds adelante a la luz de estos siete aspectos: 1) organizadores previos, es decir, las principales indicaciones que siguen los evaluadores para realizar un estudio; 2) su principal utilidad; 3) el origen de las preguntas planteadas; 4) los problemas caracteristicos de cada método o modelo de estudio; 5) los métodos mds frecuentemente utilizados; 6) las personas que conceptualizaron por primera vez cada método o modelo de estudio; y 7) otras personas que han participado en el desarrollo y la utilizacién de cada método y modelo de estudio. Ademds, se enjuicia, en términos generales, cada método y mode- lo de estudio, compardndolos con las treinta normas del Joint Committee on Standards for Educational Evaluation, Pseudoevaluaciones Se dice que los mentirosos imaginan cosas y que las imaginaciones mien- ten. Del mismo modo, los charlatanes y los manipuladores utilizan a menudo la evaluacién de una manera inadecuada para lograr sus objetivos. Puede que recopilen Ja informacién rigurosamente, pero no revelan las verdaderas con- clusiones, o lo hacen de un modo selectivo, o incluso las falsifican, engafiando68 | Evaluacién sistemética tanto a la gente como @ s{ mismos. Pueden distinguirse dos tipos de pseudo. evaluacién, que ahora pasamos a exponer. Investigaciones encublertas E] primer tipo ha sido denominado «investigacién encubierta», aunque también hubiera podido llamarse evaluacién politicamente controlada. Sus organizadores previos son, implicita o explicitamente, una amenaza que deben afrontar los clientes. La intencién del cliente al encargar una investigacién encubierta es conseguir asistencia para obtener, mantener 0 incrementar una esfera de influencia, poder o dinero. Los problemas que plantea son los que interesan al cliente y a ciertos grupos que comparten sus intereses. En este tipo de evaluacién se dan dos preguntas principales: gqué informacién puede resultar provechosa en un conflicto potencial? y qué datos pueden ser de utilidad en una confrontacién? Los métodos t{picos con los que se evan a cabo las evaluaciones encubiertas incluyen el andlisis de documentos, la vigi- lancia de los implicados, los estudios simulados, las investigaciones privadas y los expedientes secretos. Por lo general, el cliente quiere que la informacién obtenida sea tan sdlida técnicamente como sea posible, pero también que se le garantice la posibilidad de controlar la revelacién de la informacién. Dado que la informacién puede ser revelada selectivamente para crear una falsa imagen del valor de un objeto, o incluso no revelada, para ocultar una situa- cién, este método debe ser denominado «pseudoevaluacién». Aqui no mencionaremos a nadie que pueda ser reconocido por sus contri- buciones a la creacién o el desarrollo de las investigaciones encubiertas. Pero, Jamentablemente, mucho estudios actuales merecen que se los denomine asi. Para contradecir a quienes puedan argumentar que la evaluacién encu- bierta es imaginaria, les invitamos a que consideren el siguiente ejemplo. El director de uno de los més grandes distritos escolares de la nacién confesé una vez que posefa una extensa informacién acerca de las escuelas de sv dis- trito, La informacién inclufa el nivel de éxito de los estudiantes, las calif caciones de los profesores, la composicién racial de profesores y estudiantes, cudnto costaba cada alumno, las caracteristicas socioeconémicas de los estu- diantes, cudnto duraban los profesores en su puesto y muchas més cosas. Estos datos revelaban que se trataba de un distrito escolar muy segreg’ 0. Cuando se le pregunté por qué todo estaba anotado a lépiz, el director repli que era absolutamente esencial que se mantuviera jnformado acerca de la situacién de cada escuela en todo momento, Sea como fuere, dijo, eta también imprescindible que la comunidad en pleno, la junta de direccién y los grupos que tenfan intereses especiales en Ja comunidad, en particular, no tuvieran acceso a la informacién, porque alguno de estos grupos podia utilizar la infor- macién para perjudicar a la comunidad y amenazar su posicién. De est ™Métodos alternativos de evaluacién | 69 nea, un asesor especial mantenfa al dia todo lo anotado; sélo existia una copia y el director la guardaba bajo lave en su mesa de trabajo. El hecho es que la continuada investigacién encubierta y la revelacién selectiva de informacién llevadas a cabo por el director no eran, en absoluto, un caso de verdadera evaluacién, porque no inclufan revelaciones totales y abiertas. Desde nuestro punto de vista, se trataba de un ejemplo de pseudoevaluacién. Estudios basados en las relaciones publicas Un caso similar de pseudoevaluacién es el estudio planificado, realizado y utilizado para satisfacer propdésitos que tengan que ver con las relaciones publicas. En este tipo de estudios, las necesidades informativas del propagan- dista, son organizadores previos. La intencién del estudio es ayudar al cliente @ crear una imagen positiva de una institucién, un programa, un sistema y similares. Los principales problemas de un estudio como éste se desprenden de las concepciones de los especialistas en relaciones ptiblicas y los adminis- tradores, acerca de qué cuestiones resultarian ms populares. En general, los estudios basados en las relaciones ptiblicas buscan informacién que pueda ser de ayuda para asegurar el apoyo del puiblico, Los métodos que se usan més fre- cuentemente en este tipo de estudios son las inspecciones, las pruebas y la uti- lizacién de asesores «expertos». La principal caracterfstica de la utilizacién de métodos dudosos por parte de este tipo de evaluadores es su propensién a crear una buena imagen del objeto de la evolucién. El caso de un distrito escolar urbano ilustrard este segundo tipo de pseu- doevaluacién. Un director, al solicitar una inspeccién de la comunidad en su distrito, afirmé abiertamente que necesitaba un documento que proporcionara un informe positive sobre el funcionamiento del distrito escolar. Dijo que un informe de aquel tipo era urgentemente necesario para que la comunidad volviera a confiar en el distrito escolar. La peticién del director, acerca de la inspeccién (y del informe positivo), fue totalmente rechazada, pero el hecho de que pensara que era tan necesaria qued6 pronto aclarado. Algunas semanas después de la inspeccin, fue repentinamente despedido. Antes de plantear el grupo siguiente de modelos de estudio, queremos hacer unos cuantos comentarios més acerca de las pseudoevaluaciones. Quizés usted se pregunte por qué hemos hablado de estos dos modelos de estudio. Sin duda, no recomendamos su utilizacién. Hemos tenido en cuenta estos dos tpos de estudio porque son una parte importante del panorama evaluativo. A veces, los evaluadores y sus clientes conspiran juntos para evar a cabo estos dos primeros tipos de estudios. En otras ocasiones, los evaluadores, cre- yendo que realizan una valoracién objetiva, descubren que sus clientes tienen otras intenciones. En el momento apropiado, el cliente interviene para mani- pular el estudio y extraer de él la imagen que desea y le conviene. Los evalua-70 | Evaluacién sistematica dores tienen que estar alertas, mds de lo que suelen estarlo, ante este tipo de conflictos potenciales; de otra manera, pueden convertirse en cémplices incons. cientes de un proceso de engafio a través de la evaluacidn. Cuasievaluaciones Los estudios’ cuasievaluativos aparecen especificados porque existe la evi- dencia de que a veces pueden ser utilizados para enjuiciar el valor o el métito de un objeto, mientras que en otros casos su alcance es demasiado estrecho o sélo tangencial a las cuestiones del mérito y el valor. Lo més importante es que estos estudios empiezan con un problema concreto y luego buscan la meto- dologia apropiada para solucionar ese problema. Que la informacién obtenida sea suficiente para apoyar un juicio sobre el valor de algo es, definitivamente, una cuestidn secundaria. Los estudios cuasievaluativos poseen otros usos muy legitimos, aparte de su relacién con la evaluacién. Asf, la principal cautela que hay que adoptar ante estos tipos de estudios es no considerarlos equi- valentes a la evaluacién. Dos unidades de este libro hablan de los modelos de estudio cuasievalua- tivos: la unidad 3, sobre la tradicién tyleriana, y la unidad 4, sobre el método cientifico de Suchman, En esta unidad, analizaremos estas formas de cuasieva- luacién: la primera entra en la categoria de la cuasievaluacién que hemos denominado estudios basados en objetivos, mientras que la de Suchman se basa sobre todo en la experimentacién. Otros ejemplos de métodos cuasieva- luativos, descritos por STUFFLEBEAM y WEBSTER (1980), son los estudios de responsabilidad, los programas de pruebas y los sistemas de informacién admi- nistrativa. Estudios basados en objetivos basados en los objetivos | movimiento para siste- los organizadores pre ‘os pueden set Como se ha visto en la unidad 1, los estudios han sido, quizd, la principal fuerza que ha impulsado e' matizar el trabajo evaluativo. En este tipo de estudio, vios se suelen basar en algiin informe sobre los objetivos. Est : determinados por los clientes, establecidos por las personas cuyo trabajo s¢ estd valorando, formulados por el evaluador o fijados conjuntamente por todos aquellos que participan en la evaluacién. E] propdsito mas comin es determ nar si los objetivos han sido alcanzados y, de acuerdo con esto, concluir si s¢ ha tenido éxito en el trabajo que se ha valorado. Las audiencias més frecuen tes de estos estudios son los creadores de programas, los patrocinadores, los adiministrativos y los proveedores de servicios. Los métodos utilizados en los estudios basados en objetivos incluyen esenMétodos alternativos de evaluacién | 71 cialmente la recopilacién y el andlisis de los datos sobre el trabajo en cuestibn, relativas a objetivos especificos. Ralph Tyler es generalmente admitido como pionero de este tipo de estudios. Muchos han ido més all4 que Tyler al desarrollar variaciones sobre su modelo evaluativo basado en los objetivos. Mencionaremos unos pocos: BLoom y otros (1956), Hammon (1972), Met- FESSEL y MICHAEL (1967), PopHAm (1967) y Provus (1971). En la unidad 3, presentamos una ampliacién del modelo tyleriano desarrollado por METFESSEL y MicHaeL (1967). Indudablemente, este tipo de estudio es el que més frecuentemente se utiliza con el nombre de evaluacién, Tiene una apariencia bastante racional, los profesionales acumulan experiencia mediante su utilizaci6n y emplea las tecnologias de los objetivos del comportamiento y de las encuestas regulari- zadas, Las principales criticas que se le hacen apuntan a que produce, prin- cipalmente, una informacién que llega demasiado tarde para ser utilizada en el perfeccionamiento de los servicios, y que esta informacién es, a menudo, de muy poco alcance como para constituir una base sdlida a la hora de enjui- ciar el valor de un servicio. Estudios basados en la experimentacién El modelo de estudio conocido como investigacién experimental es muy importante en evaluacién, Lo hemos clasificado como cuasievaluacién porque incluye cuestiones y metodologfas a veces relacionadas, pero a veces no, con el juicio de valores. La investigacién experimental trae a la memoria la adver- tencia de KAPLAN (1964) contra la llamada «ley del instrumento», segtin la cual un método es equivalente a una investigacién. Como consecuencia, el campo de estudio se reduce a los problemas que pueden ser solucionados mediante un método determinado. FisHer (1951) ya habfa advertido espect- ficamente que no se equipararan sus métodos experimentales con !a ciencia. Los organizadores previos en los estudios experimentales son la exposicién de problemas, las hipétesis y el estudio de las cuestiones. El propésito mds comin de un experimento es determinar o demostrar vinculos casuales entre ciertas variables dependientes ¢ independientes, como por ejemplo un método de ensefianza y una ejecucién profesional y documentada, o un test con cali- ficaciones. Es particularmente destacable que los problemas planteados proce- den de los investigadores, de quienes desarrollan los programas de educacién y de los editores de publicaciones, y no, por lo general, de los implicados, los participantes o promotores financieros. La pregunta mds frecuente que se plantea en un experimento es: ¢cudles son los efectos de una intervencién determinada sobre Jas variables especificas resultantes? Los métodos mds cominmente utilizados son los planes experi- mentales y cuasiexperimentales. Los pioneros en el uso de la experimentacién, 72 | Evaluacién sistemética para evaluar programas son Linguist (1953), CAMPBELL y Sranzey (1963) SucHMAM (1967) y CRONBACH y Sxow (1969). Otras personas que hag desarrollado la metodologia de la experimentacién, especialmente para util. zarla en evaluacién, son GLass y Macurre (1968) y Wixzy y Bocx (1967) En la unidad 4, revisamos especificamente las contribuciones de Suchman » su aplicacién de la experimentacién a la evaluacién de programas sociales y La principal ventaja de los estudios experimentales en el trabajo evalus. tivo es que proporcionan métodos sdlidos para la determinacién de relaciones causales relativamente inequivocas entre el programa y los resultados, Los pro blemas que plantea, no obstante, consisten en que el método, a menudo, no resulta factible a la hora de sefialar los Ifmites de la especialidad y proporciong una informacién mucho mds restringida de la que es necesaria para evaluar programas de educacién, salud y bienestar. Ademds, los estudios experimenta. les tienden a proporcionar una informacién final que no resulta uti! como guia para el proceso de desarrollo. Antes de terminar nuestros comentarios sobre los métodos experimentales y basados en objetivos, desearfamos subrayar que sdlo se trata de dos de los métodos que se podrian calificar como cuasievaluacién, Nos hemos centrado en ellos porque las unidades que tratan de los trabajos de Tyler y Suchman son ejemplificaciones de estos métodos. Como ya se ha mencionado previa. mente en esta unidad, los otros tipos de estudios calificados como cussievi- luacién son la comprobacién de programas, los sistemas de informacién admi- nistrativa y los estudios de responsabilidad. Las verdaderas evaluaciones La mayorfa de las unidades de este libro estén dedicadas a estudiar mode los que hemos denominado evaluaciones verdaderas. Oponiéndose a las pseu- doevaluaciones subrayan la necesidad de evitar los estudios tendenciosos, y, en contraste con las cuasievaluaciones, recomiendan la realizacién de investi gaciones de conjunto basadas en cuestiones de valor y mérito. Estudios de orientacién de a decisién Empezamos nuestro andlisis de las evaluaciones verdaderas © estudios basados en los valores con una panordmica sobre el enfoque de la decisio» orientada. Este subraya que la evaluacién debe ser utilizada tanto para el xt feccionamiento de un programa, como para enjuiciar su valor. Las decisionss a tomar —ya sea por un administrador, un consejo politico, un personal de Programaci6n o un electorado— proporcionan organizadores previos PA los estudios de orientacién de la decisién. Basicamente la intencida de estsMétodos alternativos de evaluaci6n | 73 estudios es proporcionar conocimientos y bases valorativas para tomar y justi- ficar decisiones. La procedencia de los problemas planteados en este tipo de estudios inclu- ye a todos aquellos que toman decisiones: administradores, ciudadanos, estu- diantes, profesores, médicos, juntas politicas, votantes y cualquiera que decida como planificar, dirigir y utilizar servicios. Las principales cuestiones que plan- tea son: ¢qué es lo que hay que conseguir? ¢Cudl debe ser la planificacién de una empresa determinada? ¢Cémo debe Ilevarse a cabo el plan? Cuando y cémo debe ser modificada la empresa? Las respuestas a estas preguntas se basan en perspectivas subyacentes de valoracién, por ejemplo, en que las empresas educativas deben sobresalir en el fomento del crecimiento y el desarrollo hu- manos, mientras que deben ser cautas en la utilizacién de los recursos y sa- tisfacer tanto los objetivos individuales como el bien comin. Hay muchos métodos adecuados para llevar a cabo este tipo de estudios: inspecciones, va- loracién de las necesidades, estudios de casos, series de recomendaciones, ob- servaciones estructurales y planificaciones cuasiexperimentales y experimentales. CronBacH (1963) fue el primero que introdujo a los evaluadores en la idea de que la evaluacién debfa ser reorientada y que, de basarse en objetivos, debia pasar a ser una ayuda para que los educadores tomaran decisiones mds acertadas acerca de cémo educar. Mas tarde, SruFFLEBEAM (1966, 1967) intro- dujo una conceptualizacién de la evaluacién que se basaba en la idea de que ésta debia ayudar a los educadores a tomar y justificar decisiones que pudieran satisfacer mejor las necesidades de los estudiantes. Muchos otros, desde enton- ces, han contribuido al desarrollo de un concepto de la evaluacién basado en decisiones. Entre ellos se encuentran ALKIN (1969), RetnHARD (1972), TAYLOR (1974), Gupa (1978) y Wessrer (1975). Las unidades 5 y 6 proporcionan una amplia informacién acerca de las estrategias desarrolladas por Cronbach y Stufflebeam. La principal ventaja de este tipo de estrategia es que anima a los grupos de profesionales, asi como a las organizaciones gubernamentales, a utilizar Ja evaluacién continua y sistematicamente para planificar y llevar a cabo los ser- vicios que satisfacen las necesidades de los clientes. También proporciona una base Idgica que ayuda a los profesionales a responder de las decisiones toma- das en el curso de un servicio. Su principal Jimitacién es que la colaboracién imprescindible entre el eva- luador y el que toma las decisiones puede conducir a una distorsién de los resultados. La metaevaluacién externa (la evaluacién de la evaluacién) se em- plea para contrarrestar estas posibles desviaciones.74 | Evaluacién sistemética Estudios centrados en el cliente Mientras que el estudio de orientacién de decisién est4 concebido casi sie pre para los niveles administrativos, m4s que para el personal de una dione cién, ya que existe més autoridad decisoria en los niveles més altos, el mé. todo que se base en el cliente se preocupa mds de «ddnde estd Ia accién». Los estudios relacionados con este enfoque se centran principalmente en ayudar a aquellos que realizan un servicio cotidiano a valorar y perfeccionar sus cop. tribuciones. Los organizadores previos son las preocupaciones y problemas del programa del servicio. El propésito del estudio es ayudar a la gente que forma parte de un servicio local a comprender cémo funcionan las actividades de sx servicio y el grado en que estos servicios son respetados por los expertos y valorados por los clientes. Los problemas planteados por este tipo de estudios proceden de la comu- nidad y de grupos locales, asi como de expettos ajenos al caso. En general, los grupos desean conocer la historia y la situacién de un determinado programa de servicios, asf como la manera en que ha sido enjuiciado por distintos gru- pos de clientes. Los métodos més frecuentemente utilizados en este tipo de estudios son el estudio de casos, informes contrapuestos, sociodramas y lo que STAKE (1975) llama «evaluacién respondente». STAKE (1967) es el pionero de este tipo de estudios, y su método ha sido desarrollado por MacDonatp (1975) en Inglaterra, RippEY (1973) y, mas recientemente, Gua (1978). En la unidad 7, realizamos un extenso repaso y andlisis de las propuestas de Stake para la conceptualizacién y la realizacién de un trabajo evaluativo. La mayor virtud de este método es que se trata en la que se ayuda a la gente que realiza programas a dirigir sus propias luaciones. Su principal defecto es su ausencia de credibilidad externa y posibilidad de ser manipulado por ciertos elementos locales que, en efecto, ejercen un gran control sobre la evaluacién. de una investigacién activa eva: la Estudios politicos : Consideramos el estudio politico como el tercer gran modelo de evalux cién verdadera. Hemos clasificado asi este método porque sirve pata identi- ficar y valorar los méritos de varias politicas que compiten en una sociedad © segmento social. El organizador previo de un estudio politico es un deter- minada cuestion politica, como por ejemplo, ¢cudl es el mejor 0, al menos, ed método mis efectivo de satisfacer las directrices federales en lo que @ igualdad de oportunidades educativas se refiere? El propésito de un estudio politico €s, por lo general, describir y valorar los costos y beneficios potencialesMétodos alternativos de evaluaclén | 75 diversas politicas aplicables a una institucién determinada o a la sociedad. Los legisladores, las asociaciones polfticas y los grupos especialmente inte- resados son los que, mds a menudo, plantean las cuestiones en un estudio politico. Una de sus preguntas principales es: gcudl de entre dos o ms polf- ticas distintas lograré con mayor éxito resultados validos a un coste razonable? Los métodos utilizados en los estudios politicos incluyen la Delphi Technique (descrita por ANDERSON, BALL, Murpny y otros, 1973), la planificacién ex- perimental y cuasiexperimental, los guiones, los prondsticos y los procedimien- tos judiciales. Joseph Rice (en ANDERSON y otros, 1973) puede ser considerado el pio- nero en esta drea, puesto que, alrededor de 1900, dirigié unos estudios a gran escala con el fin de que el sistema educativo determinara si era conveniente o no continuar centrdndose primordialmente en Ja ortograffa. Otras personas que colaboraron en la creacién de una metodologfa para la realizacién de es- tudios politicos fueron ConeMaNn, CAMPBELL, Hosson, McPartanp, Moor, WetnreLp y York (1966); Jenxs, SmrrH, ADAND, Bane, CoHEN, GINTIS, Heynes y MIKELsoN (1972); Clark (1965); OwEns (nota 1); WoiF (1973), y Werss (1972). La unidad 10 describe el modelo de estudio recomendado por Owens y Wolf y lo que nosotros consideramos un método de estudio po- litico, La principal ventaja de los estudios polfticos es que resultan esenciales como gufa de las instituciones y de la sociedad. Su principal inconveniente es que, una vez més, acaban corrompidos o subvertidos por el ambiente poli- tico en el que se desarrollan. Estudios basados en el consumidor En este tipo de estudios, el evaluador es el «inteligente sustituto del con- sumidor». Los organizadores previos son los valores y necesidades de la so- ciedad. El propésito de un estudio basado en el consumidor es juzgar los va- lores relativos de los bienes y servicios alternativos y, como consecuencia, ayudar a los contribuyentes y clientes a saber elegir en sus adquisiciones de esos bienes y servicios. Los problemas planteados por este tipo de estudios estén relacionados con la sociedad, con los que forman parte de los servicios institucionales y espe- cialmente con las premisas del evaluador. Su principal pregunta es: gcudl de los muchos objetos de consumo alternativos es mejor comprar dado su coste, las necesidades del grupo consumidor y los valores de Ja sociedad en general? Los métodos incluyen listas de control, la valoracién de las necesidades, la evaluacién de los objetivos, la planificacién experimental y cuasiexperimental, el andlisis del modus operandi y el anélisis de los costes (SCRIVEN, 1974). Otro método popular para el consumidor externo e independiente consiste en re-76 =| Evaluacién sistemética comendar la obtencién de conclusiones a i : | Ob Partir de estudi nanciados publicamente, tion de Programas §. ScRIVEN (1967) fue el ptimero en aj cién, y existen grandes paralelismos entre su trabajo del consumismo, Glass ha desarrollado ctideghameee aoe 4 Una de las principales ventajas de este método es que ea : d valoracién sélida e independiente concebida Para proteger a los conn ido de productos y servicios de muy baja calidad. El método goza eae credibilidad entre los grupos de consumidores, Su principal dl eSieriata a puede llegar a independizarse tanto de quienes lo practic nace , e aN que quizd no pueda ayudarles a la hora de setvir mejor a los consumidores, Ademiés, este tipo de estudio requiere un experto que sea competente y en el que se pueda confiar, ademés de Jos recursos suficientes que le permitan realizar un estudio minucioso. A menudo, este método es demasiado costoso como para ser lle. vado a cabo y da como resultado datos imperfectos y poco fiables. plicar este tipo de estudio la educa. el campo Sctiven, Conclusié6n Esto completa nuestra revisién de los que consideramos los tres principa- les acercamientos a la evaluacién. Los diversos tipos de estudio descritos en este libro estén contenidos en el comentario de estos enfoques. Insistimos en que ninguno de estos tres métodos se corresponde con la pseudoevaluacidn. En resumen, las ideas y procedimientos evaluativos que TYLER (unidad 3) y sus seguidores, METFESSEL y MicHacL (unidad 3), y Hammonp y SUCHMAN (unidad 4), proponen mds adelante, son ejemplos de cuasievaluacién. Los re comendados por CronpacH (unidad 5), SrurFLEBEAM (unidad 6), STAKE (unidad 7), Owens (unidad 8) y Scriven (unidad 10) se corresponden con nuestra descripcién de la verdadera evaluacién, Muchos de los procedimientos evaluativos recomendados por Weiss —particularmente los que se refieren a las relaciones politicas e interpersonales— coinciden casi totalmente con aes tro concepto de evaluacién verdadera. En términos generales, creemos eal autores que recomiendan un método holfstico de evaluacién, como MacDo- NALD y STAKE (unidad 9), defienden también ejemplos de verdadera evaluacién, con tal que la ausencia de la credibilidad externa sea reconocida. Glos Como se afirma al principio de esta unidad, un anilisis de estos mo cs de estudio tiene importantes implicaciones tanto para el que los are “ para ¢l que estudia la evaluacién resultante. Ambos necesitan wan s one capacidad de valorar y aplicar planes de evaluacidn, modelos, ee fees aparecen en la literatura evaluativa. Este estudio no sélo debe ae Te inet alternativos que uno puede escoger o adoptar, sino que también del vs mentar Ja sensibilidad a la bora de localizar las virtudes, los defects de diferencias entre los diversos esquemas, Y debe aumentar la capacicaMétodos alternativos de evaluacién | 77 alerta y resistencia ante los modelos que supongan algiin tipo de subterfugio (las pseudoevaluaciones). Los evaluadores deben tener particularmente en cuenta que quizd se en- cuentren con dificultades considerables si su concepcién del estudio que estén llevando a cabo difiere de la de sus clientes o audiencias, Con frecuencia, los clientes desean un estudio politicamente ventajoso (pseudoevaluacién), mien- tras que los evaluadores prefieren realizar estudios basados en cuestiones con-" cretas (cuasievaluacién), puesto que ello Jes permite aplicar la metodologia para la que se han preparado. Ademés, los consumidores de los servicios que se estén valorando desean, por lo general, estudios basados en los valores (verdadera evaluacién), que les ayuden a determinar la valfa relativa de los distintos bienes y servicios o juzgar el mérito y el valor de un programa u ob- jeto dados, Si los evaluadores ignoran este tipo de posibles conflictos, la eva- luacién, probablemente, estaré condenada al fracaso desde el principio. La moral debe ser lo primero en un estudio, y los evaluadores deben atender tanto a lo que ellos piensan, como a lo que piensan los clientes y la audien- cia, Es més, los evaluadores deben avisar a las partes implicadas de los po- sibles conflictos que pueden producirse en lo que se refiete a los propésitos y la realizacién del estudio, y legar, desde un primer momento, a un acuerdo comtin. Las alternativas presentadas pueden ser, perfectamente, tanto un estu- dio cuasievaluativo destinado a valorar cuestiones concretas, como una verda- deta evaluacién destinada a buscar cualquier evidencia que pueda ayudar al cliente y a la audiencia a enjuiciar el valor de un objeto. De cualquier manera, no es crefble que los estudios inspitados y controla- dos politicamente sean apropiados para la evaluacién de Ja salud, el bienestar y la educacién. Indudablemente, pueden ser necesarios en la administracién y en las relaciones piiblicas, pero no deben ser confundidos con —o sustituidos por— la evaluacién, Finalmente, es imprescindible recordar que ningtin tipo de estudio es siempre el mejor a la hora de evaluar algo. Otra cuestién que se desprende del examen de los diversos tipos de estudio presentados en este libro es que tienen, a la vez, virtudes y defectos. En general, los defectos de los estudios orientados politicamente es que son faciles de manipular por per- sonas sin escriipulos, y esto puede contribuir a que la audiencia llegue a falsas conclusiones al desarrollar una opinién particular sobre el valor de un progra- ma que acaba siendo infundada y quiz4 falsa. El principal problema de los estudios basados en cuestiones concretas es que, a menudo, plantean pregun- tas de un alcance més limitado que el que en realidad serfa necesario para un verdadero enjuiciamiento del valor. De todos modos, también resulta notable que estos tipos de estudios sean frecuentemente superiores, en la eficiencia de la metodologfa y la adecuacién técnica de la informacién empleada, a los verdaderos estudios evaluativos, Finalmente, los estudios basados en valores realizan una tarea muy ambiciosa, Por ello es virtualmente imposible enjuiciar | verdadero valor de cualquier objeto,’ Un logro completo requerirfa omnis- el7 © Evaluacién sistemética cencia, infalibilidad y una perspectiva de valoracién singularmente perfects Sin embargo, 20 olvidarse nunca de las cuestiones referentes al valor es Clerta. mente esencial para el progreso de la sociedad. Test de conocimientos sobre la unidad 2 Siguen ahora cuatro preguntas con respuestas a clegir y doce afirmaciones para cotejar que han sido concebidas para ayudarle a comprobar ¥ consolidar su dominio de os contenidos de la unidad 2, Le rogamos que, en cada pre. genta, rodee con un cfrculo la letra que usted considere la mejor respuesta, y después compruebe su eleccién compardndola con las explicaciones de las Fespuestas correctas ¢ incorrectas que siguen a cada pregunta. Las preguntas van seguidas de una tabla de puntuacién. Cuando haya respondido a todas las preguntas, se le danin instrucciones para que revise (y, en su caso, perfeccione) el conjunto de su trabajo. Luego debera intentar realizar una serie de ejercicios practicos. La unidad concluye con varias «Preguntas sin respuesta» y una lista de lecturas recomendadas, Prscunra 1, ¢Cudl de las siguientes caracteristicas de la evaluacién coin- cide mejor con el modo en que la hemos definido en esta unidad? 4) Las evaluaciones deben centrarse en determinar ef valor o el mérito de un objeto, independientemente de los intereses o deseos de cualquier grupo. 4) La responsabilidad principal y casi exclusiva de los evaluadores profesio- nales es responder a las preguntas planteadas por sus clientes, ¢) Los evaluadores deben evitar plantear cuestiones que ya han sido el foco de atencién de otras evaluaciones, puesto que esta prdctica no ayuda a ampliar los conocimientos, @) Los evaluadores deben realizar tanto un amplio enjuiciamiento del valor y el mérito de un objeto, como satisfacer las necesidades informativas de sus clientes. Respuesta correcta. Debe usted haber escogido la «d». La definicién de evaluacién que se da en la unidad 2 supone que el evaluador debe tener autori- dad para valorar todo lo que sea necesario a la hora de enjuiciar el valor o el mé- tito de un ebjeto, pero también insta al evaluador para que la evaluacién des- taque la informacién que pueda prestar un mejor servicio al grupo de clientes.Métodos alternativos de evaluacién | 79 Respuestas incorrectas Es incorrecta porque esta unidad subraya que Ja verdadera evaluacién a) i " . : supone tanto servir a los clientes como hacer valoraciones de conjunto. 5) Es incorrecta por Ja misma razén proporcionada en la respuesta «a». c) Es incorrecta porque la definicién de evaluacién que se da en esta unidad no excluye ningun tipo de informacién mientras incluya cuestiones acer- ca del mérito y el valor del objeto de interés y pueda ser utilizada por el grupo de clientes. Precunta 2. ¢Cudl de las siguientes caracteristicas no corresponde a las pseudoevaluaciones? a) Deben suponer el ocultamiento o la divulgacién selectiva de los resultados. 5) Deben incluir, a menudo, informes valorativos, ptblicos e independien- tes, del mérito y el valor de Ja evaluacién. A menudo inventa las conclusiones con el fin de ganarse el apoyo para un producto o servicio determinado. d) Puede incluir la recopilacién de una informacién fidedigna y de gran validez. c) Respuesta correcta. Debe usted haber escogido la «bh». Desde el momento en que las pseudoevaluaciones, por definicidn, son utilizaciones inadecuadas de la evaluacién realizadas por ciertas personas con el fin de alcanzar sus metas, el trabajo evaluativo jams se somete a un escrutinio publico e independiente, excepto en el caso de que quien haya realizado Ja pseudaevaluacién no sélo catezca de ética, sino también de inteligencia. Respuestas incorrectas a) Es incorrecta porque ocultar o revelar parcialmente las conclusiones es la caracterfstica esencial del tipo de estudio pseudoevaluativo conocido con el nombre de investigacién encubierta. c) Es incorrecta porque el tipo de pseudoevaluacién denominado estudio de relaciones pblicas supone precisamente la utilizacidn manipuladora de la evaluacién con el fin de conseguir los propios objetivos. d) Es incorrecta porque, en las investigaciones encubiertas, la ofensa previa que se realiza contra Ja utilizacién ética de la evaluacién no concierne a la calidad de los datos recopilados, sino a la presentacién de las conclu- clusiones, que tiende a desvirtuar su mensaje.60 | Evaluacién sletemética Precunta 3. ¢Cudl de las siguientes caracteristicas #0 se corresponde con un estudio cuasievaluativo? a) Plantea una amplia gama de cuestiones acerca del valor y el mérito del abjeto de interés. — b) Estd pensado pata responder algunas preguntas concretas planteadas antes de empezar la biisqueda de informacién. ; c) Le informacién obtenida puede o no puede ser suficiente para apoyar con pruebas el presunto valor del objeto de interés. d) Existen usos legftimos de los resultados de ciertos estudios. aber escogido la «a», De acuerdo con le los estudios cuasievaluativos ¢s, a de apoyo a juicios de valor Respuesta correcta. Debe usted hi esta unidad, le informacién recogida d menudo, demasiado restringida como para servir acerca del objeto de interés. Respuestas incorrectas b) Es incorrecta (la afirmacién es caracteristica de la cuasievaluacién) porque las cuasievaluaciones empiezan comunmente con una cuesti6n concreta, y luego emplean métodos que dardn respuesta a la cuestién; sdlo al final del estudio el evaluador puede considerar si la informacién obtenida es suficiente para servir de apoyo a juicios sobre el valor y el mérito del objeto. ¢) Es incorrecta porque mientras la informacién recopilada para responder a cuestiones concretas es, a menudo, demasiado reducida como pata servir de apoyo a amplios juicios de valor, a veces las cuestiones tienen el su- ficiente alcance como para servir de gufa para la recopilacién de la amplia gama de informacién necesaria para servir de apoyo a juicios sobre el valor y el mérito, d) Es incorrecta porque las cuasievaluaciones se utilizan legitimamente ayu- dando a los clientes a responder a cuestiones que son importantes para ellos, sea o no suficiente la informacién obtenida para servir de apoyo a amplios juicios de valor, Precunta 4. ¢Cuél de las siguientes afirmaciones no es caracterfstica de las verdaderas evaluaciones? a) Su planificacién incluye garantfas contra la recopilacién y publicacién de resultados tendenciosos, 6) Generan consecuentemente una amplia gama de informacién.Métodos alternativos de evaluacién | 81 c) Mientras las cuasievaluaciones, a menudo, renuncian a la recopilacién de una amplia gama de informacién en favor de la recogida de datos que resulten de mucho interés para unas pocas cuestiones en concreto, las verdaderas evaluaciones sacrifican a menudo un poco de rigor con el fin de obtener una informacién que resulte relevante para los juicios sobre el valor y el mérito. d) El método més cominmente utilizado en la verdadera evaluacién es la verdadera experimentacién. Respuesta correcta. Debe usted haber seleccionado la «d», La experimen- tacién es un método utilizado a veces en la verdadera evaluacién, pero por lo general se utiliza junto con otras técnicas, como la revisién de documentos, la inspeccién, el estudio de casos, las visitas y las audiciones. La experimenta- cién, ciertamente, no es la técnica mas utilizada en las verdaderas evaluaciones. Es mds, no hay ninguna técnica que se utilice mds que otra en este método, porque la eleccién de técnicas es casi siempre pragmatica y ecléctica. Respuestas incorrectas a) Es incorrecta (esta afirmacién es caracterfstica de la verdadera evaluacién) porque existe un acuerdo para asegurar que la verdadera evaluacién sea solvente, justa y util, b) Es incorrecta porque, por definicién, las verdaderas evaluaciones son in- tentos de obtener y presentar una gama lo suficientemente amplia de informaciédn como para servir de apoyo a afirmaciones acerca del valor y el mérito de un objeto de interés. ¢) Es incorrecta porque siempre debe renunciarse a algo en el trabajo eva- luativo, y porque quienes realizan cuasievaluaciones de alcance muy li- mitado encuentran mas facil conseguir que sus resultados sean mds exac- tos, que aquellos que, pretendiendo realizar verdaderas evaluaciones, deben distribuir su tiempo y sus recursos entre las a menudo desagrade- cidas tareas de recopilar toda la informacién requerida para servir de apoyo a amplios juicios de valor. Precuntas 5 a 16. De la lista de modelos de estudio que facilitamos més abajo, seleccione la que mejor se puede aplicar a cada descripcién proporcio- nada en los nimeros 5-16. En el espacio que aparece a la izquierda de cada descripcin escriba la letra correspondiente al modelo de estudio seleccionado. Puede utilizar una respuesta mds de una vez. A. Investigacién encubierta. B. Estudio basado en las relaciones puiblicas.~~ 42 | Evaluacién sistemética mommoo — 5. . | 11 || 11, 12. 13. 14. 15. 16. Estudio basado en los objetivos. Estudio basado en la experimentacién. Estudio basado en las decisiones. Estudio centrado en el cliente. Estudio politico. Estudio orientado hacia el consumidor. Las cuestiones que sirven de gufa estan asociadas con las necesi- dades que deben satisfacerse, los méritos relativos de eada uno de los modos en que las necesidades pueden ser expuestas, la idone}. dad del programa de realizacién y el alcance y calidad de los re. sultados. Este modelo de estudio valora los productos y servicios desde ad punto de vista de quienes van a beneficiarse de la utilizaciin de 60s productos y servicios. Este modelo de estudio esté pensado para ayudar a los clientes 4 obtener una informacién exacta que puedan controlar y seleccio- nar para alcanzar sus objetivos. Este modelo de estudio ha monopolizado los esfuerzos realizados para sistematizar Ia evaluacién. Los principales problemas de este modelo de estudio consisten en que, a menudo, no es operativo a la hora de construit teorlas y en que ofrece una gama muy estrecha de informacién. Este tipo de estudio se centra en donde se encuentra la «accién> yen las cuestiones o problemas planteados por el producto o set- vicio que se evaltia, vistos desde la perspectiva de varios clientes, Este modelo de estudio podrfa conocerse por «creacién de imagen», Este modelo de estudio esté ejemplificado por un estudio que ha sido pensado para identificar y valorar dos 0 més propuestas le- gales referentes a la salud de los mas necesitados. Este modelo de estudio fue basicamente desarrollado por Tyler. Este modelo de estudio ha sido recomendado por Scriven y Nader. Robert Stake ¢s el principal representante de este tipo de estudio. Cronbach y Stufflebeam han recomendado este modelo de estudio. Respuestas correctas. Debe usted haber respondido como sigue, por las ra- zones expuestas: E 5. H 6. Todo Jo que se refiere a las necesidades, los planes alternativos, la realizacién de los planes y los resultados, configura las principa- les categorfas de informacién relacionadas con la conceptuatizacion orientada hacia la decisién evaluativa de Stufflebeam. Las valoraciones hechas desde Ia perspectiva del consumidor, conF G H 10. 11, 12. 13. 14. 15. 16. Métodos alternativos do evaluacin | 83 el evaluador actuando como un avezado sustituto del consumidor, es precisamente lo que supone una evaluacién orientada hacia el consumidor. Las investigaciones encubiertas deben manejar tanto una informa- cién exacta como una seleccién de informaciones, El estudio basado en objetivos, recomendado por Tyler, ha sido la estrategia dominante para evaluar programas desde los afios cuarenta. Los estudios orientados experimentalmente utilizan planificaciones que incluyen controles de laboratorio, que a menudo no pueden dedicarse a la creacién de teorias porque ello interferirfa en el rendimiento del servicio y que comtinmente se centran en sdlo unas pocas y cuidadosamente definidas variables, dependientes ¢ independientes, lo cual proporciona una gama de informacién ver- daderamente reducida, El método evaluativo de Stake, centrado en el cliente, consiste primordialmente en un cuidadoso estudio del funcionamiento de un programa de operaciones y se dedica a proporcionar informa- cién constante a los que estén implicados ¢ interesados en el pro- grama en cuestién. El modelo de estudio inspirado en las relaciones publicas se dedica a recopilar evidencias y presentar informaciones que puedan servir de apoyo al objeto; no intenta proporcionar un perfil veraz, sino una imagen positiva. Los estudios orientados politicamente calculan y valoran los cos- tes relativos y los beneficios de dos o mds propuestas politicas, como por ejemplo estrategias opcionales para proporcionar cuida- dos sanitarios a los mds necesitados. Ralph Tyler es la persona mas mencionada en la literatura evalua- tiva como responsable de la concepcidn del trabajo evaluativo ba- sado en objetivos cuidadosamente fijados, Los estudios orientados hacia el consumidor son coherentes con Ja filosofia evaluativa defendida por Scriven y con la mayorfa de los productos y servicios que Ralph Nader y sus colaboradores han dirigido. El modelo centrado en el cliente es coherente con lo que se des- prende de la filosoffa evaluativa de Robert Stake, mds conocida por «evaluacién respondente». Tanto Cronbach como Stufflebeam han propuesto un método eva- Juativo que sirve como guia para la toma de decisiones. CALIFICACION DEL TEST DE CONOCIMIENTOS, Una vez terminado el test de conocimientos, le sugerimos que cuente el ntimero de respuestas correctas.84 | Evaluaci6n sistemética Asi, evaluaremos su trabajo inicial tal como sigue: 15-16, excelente; 13,1 muy bien; 10-12, bien; 7-9, regular; y 0-6, mal. 4, ‘Cuando haya obtenido una estimacién aproximada de su trabajo inicial, recomendamos que dirija su atencién hacia las cuestiones que ha errado. Ip sugerimos que relea cada una de estas cuestiones y su respuesta correcta, Joego revise el material del texto con el fin de mejorar su comprensicn ee los conceptos que incluye. Ejercicios practicos Este apartado contiene ejercicios précticos que han sido pensados para ayudarle a saber si ha comprendido usted nuestra presentacin y andlisis de las conceptualizaciones alternativas de la evaluacién, Cada una de las cuestiones va seguids de una respueste-muestra o de una lista de puntos importantes gue usted ha debido incluir en su respuesta, La revisiOn de estas respuestas le ayudardn a valorar las suyas. Eyexcicto 1. La tabla de informacién, parcialmente completa, que va a continuacién contrasta los modelos de estudio en seis puntos distintos. De muestre su dominio de los parecidos y las diferencias esenciales entre estos modelos sftadiendo la informacién que falta, Estudios Estudios Estudios orientados orientados Estudios Modelos basados en bacia las bacia el centrados en ée estudio los objetivos decisiones consumidor el cliente Organizadores Objetivos previoe Propésito Proporcionar los conocimientos suficientes y una base valorativa para tomar y justficer decisiones Procedencia de La sociedad en las cuestiones gencral, los consumidores y el evaluador Cuestiones Cul os Ta principales historia de ua programa y eax