0 evaluări0% au considerat acest document util (0 voturi)
124 vizualizări21 pagini
Este documento presenta y discute los elementos definitorios de la investigación evaluativa en el contexto del cambio social. Define el alcance y objetivos de la investigación evaluativa, y describe las principales visiones y modelos desde los cuales operan los investigadores. También utiliza un proyecto de evaluación del sistema deportivo de La Rioja como ejemplo para ilustrar los elementos identificativos de la investigación evaluativa discutidos en el documento.
Este documento presenta y discute los elementos definitorios de la investigación evaluativa en el contexto del cambio social. Define el alcance y objetivos de la investigación evaluativa, y describe las principales visiones y modelos desde los cuales operan los investigadores. También utiliza un proyecto de evaluación del sistema deportivo de La Rioja como ejemplo para ilustrar los elementos identificativos de la investigación evaluativa discutidos en el documento.
Este documento presenta y discute los elementos definitorios de la investigación evaluativa en el contexto del cambio social. Define el alcance y objetivos de la investigación evaluativa, y describe las principales visiones y modelos desde los cuales operan los investigadores. También utiliza un proyecto de evaluación del sistema deportivo de La Rioja como ejemplo para ilustrar los elementos identificativos de la investigación evaluativa discutidos en el documento.
CLAVES IDENTIFICATIVAS DE LA INVESTIGACIN EVALUATIVA:
ANLISIS DESDE LA PRCTICA
Toms Escudero Escorza Universidad de Zaragoza RESUMEN: Se presentan y discuten los elementos definitorios y de identifi- cacin ms importantes de la investigacin evaluativa en las ciencias sociales y en educacin en particular, ubicndola en un contexto de cambio y mejora sociales. Desde esta posicin y con esta orientacin estratgica, se define el alcance y el mbito de trabajo de la investigacin evaluativa, y se presentan y describen las principales visiones y modelos desde los que actan los investi- gadores, sealando sus caractersticas distintivas y elementos de diferencia- cin. Un proyecto de evaluacin del sistema deportivo riojano sirve como referencia y apoyo para descubrir en una investigacin evaluativa real los ele- mentos identificativos antes presentados, as como para ofrecer una reflexin metaevaluativa. ABSTRACT: In the context of social change and improvement, the most important elements to define and identify evaluation research in social sciences and education are presented and commented. From this position and with this strategic orientation, the scope and space of work of evaluation research are defined, and main visions and models used by researchers are presented and described, with indication of distinctive and differentiation characteristics. An evaluation project of the sportive system of La Rioja is used as a reference and help to discover those identification elements, already presented, in a real evaluation research project, and also to offer a metaevaluative reflection. No hay duda de que, en los ltimos aos, la investigacin evaluativa se ha con- vertido en una de las lneas ms relevantes de trabajo en el mbito de las ciencias sociales, en general, y en el de la educacin en particular. Cada vez son ms los investigadores que trabajan en este campo, y muchos ms los que incorporan en sus planteamientos principios, criterios y estrategias de trabajo resaltados por la investi- gacin evaluativa. CONTEXTOS EDUCATIVOS, 8-9 (2005-2006), 179-199 179 Contextos Educ., 8-9 (2005-2006), 179-199 En este artculo queremos presentar y reflexionar sobre algunas de las claves, ele- mentos o caractersticas que entendemos son ms definitorias de lo que hoy se entiende por investigacin evaluativa, o evaluacin en sentido amplio, tras los innu- merables cambios conceptuales y metodolgicos que han tenido lugar en este campo desde finales del siglo XIX (Escudero, 2003a). Para ello, nos vamos a servir de un trabajo indito, realizado hace unos aos, de evaluacin del sistema deporti- vo, incluido el escolar, de la Comunidad Autnoma de La Rioja, porque contiene elementos de reflexin practica abundantes sobre gran parte de las claves de la investigacin evaluativa que queremos analizar. Pudiera extraar que hayamos tomado como apoyo un ejemplo no exclusiva- mente del mbito educativo, pero lo hacemos as para resaltar que la investigacin evaluativa, aunque haya tenido un desarrollo especialsimo en educacin, se trata de un fenmeno de incidencia ms amplia y transcendente, sobre todo, para todo el conjunto de las ciencias sociales. Pero no debemos olvidar que este trabajo no centra su inters primordial sobre el estudio del sistema deportivo riojano, que slo es un soporte, entendemos que adecuado, para analizar algunas claves de la investigacin evaluativa, que s es nuestro principal centro de inters. 1. EN CONTEXTO DE CAMBIO SOCIAL Pretender definir la investigacin evaluativa con una simple frase, delimitndola de manera precisa de otros enfoques o mbitos investigadores, resulta difcil, porque existen muchas zonas de contacto, que hacen borrosa la distincin. As por ejem- plo, la investigacin educativa y la investigacin social aplicadas tienen muchos ele- mentos definitorios en comn con la investigacin evaluativa, aunque aparezcan matices diferenciadores. Solamente resaltando los elementos ms especficos de la investigacin evaluativa seremos capaces de establecer un perfil definitorio vlido y til para encuadrar el trabajo cientfico en este campo de desarrollo creciente. Lo primero que queremos resaltar, y de ah el ttulo de este apartado, es que la investigacin evaluativa se encuadra en un contexto de cambio y ms concreta- mente, en un contexto de cambio social. Este hecho, elemento definitorio primor- dial, est en su propia raz paradigmtica (Carr y Kemmis, 1983; Morin, 1985; De Miguel, 1988; Nisbet, 1988; Fishman, 1991; Worthen y otros, 1997) y, adems, es un elemento reconocible en los trabajos o estudios que aparecen en este campo (Cracknell, 2000; Fernndez-Ballesteros, 2001; Escudero, 2003b). Para perfilar este marco de actuacin, nos conviene recordar aqu los elementos definitorios del que Fishman ha denominado como paradigma pragmtico, hbrido entre el experimental y el hermenutico, en el que la investigacin evaluativa se sus- tenta. Estos elementos son los siguientes: a) Fundamentacin epistemolgica en el construccionismo social. b) La ideografa como modo bsico de investigacin. c) La solucin de problemas concretos como finalidad. d) Se investiga sobre todo en situaciones naturales. TOMS ESCUDERO ESCORZA 180 Contextos Educ., 8-9 (2005-2006), 179-199 e) Se emplean tanto datos cuantitativos como cualitativos. f) El principal nivel de anlisis es molecular. g) La observacin es la principal fuente de conocimiento. h) Se trabaja con grandes volmenes de datos. i) Se enfatiza la predictibilidad de la conducta. j) Se busca la mejora de los programas sociales. k) Se informa a los responsables de tomar decisiones sobre programas y prcticas. Aunque este paradigma se conceptualiza como tal, al menos formalmente, ms recientemente, la investigacin evaluativa comienza su andadura como disciplina acadmica a mediados del siglo XX. Kish (1987) seala que existan algunas activi- dades anteriores, pero marca el nacimiento formal de la investigacin evaluativa en 1955, en el International Social Science Bulletin. Aos despus empiezan a apa- recer artculos y algunos manuales (Herzog, 1959; Suchman, 1967; Wright, 1967; Weiss, 1972); mientras que hoy se trata de un campo acadmico muy pujante, con revistas, asociaciones cientficas, cursos y textos mltiples (Berk y Rossi, 1990; Clar- ke y Dawson, 1999). Otros autores como Gredler (1996), ubicaran el comienzo de la investigacin evaluativa en 1932, con el comienzo del estudio de seguimiento de ocho aos en treinta escuelas (Eight-Year Study), dirigido por Ralph W. Tyler, pues lo consideran el primer estudio en el que se lleva a cabo una evaluacin de programas. Un sello de la investigacin evaluativa moderna es la aproximacin cientfica para evaluar el rendimiento de los programas Wright (1967). En este sentido, la investigacin evaluativa se equipara a otras formas de investigacin social, pero la especificidad viene de los objetivos y de las condiciones de realizacin. Para enten- dernos ms claramente, digamos que se consideran programas sociales los de epi- demiologa y salud (Susser, 1975), pero no estudios biolgicos de laboratorio con animales, por ejemplo. En los aos cincuenta y primeros sesenta se hablaba principalmente de evalua- cin de programas sociales y, de hecho, una denominacin habitual de este campo de trabajo ha sido durante bastante tiempo la de evaluacin de programas, pero finalmente se ha impuesto el trmino de investigacin evaluativa, porque recoge mejor la amplitud del campo, mientras que la evaluacin de programas se limita a la investigacin evaluativa directamente relacionada con programas sociales (Owen y Rogers, 1999). La evaluacin existe para facilitar la toma de decisiones inteligente (Edwards y otros, 1975), de forma que si no se cumple esto en el contraste entre programas que compiten, pierde su especificidad. La investigacin evaluativa, entonces, es un tipo especial de investigacin social en relacin con los programas, planes e institucio- nes sociales y con la toma de decisiones. En este contexto, es lgico, tal como se hace hoy (McClintock, 2003; Calderon, 2004), definir al evaluador como un agen- te del cambio. Hace unos aos, Kish (1987) sealaba las principales notas distintivas de la investigacin evaluativa, tomando como referencia de comparacin la investigacin social en general y destacaba las siguientes: CLAVES IDENTIFICATIVAS DE LA INVESTIGACIN EVALUATIVA: ANLISIS DESDE LA PRCTICA 181 Contextos Educ., 8-9 (2005-2006), 179-199 a) La investigacin evaluativa tiene que ver con las polticas de accin social, locales, nacionales e incluso internacionales. b) En la investigacin evaluativa tiene lugar la cooperacin entre una agencia responsable del programa de accin social y el equipo de investigacin res- ponsable de la evaluacin. Pero se necesita cierta separacin entre los inves- tigadores y la agencia para facilitar la objetividad de la investigacin y asegurar la percepcin pblica de la misma. A veces es necesario un patroci- nador intermedio. Pero la colaboracin entre todas las partes es vital. La agen- cia es responsable de los objetivos del estudio y el equipo de llevarlo a cabo bajo presupuestos cientficos. c) La eleccin de tratamientos y procedimientos de observacin est condicio- nada por las necesidades prcticas de evaluar la eficacia del programa estu- diado. En este sentido, el evaluador no tiene tanta libertad prctica para disear su estudio como otros investigadores. Entre otros aspectos, el evalua- dor se ve obligado a trabajar en el contexto natural del programa. d) La temporalizacin suele ser un asunto delicado en la investigacin evaluati- va. En primer lugar diremos que es difcil terminar la investigacin y sugerir decisiones al respecto, antes de que el programa se ponga en marcha, por mucho que esto sea deseable. Por otra parte, cambiar o desmantelar un pro- grama en funcionamiento encontrar siempre obstculos incluso cuando falle, porque las crticas son una medicina amarga para los participantes. Adems, cuando un programa afecta a una poblacin muy amplia, el control emprico se complica. e) La evaluacin existe para facilitar la toma de decisiones inteligente, pero esti- mar la eficacia de un programa es algo ms que la medicin de sus efectos. No basta con detectar efectos, hay que precisar su tamao. A menudo los efec- tos de un programa son mltiples, incluso negativos que deben ser balancea- dos con los positivos. Tambin hay que buscar la deteccin de efectos no esperados (serendipity). Hay que analizar la eficacia en relacin a los costos, eficiencia, y desde mltiples perspectivas. f) La difusin de la investigacin evaluativa sigue unos cauces diferentes que la investigacin convencional. A la agencia se le debe informar a plazo fijo, mientras que al gran pblico se le suele retardar o incluso esconder la infor- macin, muy a menudo reservada. g) Las caractersticas antes mencionadas de la investigacin evaluativa, limita- ciones, decisiones, rapidez, etc., a veces entran en conflicto con las normas de la investigacin acadmica. Los equipos evaluadores necesitan indepen- dencia y objetividad, real y en cuanto a imagen. Para lograr esto se han pro- bado distintas formas de organizacin, como los equipos aislados de investigacin dentro de agencias pblicas, con independencia y reputacin garantizadas (Converse, 1986), pero esto es un terreno en el que todava siguen existiendo problemas. [Esto nos trae a la mente un punto de actual debate en nuestro pas, como es el problema de enmarque legal, ubicacin y entronque institucional de la Agencia Nacional de Evaluacin de la Calidad y Acreditacin (ANECA) y de las diferentes Agencias Autonmicas]. TOMS ESCUDERO ESCORZA 182 Contextos Educ., 8-9 (2005-2006), 179-199 Carol H. Weiss, uno de los mximos referentes en el campo de la investigacin evaluativa, sobre todo en los primeros setenta (Weiss, 1970, 1972, 1973, 1975 y 1998), no slo se alinea con posiciones parecidas a las que acabamos de describir, sino que va un poco ms all, enfatizando el obligado entorno poltico de la investi- gacin evaluativa. No basta hablar de entorno social, es necesario hablar de entorno sociopoltico, nos viene a decir. En primer lugar, porque la investigacin evaluativa trata con objetos, programas, instituciones, etc, que son criaturas polticas, de impac- to poltico. En segundo lugar, porque la evaluacin se hace para alimentar la toma de decisiones y, por lo tanto, sus informes entran en la arena poltica, compitiendo con otros elementos y factores intervinientes en el proceso. Finalmente y en tercer lugar, por algo que segn Weiss es menos reconocido, esto es, porque la propia evaluacin tiene un sentido poltico en s misma. Por su propia naturaleza, la evaluacin toma posiciones polticas implcitas sobre la naturaleza de los programas, la legitimidad de sus objetivos, de sus mtodos, la utilidad de las estrategias de reforma propuestas, e incluso la influencia lgica del cientfico social en la poltica. Este ltimo argumento de Weiss entendemos que puede matizarse, pero s que creemos que ni el evaluador se mueve en un contexto neutro, ni el objeto que ana- liza es inmune a presiones que se escapan del contexto propio del mismo. En el cen- tro de la escena est el apoyo, la oposicin y el pacto poltico, el prestigio de legisladores, administradores y educadores y las expectativas de todos los implica- dos (Escudero, 1980). La grandeza y el riesgo de la investigacin evaluativa est, como seala House (1973), en que es un medio que, en una sociedad pluralista, utiliza un grupo para justificar su comportamiento ante otros. Reconociendo esa realidad, los investiga- dores tienen que extremar sus posiciones en defensa de su independencia y objeti- vidad y contra la utilizacin tendenciosa de sus trabajos, existiendo ciertas estrategias que se suelen utilizar en este sentido (Escudero, 1980). Incidiendo tambin en esta lnea, Berk y Rossi (1990) sealan al menos tres con- ceptos claves en la investigacin evaluativa, esto es, el espacio poltico que enmarca el dominio de las decisiones, los implicados (stakeholders), responsables polticos, participantes, responsables administrativos, etc., y la eficacia de los programas, con sus mltiples perspectivas de anlisis, tanto internas como externas. El evaluador est obligado a respetar los derechos de todos los individuos impli- cados o afectados por el estudio y tambin a las obligaciones contradas con los pro- motores del mismo y con los responsables de la toma de decisiones. Es por ello que, a menudo, surgen conflictos de obligaciones e intereses, que suelen partir del pro- pio promotor del estudio, del mismo evaluador o de la naturaleza conflictiva del objeto evaluado o de las decisiones consiguientes. Stufflebeam (1999) analiza el problema que surge cuando la evaluacin produce hallazgos que, por su trascen- dencia o gravedad, debieran ser conocidos por algn cliente del programa, a pesar de no estar permitido por el contrato de la evaluacin. Segn su interpretacin, los Estndares de la Evaluacin (Joint Committee, 1994), permiten al evaluador deter- minadas acciones en la lnea de cumplir con su obligacin de publicitar dichos hallazgos entre las audiencias afectadas. CLAVES IDENTIFICATIVAS DE LA INVESTIGACIN EVALUATIVA: ANLISIS DESDE LA PRCTICA 183 Contextos Educ., 8-9 (2005-2006), 179-199 Stake (1998) incide tambin en la obligacin de atender a los mltiples intereses y cdigos ticos, tambin a los de los contrarios y, especialmente, a los de los des- favorecidos, en consonancia con los planteamientos de la corriente postmodernista de la evaluacin. Por ello, es crtico con la mayora de las prcticas evaluadoras recientes que, segn su opinin, atienden bsicamente los intereses de los contra- tantes de las evaluaciones, descuidando otros intereses y la propia calidad de los programas. En consonancia con esta misma lnea de pensamiento, Mertens (1999) defiende ardorosamente el papel de la investigacin evaluativa y de los evaluadores en la promocin de cambios sociales justos, a favor de los discriminados y de los ms desfavorecidos. Defiende la inclusin como stakeholders de los tradicional- mente ignorados, pero nos dice que no basta con incluir sus voces en la evaluacin; se necesita un paso ms. Sus voces proporcionan ms credibilidad a la evaluacin, pero la transformacin slo puede ocurrir realmente si su informacin es usada para fundamentar programas sociales que intenten atajar las desigualdades existentes. La mayora de los estudios meta-evaluativos sobre tica y evaluacin se centran en el evaluador y, ms en concreto, en sus principios y en su prctica (Christie y Alkin, 1999). En otras palabras, se resalta el peligro de las malas evaluaciones (mise- valuations), mal orientadas, sesgadas, incompletas o dbiles metodolgicamente. Pero estos autores quieren enfatizar los peligros del mal uso y abuso (misuse) de las evaluaciones que hacen otras personas, responsables polticos, gestores, etc., que son ms difciles de controlar y combatir. Las reflexiones anteriores nos enmarcan de manera clara un tipo de investigacin aplicada, que incide sobre objetos sociales, programas, centros, agentes, etc., que analiza y juzga su calidad esttica y dinmica segn criterios cientficos rigurosos mltiples, con la obligacin de sugerir, a las diversas audiencias implicadas, accio- nes alternativas sobre los mismos para diferentes propsitos como utilizacin, mejo- ra, acreditacin, fiscalizacin, reforma, etc. (Escudero, 1996). Esta definicin que acabamos de ofrecer de la investigacin evaluativa es muy similar a las mltiples que nos encontramos en la literatura especializada bajo esta misma denominacin (Borg y Gall, 1979; McMillan y Schumacher, 1984; Arnal y otros, 1992) o bajo la denominacin de evaluacin de programas (De la Orden, 1985; Cols y Rebollo, 1993), limitando a los programas los citados objetos socia- les. De la Orden, por ejemplo, que seala que el trmino investigacin evaluativa aparece por primera vez en el Educational Index en 1974, define la evaluacin de programas como el proceso sistemtico de recogida y anlisis de informacin fia- ble y vlida para tomar decisiones sobre un programa educativo. Este proceso, en la medida en que es riguroso, controlado y sistemtico, constituye un modo de inves- tigacin que hoy se conoce con el nombre de investigacin evaluativa (134). No deseamos profundizar mucho ms en este debate sobre la terminologa, que en el fondo nos parece un poco equvoco puesto que, en la prctica, todos los inves- tigadores evaluativos en educacin trabajan con ms objetos de evaluacin que los programas (Nevo, 1989). Incluso desde una posicin restrictiva, estos los debemos entender como una denominacin genrica de multitud de objetos educativos posi- bles. Para nosotros, desde luego, la investigacin evaluativa es mucho ms que la evaluacin de programas en sentido estricto, aunque reconozcamos a esta en el ori- TOMS ESCUDERO ESCORZA 184 Contextos Educ., 8-9 (2005-2006), 179-199 gen y en el ncleo de aqulla. Esta posicin es la defendida por un autor de la rele- vancia de Scriven. El que fue primer presidente de la American Evaluation Association y, sin duda, el principal responsable de nuestros grandes debates sobre evaluacin formativa vs sumativa (Scriven, 1967), nos ofrece un interesantsimo ensayo reconceptualizando lo que conocemos como investigacin evaluativa (Scriven, 1994) y haciendo espe- cial hincapi en el marco comn de todo tipo de evaluaciones, por ejemplo entre la de personal y la institucional. Efectivamente, nos dice, existe una disciplina general que tiene varias reas especficas desarrolladas autnomamente. De ellas, destacan algunas como las denominadas por Scriven las seis grandes (Big Six), esto es, la eva- luacin de programas, de personal, de rendimiento, de productos, de proyectos y de polticas. Ciertamente, resulta difcil definir mejor la evaluacin institucional. Ade- ms, Scriven destaca otras dos grandes reas de la evaluacin, la que se produce dentro de cada disciplina acadmica, con sus particularidades y especificidades, y la evaluacin de las evaluaciones, esto es la metaevaluacin. Otras reas citadas, adems de estas ocho, son la evaluacin curricular, la de la tecnologa, la tica mdica, la jurisprudencia, el control de calidad industrial y otras varias de menor alcance. Como ya hemos indicado anteriormente, Nevo (1989), en un ensayo ante- rior sobre la conceptualizacin de la evaluacin, tambin seala la multiplicidad de objetos de la evaluacin. El que esta disciplina general haya tardado en asentarse definitivamente, a pesar del largo uso de la denominacin, es, segn Scriven, el uso restrictivo que se ha hecho de la misma. As por ejemplo, el trmino evaluation ha aparecido de mane- ra genrica en muchos ttulos de libros. Habra que haber supuesto que se referan a una disciplina general. Patticamente, al abrir los libros, durante seis dcadas, estos se referan a evaluacin (assessment) de los estudiantes, esto es, a una parte de un rea aplicada en una disciplina acadmica (evaluacin del rendimiento educati- vo). Ms recientemente, el trmino genrico en el ttulo de los libros se refera sim- plemente a la evaluacin de programas, con escasas referencias a la evaluacin de, por ejemplo, centros, profesores, administradores, recursos, etc. Con estas posicio- nes reduccionistas, sin el marco de una disciplina general que acoja todo tipo de investigaciones evaluativas, es lgico que hayan persistido planteamientos parciales, modelos incompletos y zonas de confusin abiertas. 2. VISIONES Y MODELOS PARA LA INVESTIGACIN EVALUATIVA Como respuesta a los problemas que acabamos de apuntar, Scriven (1994) nos ofrece una clasificacin de los modelos de evaluacin, previamente a introducir su modelo transdisciplinar que ms adelante comentamos. Este autor identifica seis visiones o enfoques alternativos en la fase explosiva de los modelos que tuvo lugar en los aos setenta (Guba y Lincoln, 1982; Mateo, 1986; Escudero, 2003a), adems de algunas ms que denomina exticas y que se mueven entre los modelos de jurisprudencia y de experto. A continuacin presentamos sucintamente estas visio- nes y los modelos que se adscriben a ellas. CLAVES IDENTIFICATIVAS DE LA INVESTIGACIN EVALUATIVA: ANLISIS DESDE LA PRCTICA 185 Contextos Educ., 8-9 (2005-2006), 179-199 La visin fuerte hacia la toma de decisiones (visin A) concibe al evaluador investigando con el objetivo de llegar a conclusiones evaluativas que le ayuden al que debe tomar decisiones. Los que apoyan este enfoque se preocupan de si el pro- grama alcanza sus objetivos, pero van ms all, cuestionndose si tales objetivos cubren las necesidades que deben cubrir. Esta posicin es mantenida, aunque no la hiciera explcita, por Ralph Tyler y extensamente elaborada en el modelo CIPP (Stufflebeam y otros, 1971). Segn el planteamiento tyleriano, las decisiones acerca de un programa deben basarse en el grado de coincidencia entre los objetivos y los resultados. El cambio de los alumnos, habitualmente el objetivo perseguido, es el criterio de evaluacin. A diferencia de Tyler, Stufflebeam ofrece una perspectiva ms amplia de los con- tenidos a evaluar, a las cuatro dimensiones que identifican su modelo, Contexto (C) donde tiene lugar el programa o est la institucin, Inputs (I) elementos y recursos de partida, Proceso (P) que hay que seguir hacia la meta y Producto (P) que se obtie- ne. Adems, se deja constancia de que el objetivo primordial de la investigacin evaluativa es la mejora, la toma de decisiones para la mejora de todas y cada una de las cuatro dimensiones antes citadas. Stufflebeam ha seguido desarrollando su perspectiva desde que desarroll el CIPP. Sin embargo, uno de sus colaboradores, Guba, ha seguido posteriormente por una direccin diferente, encabezando la denominada cuarta generacin de la evaluacin (Guba y Lincoln, 1989). La visin dbil hacia la toma de decisiones (visin B) concibe al evaluador pro- porcionando informacin relevante para la toma de decisiones, pero no le obliga a emitir conclusiones evaluativas o crticas a los objetivos de los programas. El repre- sentante terico ms genuino es Marv Alkin (1969), que define a la evaluacin como un proceso factual de recogida y generacin de informacin al servicio del que toma las decisiones, pero es ste el que tiene que tomar las conclusiones evaluativas. Esta posicin es lgicamente popular entre los que piensan que la verdadera ciencia no debe o no puede entrar en cuestiones de juicios de valor. El modelo de Alkin se cono- ce como CES (Centro para el Estudio de la Evaluacin), planteando las siguientes fases: valoracin de las necesidades y fijacin del problema, planificacin del pro- grama, evaluacin de la instrumentalizacin, evaluacin de progresos y evaluacin de resultados. Este autor (Alkin, 1991) revis dos dcadas despus su planteamiento inicial pero sin incluir los trminos de mrito, valor o vala; termina definiendo un Sistema de Informacin para la Gestin (Management Information System-MIS) para uso del que toma decisiones, pero no ofrece valoraciones al respecto La visin relativista (visin C) tambin mantiene la distancia de las conclusiones evaluativas, pero usando el marco de valores de los clientes, sin un juicio por parte del evaluador acerca de esos valores o alguna referencia a otros. Esta visin junto con la anterior han sido el camino que ha permitido su integracin sin problemas en el carro de la investigacin evaluativa. De hecho, uno de los textos ms utiliza- dos de evaluacin (Rossi y Freeman, 1993), est escrito bajo esta perspectiva. Pero la forma ms simple de la visin relativista (visin C) fue desarrollada dentro del modelo de discrepancia de evaluacin de Malcolm Provus (1971). Las discrepan- cias son las divergencias con la secuencia de tareas proyectadas y la temporaliza- TOMS ESCUDERO ESCORZA 186 Contextos Educ., 8-9 (2005-2006), 179-199 cin prevista. Este modelo es muy cercano al control de programas en sentido con- vencional; es una especie de simulacin de una evaluacin. Las visiones B y C son las posiciones de los cientficos entroncados con una con- cepcin libre de valores de la ciencia. En cambio, los que participan de la visin A proceden de un paradigma diferente, probablemente debido a su conexin acad- mica con la historia, la filosofa de la educacin, la educacin comparada y la admi- nistracin educativa. La visin de la descripcin frtil, rica, completa (visin D) es la que entiende la evaluacin como una tarea etnogrfica o periodstica, en la que el evaluador infor- ma de lo que ve sin intentar emitir afirmaciones valorativas o inferir conclusiones evaluativas, ni siguiera en el marco de los valores del cliente como en la visin rela- tivista. Esta visin ha sido defendida por Robert Stake y muchos de los tericos bri- tnicos. Se trata de una especie de versin naturalista de la visin B, tiene algo de sabor relativista, y a veces parece precursora de la visin de la cuarta generacin. Se centra en la observacin, en lo observable, ms que en la inferencia. Reciente- mente se le ha denominado como visin de la descripcin slida, fuerte, para evi- tar el trmino rica, que parece ms evaluativa. Stake, en su primera etapa, es tayleriano en cuanto a concepcin evaluativa cen- trada en los objetivos planteados, proponiendo el mtodo de evaluacin de la figu- ra (Stake, 1967), como rostro o imagen total de la evaluacin. Esta gira en torno a los tres componentes, antecedentes, transacciones y resultados, elaborando dos matrices de datos, una de descripcin y otra de juicio. En la primera se recogen de un lado las intenciones y de otro las observaciones y, en la segunda, las normas, lo que se aprueba y los juicios, lo que se cree que debe ser. A mitad de los setenta, Stake se aleja de la tradicin tayleriana de preocupacin por los objetivos y revisa su mtodo de evaluacin hacia un planteamiento que l califica como respondente (Stake, 1975 y 1975a), asumiendo que los objetivos del programa pueden modificarse sobre la marcha, con la finalidad de ofrecer una visin del mismo completa y holstica y responder a los problemas y cuestiones rea- les que plantean los implicados. Segn Stufflebeam y Shinkfield (1987), este mode- lo hizo de Stake el lder de una nueva escuela de evaluacin, que exige un mtodo pluralista, flexible, interactivo, holstico, subjetivo y orientado al servicio. Este modelo sugiere la atencin al cliente propuesta por Scriven (1973), valorando sus necesidades y expectativas. De manera grfica, Stake (1975a) propone las fases del mtodo a modo de las horas de un reloj, poniendo la primera en las doce horas y tomando el sentido de las agujas del reloj. Estas fases son las siguientes: 1) Hablar con los clientes, responsables y audiencias, 2) Alcance del programa, 3) Panorama de actividades, 4) Propsitos e intereses, 5) Cuestiones y problemas, 6) Datos para investigar los problemas, 7) Observadores, jueces e instrumentos, 8) Antecedentes, transacciones y resultados, 9) Desarrollo de temas, descripciones y estudio de casos, 10) Validacin (confirmacin), 11) Esquema para la audiencia y 12) Reunin de informes formales. El evaluador puede seguir las fases tambin en sentido contrario del reloj o en cualquier otro orden. CLAVES IDENTIFICATIVAS DE LA INVESTIGACIN EVALUATIVA: ANLISIS DESDE LA PRCTICA 187 Contextos Educ., 8-9 (2005-2006), 179-199 En el mtodo respondente, el evaluador ha de entrevistar a los implicados para conocer sus puntos de vista y buscar la confluencia de las diversas perspectivas. El evaluador deber interpretar las opiniones y diferencias de puntos de vista (Stecher y Davis, 1990) y presentar una amplia gama de opiniones o juicios, en lugar de pre- sentar sus conclusiones personales. La visin del proceso social (visin E) que cristaliz hace ms de dos dcadas alrededor de un grupo de la Universidad de Stanford, dirigido por Lee J. Cronbach (1980), resta importancia a la orientacin sumativa de la evaluacin (decisiones externas sobre los programas y rendicin de cuentas), enfatizando la comprensin, la planificacin y la mejora de los programas sociales a los que sirve. De hecho, Cronbach entiende a la evaluacin de programas como un instrumento importante de desarrollo social y comunitario (Escudero, 2004). Sus posiciones quedaban cla- ramente establecidas en noventa y cinco tesis que han tenido una enorme difusin entre los evaluadores y los usuarios de la evaluacin. En cuanto a los contenidos de la evaluacin, Cronbach (1982) propone que se planifiquen y controlen los siguientes elementos: Unidades (U) que son sometidas a evaluacin, individuos o grupos participantes. Tratamiento (T) de la evaluacin. Operaciones (O) que lleva a cabo el evaluador para la recogida y anlisis de datos, as como para la elaboracin de conclusiones. Contexto en el que tiene lugar el programa y su evaluacin. En una investigacin evaluativa concreta se pueden dar varias unidades, varios tratamientos y varias operaciones, en definitiva varios (uto), dentro de un universo UTO de situaciones admisibles. Ernie House (1989), un prestigioso terico y un prctico de la evaluacin bas- tante independiente de las diversas corrientes, tambin marc el entronque social de los programas, pero se distingua sobre todo por enfatizar las dimensiones ms ti- cas y argumentales de la evaluacin, quizs en contraposicin a la ausencia de estas facetas en los planteamientos de Cronbach y sus colaboradores. La visin constructivista de la cuarta generacin (visin F) es la ltima de estas seis visiones, mantenida por Guba y Lincoln (1989) y seguida por muchos evalua- dores americanos y britnicos. Ya hemos visto anteriormente que esta visin recha- za una evaluacin orientada a la bsqueda de calidad, mrito, valor, etc., y favorece la idea de que ello es el resultado de la construccin por individuos y la negocia- cin de grupos. Esto significa, segn Scriven, que el conocimiento cientfico de todo tipo es sospechoso, discutible y no objetivo. Lo mismo le ocurre a todo trabajo de anlisis filosfico como el suyo. Scriven apunta que el propio Guba ha sido siempre consciente de las potenciales contradicciones de su posicin. De esta revisin quedan al margen algunas posiciones evaluativas tradicional- mente recogidas y tratadas por los analistas. As por ejemplo, Suchman (1967) ofre- ce un diseo evaluativo basado en el mtodo cientfico o, al menos, en alguna variacin o adaptacin del mismo. Owens (1973) y Wolf (1975) proponen un mto- do de contraposicin o discusin que sobre un programa llevan a cabo dos grupos TOMS ESCUDERO ESCORZA 188 Contextos Educ., 8-9 (2005-2006), 179-199 de evaluadores, partidarios y adversarios, para proporcionar informacin pertinente a quienes toman decisiones. Eisner (1975) plantea la evaluacin en trminos simila- res al proceso de crtica artstica. El propio Scriven (1973) propona hace aos centrar la evaluacin en la atencin al cliente y no tanto en las metas previstas, puesto que, frecuentemente, los logros no previstos son ms importantes que los que figuran en la planificacin del pro- grama. Por ello se suele denominar a su enfoque como evaluacin sin metas. El eva- luador determina el valor o mrito del programa para informar a los usuarios; se trata algo as como de un intermediario informativo (Scriven, 1980). La evaluacin iluminativa (Parlett y Hamilton, 1977) tiene un enfoque holstico, descriptivo e interpretativo, con la pretensin de iluminar sobre un complejo rango de cuestiones que se dan de manera interactiva (Fernndez, 1991). La evaluacin democrtica de McDonald (1976), tambin denominada holstica, supone la parti- cipacin colaborativa de los implicados, siendo el contraste de opiniones el ele- mento evaluativo primordial. Scriven (1994) analiza las seis visiones crticamente y se muestra ms cercano a la visin A, la visin fuerte sobre la toma de decisiones, representada fundamental- mente por el modelo CIPP de Stufflebeam y sus planteamientos, que dice que es la ms cercana de todas a la visin del sentido comn que es la que tienen los eva- luadores trabajando con sus programas, de la misma manera que los mdicos tra- bajan con los pacientes, hacindolo lo mejor posible, independientemente del tipo y del estado general del paciente. Scriven quiere extender esta visin con una visin o modelo que denomina transdisciplinar y que l califica como significativamente distinta de la aludida visin A y radicalmente diferente de las restantes. En el modelo transdisciplinar, la investigacin evaluativa tiene dos componentes: el conjunto de campos de aplicacin de la evaluacin y el contenido de la propia disciplina. Algo parecido a lo que le ocurre a disciplinas como la estadstica y la medicin. En definitiva, la investigacin evaluativa es una disciplina que incluye sus propios contenidos y los de otras muchas disciplinas; su preocupacin por el anli- sis y mejora se extiende a muchas disciplinas, es transdisciplinar. Esta visin es objetivista como la visin A y defiende que el evaluador determi- ne el mrito o el valor del programa, del personal o de los productos investigados. En tal sentido, se debe establecer de manera explcita y defender la lgica utilizada en la inferencia de conclusiones evaluativas, a partir de las premisas definicionales y factuales. As mismo, se deben perseguir las falacias argumentales de la doctrina libre de valores (Evaluation Thesaurus, 1991). En segundo lugar, la visin transdisciplinar se orienta hacia el consumidor, ms que hacia el gestor o intermediario. No se trata de una orientacin exclusiva hacia el consumidor, pero s la consideracin primera del consumidor como justificacin del programa, y que el bien comn es la primaca de la evaluacin. A partir de aqu, tambin se produce informacin valiosa para el gestor que decide y se pueden ana- lizar los productos de un programa o institucin a la vista de sus objetivos. Esta posi- cin no slo ve legitimidad en la emisin de conclusiones evaluativas por parte del investigador, sino que ve necesidad de hacerlo en la gran mayora de las ocasiones. CLAVES IDENTIFICATIVAS DE LA INVESTIGACIN EVALUATIVA: ANLISIS DESDE LA PRCTICA 189 Contextos Educ., 8-9 (2005-2006), 179-199 Se trata tambin de una visin generalizada, no justamente una visin general, que incluye la generalizacin de conceptos en el mbito del conocimiento y la prc- tica. Desde esta perspectiva, la investigacin evaluativa es mucho ms que la eva- luacin de programas e incide en procesos, instituciones y otros muchos objetos. De manera ms detallada, esta visin generalizada significa que: a) Los campos distintivos de aplicacin de la disciplina son los programas, el per- sonal, los rendimientos, los productos, los proyectos, la gestin, y la metaeva- luacin de todo ello. b) Las investigaciones evaluativas inciden en todo tipo de disciplinas y en las prcticas que resultan de ellas. c) Las investigaciones evaluativas se mueven desde niveles muy prcticos hasta el nivel conceptual. d) Los distintos campos de la investigacin evaluativa tienen muchos niveles de interconexin y solapamiento. La evaluacin de programas, de personal, de centros, etc., tienen muchos puntos en comn. El cuarto elemento distintivo de la visin transdisciplinar de la evaluacin es que se trata de una visin tcnica. La evaluacin no slo necesita el apoyo tcnico de otras muchas disciplinas, sino que, adems, tiene su propia metodologa que es sus- tancial para la evaluacin. Por otra parte, estn la lgica de la sntesis de resultados, las consecuencias, etc., as como la correcta ubicacin en el proceso de muchas tc- nicas auxiliares en las que, probablemente, no es necesario ser un gran especialis- ta, pero s tener un conocimiento cabal. Esta visin transdisciplinar de la investigacin evaluativa coincide en gran medi- da con los planteamientos que de la misma hemos presentado al principio del art- culo. Nosotros no tenemos unas posiciones contrarias a las otras visiones en la misma medida que las tiene Scriven y, de hecho, consideramos desde una posicin pragmtica, que todas las visiones tienen puntos fuertes y que en todo caso, aportan algo til para la comprensin conceptual y el desarrollo de la investigacin evalua- tiva. Sin embargo, s que entendemos que esta moderna visin de Scriven es slida y coherente y que se acerca bastante a la que sera nuestra personal posicin a la hora de conceptualizar la investigacin evaluativa. Quizs nuestra nica discrepan- cia de cierta entidad con Scriven es el excesivo nfasis relativo que da a la orienta- cin al cliente, al usuario en sentido estricto. Nosotros entendemos esto dentro de una orientacin a los implicados, donde existen distintos tipos y distintas audiencias y, por supuesto, una muy importante, son los usuarios en el sentido de Scriven, pero creemos que la investigacin evaluativa debe tener una orientacin prioritaria algo ms plural que la defendida por este autor. 3. LA EVALUACIN DEL SISTEMA DEPORTIVO DE LA RIOJA COMO UN EJEMPLO Tal como hemos anunciado previamente, el estudio en el que apoyamos nues- tras reflexiones prcticas es una investigacin evaluativa del sistema deportivo rio- jano, llevada a cabo a mediados de los noventa, con un amplio rango de objetivos de elementos de anlisis, de planteamientos metodolgicos y de procedimientos TOMS ESCUDERO ESCORZA 190 Contextos Educ., 8-9 (2005-2006), 179-199 tcnicos. Fue encargado por la Consejera de Cultura, Deportes y Juventud del Gobierno de La Rioja, a travs de su Direccin General de Deportes, pero realiza- do de manera autnoma por el equipo investigador. El trabajo es una evaluacin diagnstica de la situacin del deporte riojano en muchas facetas, pero tambin tiene orientacin prospectiva. Se evaluaron las nece- sidades y se buscaron lneas de mejora alternativas. En algunos momentos se des- cribi la situacin de manera exhaustiva y se trabaj como si el objetivo fuera la elaboracin de un censo determinado, aunque nunca fue ste un producto obliga- do para el proyecto. Otras veces se realizaron sondeos en sentido estricto y algunas otras se buscaron tendencias indicativas y sugerencias cualificadas para proponer acciones de intervencin. Consecuentemente con lo dicho, el estudio se encuadra en la investigacin evaluativa orientada hacia la toma de decisiones en el terreno de la planificacin e intervencin en materia de poltica deportiva. El marco referencial desde el que se fundament el proyecto es el de que el siste- ma deportivo de un territorio es el conjunto estructurado de instituciones, servicios, instalaciones, esquemas organizativos, deportistas cualificados, dirigentes, tcnicos, jueces,, practicantes en general, siendo el fenmeno deportivo, la competicin, la actividad, la prctica, la observacin,, el producto natural de dicho sistema. Dentro de esta perspectiva definitoria, el objetivo central del estudio era: El diagnstico preciso de la realidad del sistema deportivo en La Rioja, en lo referente a sus componentes principales (deportistas, practicantes en general, instalaciones, equipamientos, infraestructuras, asociaciones, clubes, federacio- nes, responsables, tcnicos, jueces, personal de apoyo,) y la bsqueda de acciones alternativas de mejora y desarrollo. Para alcanzar este propsito, se establecieron como objetivos especficos los siguientes: a) La descripcin completa del sistema deportivo riojano en el momento en todas sus facetas: personal, organizaciones, recursos y actividad. b) El anlisis de necesidades y establecimiento de prioridades de accin para los distintos componentes del sistema deportivo (instalaciones, tcnicos, recursos, formacin, apoyos, etc.). c) La descripcin y valoracin diferencial de los distintos mbitos de actuacin y responsabilidad del sistema deportivo (autonmico, municipal, escolar, federativo y asociativo). d) La evaluacin del sistema deportivo por zonas geogrficas, por modalidades y por niveles deportivos. e) El anlisis de las relaciones institucionales y estamentales dentro del sistema deportivo. f) La bsqueda de alternativas de desarrollo en materia de instalaciones, recur- sos, personal, etc. g) La valoracin del sistema y de sus lneas de mejora desde las distintas pers- pectivas institucionales, de los expertos, de los deportistas y de los practican- tes en general. CLAVES IDENTIFICATIVAS DE LA INVESTIGACIN EVALUATIVA: ANLISIS DESDE LA PRCTICA 191 Contextos Educ., 8-9 (2005-2006), 179-199 Para el cumplimiento de los anteriores objetivos, se establecieron unos mbitos diferenciados de anlisis y, dentro de ellos, se estudiaron en profundidad las varia- bles consideradas ms relevantes. Estos mbitos eran los siguientes: A. El deporte autonmico (la Direccin General de Deportes). B. El deporte municipal (los Ayuntamientos). C. El deporte escolar (los Centros educativos). D. El deporte federativo (las Federaciones territoriales). E. El deporte asociativo (los Clubes y las Asociaciones deportivas). F. Las instalaciones deportivas. G. La visin de los dirigentes, expertos y responsables deportivos. H. La visin de los deportistas federados. I. La visin del deporte de los riojanos en general. J. Algunos elementos de contraste externo. Estos diez mbitos se recomponen en tres bloques perfectamente diferenciados. El primer bloque lo forman los cinco primeros mbitos de anlisis, esto es, los depor- tes autonmico, municipal, escolar, federativo y asociativo, cuyo estudio fue lleva- do a cabo de forma similar y paralela para todos ellos, teniendo presente como es lgico las peculiaridades de cada caso. De esta manera, se pueden establecer valo- raciones comparativas entre los distintos mbitos. El segundo bloque lo constituye un mbito especfico, el de las instalaciones deportivas, elemento central de la investigacin por mltiples y variadas razones. Finalmente, el tercer bloque, de carcter ms complementario, dentro del pro- yecto global, pero de gran inters como fuente de ideas, recoge el estudio de las opi- niones de tres sectores importantsimos en el deporte que no necesariamente han sido consultados en el primer bloque: los dirigentes y conocedores del deporte, los deportistas federados y los ciudadanos en general. Adems, se incluyen algunos datos de comparacin de la situacin riojana con la de otros contextos. Es obvio decir que en cada uno de estos bloque fueron investigadas decenas de variable distintas que no tiene sentido reproducir en este momento. Basta decir que dichas variables, con sus matices correspondientes, debidamente codificadas, antes o despus de recogida la informacin, fueron analizadas a lo largo del proyecto, al menos desde una perspectiva. En muchos casos la perspectiva fue mltiple, apare- ciendo elementos comparativos y de confirmacin. Aparte de las fuentes documentales y bibliografa utilizada a lo largo del trabajo, ste se fundament preferentemente en la recogida de informacin primaria de los principales protagonistas institucionales y particulares del sistema deportivo. El vehculo de comunicacin del equipo investigador con las diversas fuentes fue diverso. Con la Direccin General de Deportes la comunicacin fue directa, de pri- mera mano. A los Ayuntamientos, Centros educativos, Federaciones y Clubes y Aso- ciaciones se les aplic un cuestionario especfico para cada caso, enviado y devuelto por correo. Las instalaciones deportivas fueron visitadas una a una por un colabora- dor del equipo investigador quien, apoyndose en las correspondientes fichas de ins- talaciones (general e individual), recogieron toda la informacin requerida. Los TOMS ESCUDERO ESCORZA 192 Contextos Educ., 8-9 (2005-2006), 179-199 dirigentes y responsables deportivos fueron entrevistados con un protocolo de entre- vista dirigido, pero abierto, rellenado por su cuenta y devuelto de manera annima. Los deportistas federados fueron encuestados por correo. Finalmente, los ciudadanos en general fueron entrevistados siguiendo un protocolo de cuestiones cerradas. Los correspondientes anlisis de los datos cuantitativos y de las informaciones cualitativas recogidos fueron siempre llevados a cabo, y debidamente contextuali- zados, para el conjunto de toda la Comunidad Autnoma de La Rioja y para cada una de las diez zonas deportivas en la que est dividida a efectos de gestin. En determinados casos, apoyados en paquetes informticos convencionales, se llevaron a cabo anlisis interactivos por edad, sexo, modalidad deportiva, nivel competitivo y categora deportiva. 4. RECONOCIMIENTO DE LA INVESTIGACIN EVALUATIVA EN EL PROYECTO ANTERIOR En este proyecto sobre el deporte riojano que acabamos de presentar de manera sucinta, podemos reconocer un buen nmero de elementos identificativos de la investigacin evaluativa a los que de manera directa o implcita hemos hecho refe- rencia a lo largo de este trabajo. En tal sentido, creemos que el estudio es un buen ejemplo, en cuanto a potencial pedaggico, para mostrar algunas claves de especi- ficidad de este tipo de investigacin. En el Anlisis del sistema deportivo de La Rioja nos encontramos con un con- junto de caractersticas que son tpicas, aunque no necesariamente exclusivas, de la investigacin evaluativa. Entre estas caractersticas destacan las siguientes: Investigacin por contrato. Respuesta a una solicitud. Equipo amplio de investigacin. Contexto de solucin de problemas. Ideografa (Descripcin de caso particular). Contexto transdisciplinar. Trabajo en situacin natural. Desarrollo de metodologa ad hoc. Varias audiencias implicadas. Datos de todo tipo. Cuantitativos y cualitativos. Apoyo bsico en la observacin. Grandes volmenes de informacin. Presin poltica envolvente. Amplia implicacin social. Plazos de realizacin. Cooperacin entre responsables (solicitantes) e investigadores. Conocimiento de la realidad y diagnstico de necesidades. Concentracin de esfuerzos en necesidades prioritarias. Sugerencias para toma de decisiones y polticas de mejora. CLAVES IDENTIFICATIVAS DE LA INVESTIGACIN EVALUATIVA: ANLISIS DESDE LA PRCTICA 193 Contextos Educ., 8-9 (2005-2006), 179-199 Si nos centramos ahora en la orientacin preferente del trabajo, esto es, en aque- llo que mejor sintetiza su naturaleza como estudio, tambin detectamos algunos ele- mentos especficos de un tipo de investigacin evaluativa centrada en el anlisis de necesidades (Moroney, 1977; Kamis, 1981; Stufflebeam, 1985). En concreto nos referimos a los siguientes: Evaluacin de necesidades con orientacin diagnstica para la planificacin (needs assessment). Bsqueda de necesidades con apoyo de distintas perspectivas. De la discrepancia (logros vs deseos). Democrtica (deseos mayoritarios). Analtica (mejora posible segn datos disponibles). Diagnstica (algo ausente, deficiente o perjudicial). Atencin a necesidades diversas. Normativas (criterios, indicadores, expertos,). Percibidas (por individuos). Expresadas (demandas). Relativas (entre situaciones, grupos, distintos). Deteccin e identificacin de necesidades con distintas estrategias. Directas (archivos, estadsticas). Opiniones (percepcin individuos). Funcionamiento de servicios (inferir de observacin). Grupos asociativos (informacin y expresiones diversas). En cuanto a planteamientos metodolgicos, la postura desde la que se abord la evaluacin del sistema deportivo riojano fue claramente eclctica, ante las posibili- dades de apoyo en diferentes enfoques modlicos. Esta posicin como evaluador no es el reflejo de falta de compromiso o de defensa ante la confrontacin entre para- digmas, sino del convencimiento de que es la lgica y la cientficamente ms sli- da para que la investigacin evaluativa sea rigurosa y coherente con sus principios definitorios. Retomando la terminologa que hemos introducido y utilizado en apartados ante- riores, diremos que el apoyo fundamental para disear metodolgicamente el pro- yecto estuvo en el modelo CIPP (Stufflebeam) y en la visin fuerte (visin A) hacia la toma de decisiones. Esto se refleja en el nfasis de algunos elementos tales como: - El anlisis del contexto, de los inputs (recursos vs necesidades), del proce- so (dinmica, actividades) y productos (impactos). - La prioridad en la mejora. - El riesgo tomado como evaluadores al emitir juicios sobre posibles decisio- nes de intervencin. - El apoyo en el sentido comn. TOMS ESCUDERO ESCORZA 194 Contextos Educ., 8-9 (2005-2006), 179-199 Algunas veces prevaleca la visin dbil (visin B) hacia la toma de decisiones (Alkin), pues se proporcionaba mucha informacin cualitativa y cuantitativa, para distintas audiencias, pero sin propuestas de intervencin. Otro apoyo decisivo fue la visin de la descripcin frtil., rica y completa (visin D), que recoge la posicin respondente de Stake. Esto es evidente en los anlisis de confluencias y diferencias de opinin de los distintos implicados en el deporte rio- jano, tan decisivos en el desarrollo del estudio. La visin E (Cronbach) est en el sustrato de todo el proyecto, pues parte del prin- cipio de que el deporte es algo de gran importancia social y de que el objetivo prin- cipal de su evaluacin es intervenir para mejorarlo. Adems, esto se intenta, introduciendo en el estudio y en su desarrollo a los distintos sectores, colectivos y responsables implicados en el hecho deportivo (visin F-Guba y Lincoln) y buscan- do esquemas de adaptacin a sus diversos intereses y necesidades. La visin transdisciplinar (Scriven) es reconocible en muchos momentos a lo largo del proyecto, no slo por la diversidad temtica abordada y por el apoyo en un buen nmero de disciplinas, sino por la postura objetivista del equipo investiga- dor, emitiendo juicios de valor sobre lo encontrado, por los anlisis generalizados, por las tcnicas metodolgicas y, en general, por una aceptacin clara del pragma- tismo como paradigma de trabajo. En los mltiples y extensos anlisis de la informacin recogida se limit siempre la utilizacin de ndices cuantitativos a aquellos que fueran interpretables y tiles para las diversas audiencias. As mismo, se enfatiz la interpretacin de tendencias ms que la produccin de ndices mltiples. A la hora de establecer juicios de valor, el evaluador necesita referentes, que no siempre son fciles de encontrar. En muchos casos la salida lgica es el anlisis com- parado con otros sistemas similares. En el caso que nos ocupa, este problema era especialmente grave, pues las referencias publicadas eran muy escasas y, adems, con distintos enfoques conceptuales, a su vez muy diversos entre s. En todo caso, la bsqueda de algunos referentes en el anlisis comparado y en publicaciones sobre el deporte y su prctica en contextos nacionales e internacionales, fue un ejer- cicio tpico de la investigacin evaluativa del que, en este caso, se obtuvieron algu- nos logros interesantes para valorar el sistema riojano. 5. REFLEXIONES METAEVALUATIVAS La metaevaluacin es algo que forma parte de la esencia de cualquier proyecto de investigacin evaluativa. No tendra legitimidad el trabajo de un equipo investi- gador que se dedica a la evaluacin de programas sociales, que no evaluara su pro- pio programa de evaluacin, mxime cuando se realiza en contexto real y dentro de unos condicionantes como los antes apuntados, que establecen algunos lmites en cuanto al rigor y al alcance de la investigacin. En el estudio del deporte riojano, sin duda nos encontramos con algunas limita- ciones de alcance y significacin en sus diferentes partes que, por su carcter ejem- plificador debemos resaltar. CLAVES IDENTIFICATIVAS DE LA INVESTIGACIN EVALUATIVA: ANLISIS DESDE LA PRCTICA 195 Contextos Educ., 8-9 (2005-2006), 179-199 El contexto de caso particular, con unas especificidades muy notables desde el punto de vista geogrfico y administrativo, as como de las demandas y necesidades que haba que atender, no cabe duda que condicion el enfoque de investigacin hacia un anlisis ms sociolgico que econmico o de eficiencia en la utilizacin de recursos. El estudio planteaba una evaluacin sin objetivos definidos previamente de manera explcita, lo que imposibilitaba todo anlisis riguroso de la eficacia del sis- tema deportivo y de sus componentes y de su eficiencia en la utilizacin de recur- sos. No haba otro remedio que limitarse a evaluar la productividad de recursos e infraestructuras y la pertinencia con relacin a objetivos sociopolticos amplios o incluso generales. El estudio se hizo con referentes metodolgicos previos escasos y sin criterios de contraste reconocidos. Esta situacin no es infrecuente para el investigador evaluativo, pues es habitual que reciba el encargo de evaluar programas o instituciones muy espe- cficos, que no han sido evaluados con anterioridad, o que actan en contextos muy particulares, condicionando no slo su incidencia, sino su propia realidad. Ante la dificultad evidente del anlisis comparado por las carencias citadas, es muy importante extremar la prudencia cientfica y apoyarse en la triangulacin de fuentes, a la bsqueda de confluencia de criterios. En este estudio, por ejemplo, se evit en todo momento hablar de indicadores, se trat siempre con variables, bus- cando espacios de confluencia en las valoraciones de expertos, responsables polti- cos, dirigentes, tcnicos, deportistas y ciudadanos en general. BIBLIOGRAFA ALKIN, M., 1969, Evaluation theory development, Evaluation Comment, 2 (1), 2-7. 1991, Evaluation theory development: II, en McLaughlin, M. y Phillips (Eds.), Evaluation and education at quarter century, NSSE/ University of Chicago, Chi- cago, 91-112. ARNAL, J. y otros, 1992, Investigacin educativa. Fundamentos y metodologa, Labor, Barcelona. BERK, A. y ROSSI, P. H., 1990, Thinking about program evaluation, Sage Publica- tions, Newbury Park, Ca. BORG, W. R. y GALL, M. D., 1979, Educational research: An introduction, Long- man, New York. CALDERON, A. J., 2004, Institutional Research at RMIT. A case study, Ponencia pre- sentada en el 26th EAIR Forum, Barcelona, 5-8 de septiembre. CARR, W. y KEMMIS, S., 1983, Becoming critical: Knowing through action research, Deakin University, Victoria, Australia. CHRISTIE, Ch. A. y ALKIN, M. C., 1999, Further reflections on evaluation misutili- zation, Studies in Educational Evaluation, 25 (1), 1-10. CLARKE, A. y DAWSON, R., 1999, Evaluation Research, Sage Publications, London. COLS, P. y REBOLLO, M. A., 1993, Evaluacin de programas. Una gua prctica, Kronos, Sevilla. CRACKNELL, B. E., 2000, Evaluating Development Aid, Sage Publications, New Delhi. TOMS ESCUDERO ESCORZA 196 Contextos Educ., 8-9 (2005-2006), 179-199 CRONBACH, L. J., 1982, Designing evaluations of educational and social programs, Jossey-Bass, Chicago. y otros, 1980, Towards reform in program evaluation: Aims, methods and insti- tutional arrangements, Jossey-Bass, San Francisco. DE LA ORDEN, A., 1985, Investigacin evaluativa, en De la Orden, A. (ed.), Inves- tigacin educativa. Diccionario de Ciencias de la Educacin, Anaya, Madrid, 133-137. DE MIGUEL, M., 1988, Paradigmas de la investigacin educativa espaola, en Den- daluce, I. (Coord.), Aspectos metodolgicos de la investigacin educativa, Nar- cea, Madrid, 60-77. EDWARDS, W. y otros, 1975, A decision-theoretic approach to evaluation research, en Struening, E. L. y Guttentag, M. (eds.), Handbook of Evaluation Research, Sage Publications, Beverly Hills, Ca., 139-181. EISNER, E. W. 1975, The perceptive eye: Toward the reformation of educational eva- luation, Stanford Evaluation Consortion, Stanford, Ca. ESCUDERO, T., 1980, Se pueden evaluar los centros educativos y sus profesores?, Educacin Abierta, 10, ICE-Universidad de Zaragoza. 1996, Proyecto docente e investigador, Universidad de Zaragoza. 2003a, Desde los tests hasta la investigacin evaluativa actual. Un siglo, el XX, de intenso desarrollo de la evaluacin en educacin, RELIEVE- Revista Electrni- ca de Investigacin y Evaluacin Educativa, 9 (1). Disponible en: http:// www.uv.es/RELIEVE/v9n1/RELIEVEv9n1_1.htm. [ltima consulta: 22/03/2006] 2003b, Orientar con programas: su evaluacin en clave social, Conferencia inau- gural del Master de Avaliacin e Orientacin de Competencias e Cualificacins Profesionais, Universidad de Santiago de Compostela. 2004, Las tesis de Cronbach sobre la evaluacin de programas: El pensamiento de un maestro, en Soler, J. L. (Coor.), Orientacin y Tutora, Mira Editores, Zara- goza, 149-158. y otros, 1994, Anlisis del Sistema Deportivo de la Rioja, Consejera de Cultura, Deportes y Juventud del Gobierno de La Rioja. Memoria final indita. EVALUATION THESAURUS, 1991, Sage, Newbury Park, Ca. FERNNDEZ, J., 1991, La evaluacin de la calidad docente, en Medina, A. (coord.), Teora y mtodos de evaluacin, Cincel, Madrid. FERNNDEZ-BALLESTEROS, R. (ed.), 2001, Evaluacin de programas: una gua prctica en mbitos sociales, educativos y de salud, Sntesis, Madrid. FISHMAN, D. B., 1991, An introduction to the experimental versus the pragmatic paradigm in evaluation, Evaluation and Program Planning, 14 (4), 353-363. GREDLER, M. E., 1996, Program evaluation, Merril/Prentice-Hall, Englewood Cliffs, N.J. GUBA, E. G. y LINCOLN, Y. S., 1982, Effective evaluation, Jossey Bass Publishers, San Francisco. 1989, Fourth Generation Evaluation, Sage Publications, Newbury Park, Ca. HERZOG, E., 1959, Some Guidelines for Evaluative Research, U.S. Department of Health, Education, and Welfare, Washington, D.C. CLAVES IDENTIFICATIVAS DE LA INVESTIGACIN EVALUATIVA: ANLISIS DESDE LA PRCTICA 197 Contextos Educ., 8-9 (2005-2006), 179-199 HOUSE, E. R., 1973, Politics as usual, en House, E.R. (ed.), School Evaluation. The Politics and the Process, McCutchan Publishing Corporation, Berkeley, 329-331. 1989, Evaluating with validity, Sage, Newbury Park, Ca. JOINT COMMITTEE on Standars for Educational Evaluation, 1994, The program eva- luation standards, Sage, Thousand Oaks, CA. KAMIS, E., 1981, Sound targeted comparisson: Assessing the needs of planning ser- vies for deinstitutionalized clients, en Rutman, I. D. (ed.), Planing for deinstitu- tionalization: A review of principles, methods and appllications, Human Services Monograph Series n 28, Project SHARE, Department of Health and Human Ser- vices, Washington. KISH, L., 1987, Statistical Design for Research, John Wiley & Sons, New York. MATEO, J., 1986, Proyecto docente e investigador, Universidad de Barcelona. MCCLINTOCK, C., 2003, Commentary: The evaluator as scholar/practicioner/chan- ge agent, American Journal of Evaluation, 24 (1), 91-96. MCDONALD, B., 1976, Evaluation and the control of education, en Tawney, D. (Ed.), Curriculum evaluation today: Trends and Implications, MacMillan, London. MCMILLAN, J. H. y SCHUMACHER, S., 1984, Research in education, Little, Brown & Co., Canada. MERTENS, D. M., 1999, Inclusive evaluation: Implications of transformative theory for evaluation, American Journal of Evaluation, 20 (1), 1-14. MORIN, A., 1985, Criteres de scientificit de la recherche-action, Revue des Scien- ces de l Education, 11(1), 31-49. MORONEY, R. M., 1977, Needs assessment for Human Services, en Anderson, W. F. y otros (Eds.), Managing Human Services, International City Management Asso- ciation, Washington. NEVO, D., 1989, The conceptualization of educational evaluation: An analytical review of the literature, en House, E. R. (Ed.), New directions in educational eva- luation, The Falmer Press, London, 15-29. NISBET, J., 1988, Policy-oriented research, en Keeves, J.P. (Ed.), Educational research, methodology and measurement: An international handbook, Pergamon Press, Oxford, 139-146. OWENS, T. R., 1973, Educational evaluation by adversery proceedings, en House, E. R. (comp.), School Evaluation: The Politics and Process, McCutchan, Barkeley. OWEN, J. M. y ROGERS, P. J., 1999, Program evaluation. Forms and approaches, Sage Publications, London. PARLETT, M. y HAMILTON, D., 1977, Evaluation as illumination: A new approach to the study of innovative programmes, en Hamilton D. y otros (eds.), Beyond the nunbers game, MacMillan, London. PROVUS, M., 1971, Discrepancy evaluation. For educational program improvement and assessment, McCutchan Publishing Co., Berkeley, Ca. ROSSI, P. H. y FREEMAN, H., 1993, Evaluation: A Systematic Approach, Sage, Beverly Hills, Ca. SCRIVEN, M., 1967, The methodology of evaluation, en Perspectives of Curriculum Evaluation, (AERA Monograph 1), Rand McNally and Company, Chicago, 39-83. TOMS ESCUDERO ESCORZA 198 Contextos Educ., 8-9 (2005-2006), 179-199 1973, Goal-free evaluation, en House, E. R. (Ed.), School evaluation: The politics and process, McCutchan, Berkeley, CA., 319-328. 1980, The logic of evaluation, Edgepress, Inverness, Ca. 1994, Evaluation as a discipline, Studies in Educational Evaluation, 20 (1), 147- 166. STAKE, R. E., 1967, The countenance of educational evaluation, Teacher College Record, 68, 523-540. 1975, Evaluating the arts in education: A responsive approach, Merril, Ohio. 1975a, Program evaluation: particularly responsive evaluation, Occasional Paper, 5, University of Western Michigan. 1998, A When policy is merely promotion, by what ethic lives an evaluator, Stu- dies in Educational Evaluation, 24 (2), 203-212. STUFFLEBEAM, D. L., 1985, Conducting Educational Needs Assessment, Kluwer Nijhoff, Boston. 1999, Using profesional standards to legally and ethically release evaluation findings, Studies in Educational Evaluation, 25 (4), 325-334. y otros, 1971, Educational Evaluation and Decision-making, F. E. Peacock Pu- blishing, Itasca, Illinois. y SHINKFIELD, A. J., 1987, Evaluacin sistemtica. Gua terica y prctica, Pai- dos/MEC, Barcelona. SUCHMAN, E. A., 1967, Evaluative Research: Principles and Practice in Public Ser- vice and Social Action Programs, Russell Sage Foundation, New York. SUSSER, M., 1975, Epidemiological models, en Struening, E. y Guttentag, M. (Eds.), Handbook of Evaluation Research, Sage Publications, Beverly Hills, Ca., 497-517. WEISS, C. H. 1970, The politization of evaluation research, Journal of Social Issues, 26 (4), 57-68. 1972, Evaluation research: Methods of asessing program effectiveness, Prentice Hall, Englewood Cliffs, N.J. 1973, The politics of impact measurement, Policy Studies Journal, 1 (3), 179-183. 1975, Evaluation research in the political context, en Struening, E. L. y Gutten- tag, M. (Eds.), Handbook of Evaluation Research, 1, Sage Publication, Beverly Hills, Ca. 13-26. 1998, Have we learned anything new about the use of evaluation?, American Journal of Evaluation, 19 (1), 21-33. WOLF, R. L., 1975, Trial by jury: a new evaluation method, Phi Delta Kappa, 57, 185-187. WORTHEN, B. R., SANDERS, J. R. y FITZPATRICK, J. L., 1997, Program evaluation. Alternative approaches and practical guidelines, Longman, New York. WRIGHT, C. R., 1967, Evaluation research, en International Encyclopedia of the Social Sciences, MacMillan, New York. CLAVES IDENTIFICATIVAS DE LA INVESTIGACIN EVALUATIVA: ANLISIS DESDE LA PRCTICA 199 Contextos Educ., 8-9 (2005-2006), 179-199