ANEXO LISTADO DE CUESTIONES RELEVANTES EN EVALUACION DE PROGRAMAS L.C.R.E.P.! CUADERNO DE INSTRUCCIONES, Rocto Ferndndez-Ballesteros José Manuel Herndndez 1. Presentacion EI LCREP (Listado de Cuestiones Relevantes en Evaluacién de Programas) es un instrumento que pretende recoger la opinion de personas implicadas en una evaluacién de programas y/o servicios acerca de una serie de aspectos relevantes de los mismos. Obviamente, la informacién que proporciona este listado es fundamentalmente util antes de comenzar un proceso de evaluacién. El evaluador que cumplimentael LCREP debe tener un conocimiento inicial pero suficiente, a partir de la informacién escrita y oral recogida del programa y/o servicio que pretende evaluar a través del examen de registros y de entrevistas con implicados en el programa. Este instrumento trata de juzgar la evaluabilidad del programa con base en la cali- dad del proceso de planificacién e implantacién \levado a cabo y de las barreras que puede encontrar el evaluador al realizar su trabajo. Por evaluabilidad entendemos la factibilidad de la evaluacién de un programa y la facilidad con Ia que tal evaluacién podria ser Hevada a cabo. Con esta informacién, junto con Ja aportada por otros medios, se podré legar a determinar la magnitud del esfuerzo y el coste que supondra la evaluacion del programa. Las barreras a la evaluacién son todos aquellos obstécu- los que pueden dificultar el proceso de evaluacién del programa. ‘Ambas dreas (calidad en el proceso de planificacién ¢ implantacin y barreras a la evaluacién) se concretan en doce dimensiones que se contemplan en el instrumento en las que se integran 53 elementos. En conereto, las dimensiones correspondientes a la calidad del proceso de planifi- cacién e implantacién son las ocho siguientes: - Evaluacién de necesidades (6). - Definicién de los objetivos (4). = Criterios de seleceién del programa (6). - Definicién del programa (4). = Grado de implantacién (5) - Disefio de la evaluacién (5). - Calidad de las operaciones (4) - Recogida de informacién sobre el contexto de implantaci6n (3)340 Anexo Las dimensiones relativas a las barreras con las que puede encontrarse el evalua- dor son las cuatro siguiente: - Aceptabilidad de la evaluacién (5), - Implicacién del evaluador (3). - Finalidad de la evaluacién (4). ~ Costes de la evaluacién (4). En los apartados referentes a la forma de cumplimentacién y al glosario de térmi- nos se precisan las definiciones operativas de estas dimensiones, 2, Forma de cumplimentacién Las dimensiones de calidad y barreras se concretan en una serie de preguntas que cl evaluador debe responder. Cada una de estas cuestiones planteadas deberd respon. derse en funcién de su ocurrencia 0 no ocurrencia. Asif, el evaluador deberd marcar el $7 en caso de que ocurra lo cuestionado, el NO en caso de que no sticeda o el NS en el caso de que no tenga la informacién precisa para decantarse por una u otra respuesta. En el caso de que se produjera un ntimero alto de cuestiones respondidas con NS, se pondria de manifiesto que el evaluador no conoce lo suficientemente el programa como para juz- gar sobre la calidad del mismo y las barreras que podrian surgir en su evaluacién. Ademés, el evaluador deberd dar su opinién global sobre cada una de las dimen- siones contempladas a través de una escala de 5 puntos (de 0a 4; donde el 0 tefleja una Puntuaci6n minina en la dimensién correspondiente y el 4 una puntuacién maxima). Asi, ademas de contestar a una serie de preguntas sobre cémo se ha realizado, por ejemplo, el andlisis de necesidades, el evaluador debera cuantificar su opinién sobre el grado de pertinencia con la que considera se ha Ilevado a cabo el andlisis de las nece- sidades que estén en la base del programa. : Como estrategia general a utilizar en la cumplimentacién del instrumento se reco- mienda, en primer lugar, leer con toda atencién las especificaciones contempladas en estas instrucciones para después pasar a contestar el LCREP. En todo caso, durante el proceso de respuesta, ante cualquier duda, se requerira la consulta del glosario de tér- minos que aparece a continuacién. 3. Glosario de términos En este apartado se pretende aclarar el vocabulario que va a ser utilizado con el fin de llegar a unificar los conceptos de partida de los informantes. Se seguird el orden que nos marca el propio cuestionario. 1. Dimensiones de calidad * Necesidades: por evaluacién de necesidades se entiende el procedimiento de recogida de informacién a la hora de establecer los problemas (y sus derivacio- nes) que tiene una determinada colectividad a la que se quiere atender, Entende-Anexo 341 mos por necesidad, las carencias 0 discrepancias entre lo que tal poblacién desea y lo que tiene. Tres son los factores fundamentales a la hora de enjuiciar si se ha rea- lizado un anilisis de necesidades. En primer lugar, el tipo de necesidad sobre el que se ha recabado informacion. En segundo término, los implicados que han participa- do en el andlisis. Por tiltimo, el procedimiento de recogida de informacion utilizado. * Tipo de Necesidad: se adopta la clasificacion propuesta por Moroney (1977): — Necesidad normativa: viene definida por la comparacién entre los servicios exis- tentes y previamente cuantificados y los que deberian existir segin normas 0 esténdares. — Necesidad relativa: tiene que ver con la equidad de servicios para diferentes grupos de poblacién y areas geograficas, no sélo teniendo en cuenta los estados deseables sino la adecuada distribucién de dichos servicio: — Necesidad expresada: se llega a su conocimiento a través del niimero de perso- nas que, en un momento concreto, solicitan un servicio o programa. —Necesidad percibida: es la necesidad que el usuario 0 consumidor, desde su punto de vista subjetivo, considera como suya. Implicados: + Responsables: personas que planifican los programas para satisfacer las necesi- dades de un determinado grupo de poblacién. * Gestores y técnicos: personas concretas con puestos especificos, bien administra- tivos o técnicos, encargadas de aplicar los programas disefiados. * Poblacién objetivo: el conjunto de las personas que tienen una determinada nece- sidad y sobre las que deberd planificarse el programa. * Poblacién general: el resto de las personas que no estando en ninguno de los gru- pos anteriores pueden tener un interés en el programa y una opinién acerca de las necesidades del grupo de poblacién potencialmente receptor. Procedimiento de recogida de informacién: + Dictdémenes 0 Normas de Organos supranacionales 0 nacionales: en este caso las necesidades han sido leidas o inferidas en dmbitos de representacién nacional o internacional. Por ejemplo: la OMS ha realizado recomendaciones sobre la erra- dicacién del paludismo, + Sondeos de opinién ad-hoc: encuestas realizadas por organismos piiblicos o pri- vados con el fin de captar las necesidades de un determinado grupo de poblacién. Por ejemplo, estudio realizado por el Instituto de la Mujer acerca de las diferen- cias en cuanto al tipo de salario entre mujeres y varones. * Encuestas indirectas: \as necesidades de un programa pueden haber sido estable- cidas mediante la utilizacién de encuestas no elaboradas especificamente para él, pero que, de forma indirecta, han puesto de manifiesto necesidades de actuacién Por ejemplo, datos aportados por estudios realizados con poblacién gitana pueden estar a la base de un posible programa de actuacién acerca de la marginacién de este colectivo.342 Anexo + Datos de archivo: las necesidades se han obtenido mediante el rastreo de datos de archivo, tales como datos sociodemograficos y/o epidemiol6gicos. Por ejemplo, niimero de alcohdlicos en un contexto especifico, nimero de ancianos con un determinado nivel de renta, etc, + Grupo de discusién: las necesidades se han obtenido a través de las informacio- nes aportadas por personas clave de alguno de los grupos de implicados (pre- ferentemente miembros de la poblacién objetivo) reunidos para hablar de su situacién y posibles problemas. * Objetivos: un objetivo es, dicho sencillamente, algo que se desea conseguir. Deben contar con una serie de caracterfsticas que van a determinar su calidad técnica. En concreto, un buen objetivo debe ser claro, especifico, medible, facilmente identifi- cable, plausible, no incompatible con otros, con temporalidad especificada (distin- guiendo entre objetivos a corto, medio y largo plazo) y puedan ser operativizados en metas molecularmente establecidas sobre las que se puedan fijar criterios cuan- tificables 0 de medici6n que posibiliten la recoleccién de datos sobre dichas metas. * Criterios de seleccién: por criterios de seleccién entendemos los medios puestos a disposici6n durante el proceso de planificacién y disefio del programa para juz- gar la calidad del mismo y, en definitiva, llegar a su formulacién final. En este sentido, consideramos cuatro, las vias de soporte empitico y/o teérico de un pro- grama, que determinan su eleccién. = Datos emptricos sobre el programa: se refiere a cuando el programa ya ha sido implantado en el contexto de aplicacién y/o en otros contextos y existen datos sobre su eficacia y valor. — Validez del programa: se refiere a la eficacia y efectividad del programa, Se puede hablar de su validez en el propio contexto de aplicacién en el que se va a implantar cuando existen resultados de evaluacién sobre ello o de su validez en otros contextos distintos al de aplicacién. — Datos sobre acciones: el programa no ha sido implantado en su totalidad ante- riormente pero sf se conocen experiencias sobre acciones concretas 0 aspectos estructurales que el programa lleva consigo y que han sido avaladas. ~ Criterio de racionalidad: racionalmente existen indicios que permiten suponer el buen funcionamiento del programa. + Programa: es aquel conjunto organizado de acciones, recursos humanos y mate- tiales emplantados coordinadamente para conseguir unos objetivos y subvenir a unas necesidades. Evidentemente, un programa tiene muy distintos grados de com- plejidad pudiendo la evaluacién dirigirse a su totalidad 0 a aspectos concretos del mismo. En todo caso, un programa cuenta con aspectos estructurales y dinémicos. Asf, las dimensiones que forman parte de este area hardn referencia a la mayor- menor molaridad del programa y ello en funcién de las acciones emprendidas, de las estructuras establecidas y de la temporalizacién marcada, ~ Acciones: constituyen la parte dinémica del programa, es decir, es todo aquello que los dispensadores del mismo —gestores y técnicos~ tienen que realizar para ejecutarlo.Anexo 343 ~ Estructura: constituye la parte estética del programa. Es todo lo referente a recursos, tanto materiales como humanos, que deben existir para su implanta- cién normal. ~ Temporalizacién: tiene que ver con las secuencias temporales establecidas para las sucesivas fases de la implantacién. + Implantacién: este concepto hace referencia al funcionamiento y aplicacién del programa y al grado en que se siguen las directrices marcadas. Asimismo, se ten- dra que tener en cuenta también el grado de extensi6n, es decir, el mimero de uni- dades sometidas a él. ~ Elementos: constituyen las partes més moleculares del programa. Es decir, se hace referencia a los tratamientos concretos 0 acciones que finalmente son dis- pensados a los usuarios. — Unidades: son todas las personas, clases, lugares —centros, instituciones, aso- ciaciones, etc considerados sujetos del programa, Deberd establecerse en cudntos de éstos se ha implantado realmente. ~— Estructura: (véase la definicién aportada més arriba). — Temporalizacion: (véase la definicién aportada mas arriba). * Disefio: se trata de enjuiciar el tipo de disefio que podré ser utilizado por el eva- luador a la hora de llevar a cabo la evaluacién del programa, bien porque lo per- mite la planificacién del programa ya efectuada (ya cuenta con un pre-disefio y se recogieron datos antes de aplicar el programa), bien porque asi puede programar- seen el futuro. — Disefio experimental: es posible utilizar disefios experimentales (asignancién al azar de un grupo experimental y control riguroso de variables contaminadoras).. ~ Disefio cuasi-experimental: es posible utilizar disefios cuasi-experimentales (posi- bilidad de contar con grupos de control con un determinado nivel de equivalen- cia, 0 de disefios de series temporales, o posible estratificacién, etc.) en la eva- luacién del programa. — Disefio pre-experimental: no se puede utilizar un grupo de control que sirva de ‘comparacién y referencia. El control que se puede ejercer sobre las variables es minimo. — Disefio emergente: no se puede contar con un disefio previamente establecido sino que éste va emergiendo conforme se realiza la evaluacién del programa. + Operaciones a observar: en esta dimensiOn se pretende conocer hasta qué punto las operaciones a observar mediante distintos procedimientos de recogida de informacion permitirdn recoger datos fiables y validos. II. Dimensiones relativas a las barreras a la evaluacion * Aceptabilidad: este concepto se refiere a si, presumiblemente, los diversos grupos de implicados —ver su definicién mas arriba~ aceptan la posibilidad de someter el344 Anexo programa a una evaluaci6n y si aceptan el papel y las funciones que el evaluador debe asumir, asf como si van a permitir que se recojan datos relevantes a la evaluacién. + Implicacién del evaluador: en este Area se pretende establecer el grado de vincu- lacién del evaluador con Ia organizacién que dispensa el programa, con el propio programa y con los resultados que puede aportar la evaluacién. ~ Evaluador externo/interno: el evaluador puede ser ajeno o perteneciente a la orga- nizacién que es la encargada de la planificacién e implantacién del programa. ~Implicacién en el programa: el evaluador ha podido tener que ver 0 no con la planificacién, disefio ¢ implantaci6n del programa, independientemente de su vinculacién con la organizacién que lo dispensa. = Importancia de los resultados para el evaluador: de los resultados de la eva- luacién puede depender, en mayor o menor medida, el futuro inmediato y/o a largo plazo del evaluador. + Finalidad de los resultados de la evaluacién: en este drea se cuestiona la claridad de los motivos de quién encarga la evaluacién y que han Ilevado a contratarla, ~ Costes de la evaluacién: en este area se pretenden establecer los costes aproxi- mados de la evaluacién a dos niveles, costes temporales y costes materiales. — Costes temporales: hacen referencia al tiempo que va a llevar el proceso de eva- luacién — Costes materiales: hacen referencia a la estimacién cualitativa de los costes econémicos que va a comportar la ejecucién de la evaluacién. 4. Forma de correccién En cada una de las dimensiones, los elementos listados no son excluyentes entre sf; es decir, la mejor alternativa no excluye otras peores (por ejemplo, contar con datos fia- bles y vélidos ya recogidos no impide el poder o tener que aplicar nuevos instrumen- tos) de forma tal que el sumatorio de las posibilidades que se presentan indica una mejor evalualibidad del programa. Por ello, el LCREP permite la posibilidad de obten- cién de dos tipos de datos. El primero surge del cémputo de las respuestas afirmativas a cada una de las dimensiones. En este sentido, una alta puntuaci6n reflejard un alto grado de calidad en la dimensién evaluada. El segundo resulta de la consideracién lite- ral aportada en la escala de evaluacién global de la dimensién. Se recomienda la cum- plimentacién del instrumento por ms de un evaluador que permita la contrastacién del grado de acuerdo entre ellos. Para esto es importante constatar que el grado de infor- macién sobre el programa que tengan los evaluadores sea homogéneo. Por otra parte, también puede constatarse la correlacién existente entre los dos tipos de puntuaciones para cada dimensién (respuestas directas a las preguntas y esca- i6n). strumento de evaluacién se adjunta una hoja-resumen donde pueden ser anotadas ambos tipos de puntuaciones.Anexo 345 LISTADO DE CUESTIONES RELEVANTES EN EVALUACION DE PROGRAMAS L.C.R.E.P2 Rocio Ferndndez-Ballesteros J. M. Hernandez Programa a evaluar ... Organismo de implantacién .... Evaluador .......... DIMENSIONES DE CALIDAD 1. Evaluacién de necesidades 1. Los implicados de este programa han tenido en cuenta para esta blecer las necesidades de la poblacién objetivo, normas o dict4- menes procedentes de Organismos Supranacionales. SI NO NS 2. Se han realizado una serie de sondeos de opinién para consul- tar a la poblacién objetivo y a la poblacién general acerca de cuales son sus necesidades. SI NO NS » Se ha recurrido a datos de archivo (datos epidemiolégicos, socioeconémicos, etc.) que determinan de forma indirecta las necesidades de la poblacién objetivo. SI NO NS rs . Las necesidades se han establecido mediante inferencias poli- ticas realizadas por los responsables y gestores del programa. SI NO NS w . Se han celebrado reuniones (grupos de discusién) con represen- tantes de la poblacisn objetivo para conocer sus necesidades. SI NO NS 2 En el anélisis de necesidades se han utilizado otros procedi- mientos no resefiados hasta aqui. SI NO NS Grado de evaluacién de las necesidades 0 1 a So:346 Anexo II. Definicién de los objetivos 7. Existen objetivos y metas bien definidos operacionalmente. 8. Los objetivos se expresan en criterios e indicadores cuantifi- cables. ° Existen objetivos aunque no estén bien definidos. 10. Se han establecido s6lo objetivos generales Grado de evaluabilidad de los objetivos 0 III. Criterios de seleccién del programa 11. Existen datos empfricos que avalan la validez del programa en cl contexto de aplicacién. 12. Existen datos empfricos que avalan la validez del programa en otros contextos distintos al de aplicacién. 13, Se conocen experiencias sobre acciones concretas del progra- ma que han sido validas en el contexto de aplicacién. 14. Se conocen experiencias sobre acciones concretas del progra- ma que han sido validas en otros contextos distintos al de apli- cacién. 15, Existen indicios racionales acerca de la validez del programa en el contexto de aplicacién. 16. Existen indicios racionales acerca de la validez del programa en otros contextos distintos al de aplicacién. Grado de calidad en los criterios de seleccién 0 N x Definicin del programa 17. Las acciones implicadas en el programa estén definidas. 18. Los recursos humanos que se requieren estén claramente defi- nidos SI SI SI SI SI SI SI SI SI SI NO NO NO NO NO NO NO NO NO NO NO NO NS NS NS NS NS NS NS NS NS NS NS19. 20. La estructura material concerniente al programa esta definida. La temporalizacién en la implantacién del programa est defi- nida. Grado de definicién del programa 0 V. Grado de implantacién 21. 22, 2. 25. VI. 2e 27. 28. 29. 30. a ‘Todos los elementos han sido implantados en las unidades pro- gramadas. La estructura del programa ha sido implantada en las unidades programadas. Se sigue la temporalizacién fijada en las unidades programa- das . Todos los elementos han sido implantados. Se dispone de toda la estructura programada. Grado de implantacién 0 Disefo de la evaluacién Existe un disefto preestablecido. En la evaluacién del programa se puede utilizar un disefio ex- perimental. En la evaluacién del programa se puede utilizar un disefio cua- si-experimental. En la evaluacién del programa se puede utilizar un disefto pre- experimental. En la evaluaci6n del programa es aconsejable utilizar un dise- filo emergente. Grado de calidad del diseno 0 SI SI SI SI SI SI SI SI SI SI SI Anexo NO NO NO NO NO NO. NO NO NO NO NO NO 347 NS NS NS NS NS NS NS NS NS NS348 Anexo VII. Calidad de las operaciones a observar 31. Existen datos ya recogidos con suficientes garantias de rigor Para permitir la evaluacién del programa. 32. Existen indicadores fécilmente accesibles que permitirdn la evaluacién. 33. Las operaciones que van a permitir la evaluacién del programa pueden serlo mediante instrumentos fiables y vélidos ya exis- tentes. 34. Tendran que ser construidos instrumentos de evaluacién ad hhoc con el fin de proceder a la evaluacién del programa. Grado de calidad de las operaciones a observar 0 VIII. Recogida de informacién sobre el contexto 35. Existe una recogida de datos sistematica sobre el contexto don- de se aplica el programa. 36. Es posible acudir a datos de archivo directos sobre el contexto donde se aplica el programa 37. Es posible acudir a datos procedentes de procedimientos retros- Pectivos sobre el contexto donde se aplica el programa, Posibilidad de recogida de informacién sobre el contexto de implantacién 0 DIMENSIONES DE BARRERAS IX. Aceptabilidad de la evaluacién 38. Antes de empezar la evaluacién, los implicados en el progra- ma han colaborado con el equipo evaluador. 39. Existe evidencia de que los usuarios del programa aceptan la Posibilidad de su evaluacién y estén dispuestos a colaborar SI SI SI SI SI SI SI SI SI NO NO NO NO NO NO NO NO NO NO NS NS NS NS NS NS NS NS NS NS40. Existe evidencia de que los responsables y gestores aceptan la posibilidad de la evaluacién y estén dispuestos a colaborar. 41. Existe un cierto grado de probabilidad de que los usuarios acepten la posibilidad de que éste sea evaluado y estén dis- puestos a colaborar. 42. Existe un cierto grado de probabilidad de que los responsables y gestores acepten la posibilidad de que éste sea evaluado y estén dispuestos a colaborar. Grado de aceptabilidad de la evaluacién 0 X. Implicacién del evaluador 43, El evaluador es externo a la Organizacién que ha planificado e implantado el programa. 44, El evaluador del programa esta muy poco implicado en la pla- nificaci6n, disefio e implantaci6n del programa. 45. Los resultados de la evaluacién son de escasa importancia para el futuro del evaluador. Grado de implicacién del evaluador 0 XI. Finalidad de la evaluacion 46. Esta claramente establecido cual es el propdsito de la evalua- cién. 4 a . Esta claramente establecido para qué van a ser utilizados los resultados de la evaluacién. 43 % Existen indicios, no especificados, acerca de cémo van a ser utilizados los resultados de la evaluacin. 49. Existen indicios, no especificados, acerca de para qué van a set utilizados los resultados de la evaluacion Grado de especificacién de la finalidad de la evaluacién 0 SI SI SI SI SI SI SI SI SI SI Anexo 349 NO NS NO NS NO NS Pee Bi 4 NO NS NO NS NO NS 2 F 4 NO NS NO NS NO NS NO NS 23 4350 Anexo XII. Coste de la evaluacién 50. Se puede determinar la duracién de Ia evaluacién del progra- ma. SI. La duracién de la evaluacién del programa va a ser ajustada a los requerimientos del cliente. 52. Se pueden determinar los costes materiales de evaluacién del programa. 53. Los costes materiales de la evaluacién del programa no sobre- pasan las disponibilidades del cliente. Grado de coste de la evaluacién 0 SI SI SI SI NO NO NO NO NS NS NS NS