TEMA 6 EVALUACIN DE LA TEORA DEL PROGRAMA Y SU EVALUABILIDAD

Contenido: 1. Teora del programa y Evaluabilidad 2. Evaluabilidad para Fernndez-Ballesteros 3. Wholey 4. Smith. 5. Rutman. 6. Rossi, Freeman y Lipsey.

1. Evaluabilidad y teora del programa

Teoras del programa

n Cada programa implica estructura, funciones y procedimientos para

la consecucin de objetivos

n La lgica y la conceptualizacin en la que se basa un programa

debe ser objeto de estudio

n Primer paso en la evaluacin de la teora: realizar explcitamente

una descripcin de la concepcin, supuestos y expectativas que constituyen la lgica del programa Actividades subyacentes en evaluabilidad

n n n

Descripcin del modelo del programa Evaluacin de hasta que punto est bien definido y es evaluable el modelo del programa Identificacin de los intereses de los participantes en la evaluacin y del uso posible de los hallazgos

Dimensiones determinantes en evaluabilidad

n Tipo de programa n Momento de la evaluacin

n Sujetos de Evaluacin n Naturaleza de los datos n Objetivos de la Evaluacin

Evaluabilidad (Rodrguez, 2000)

El anlisis de la evaluabilidad no va a partir del mismo punto ni va seguir los mismos pasos en todos los programas ni en todas las circunstancias Razones:

Evaluabilidad: la forma en que un programa es evalua ble No existe un modelo de evaluacin ni una metodologa ideales
por los que cualquier programa puede ser evaluable. Conclusiones El Anlisis de la Evaluabilidad va a consistir en la bsqueda de la mejor forma de evaluar un programa determinado partiendo de un punto de vista metodolgico.

n n

Un mismo programa, o sus componentes, pueden ser evaluados desde distintos modelos, diseos, instrumentos, etc. El proceso de toma de decisiones respecto a la mejor opcin metodolgica para evaluar el programa es el proceso de anlisis de la Evaluabilidad del mismo.

2. Fernndez Ballesteros (1995)

n La evaluabilidad es la medida en que un programa puede ser
evaluado

n La evaluabilidad incluye evaluacin de necesidades, objetivos, el

programa y la implementacin

n Propone el Listado de Cuestiones Relevantes en Evaluacin de

Programas (L.C.R.E.P.) Wholey, 1987, 1994: Evaluablidad

n Metas, objetivos, efectos importantes y necesidades han de estar

bien definidos

n Metas y objetivos deben ser plausibles n Ha de obtenerse informacin relevante acerca de la ejecucin del
programa

n Existe acuerdo de cmo usar los resultados de la evaluacin

Evaluabilidad y Teora del Programa

n El programa puede estar basado en una teora clara y bien

explicitada

n No obstante, puede basarse en teoras implcitas, que el evaluador

debe extraer

n Objetivo de la articulacin de la teora:

Describir las expectativas reales que mantienen los decisores del

programa acerca de lo que se espera que haga el programa y los resultados que se obtendrn Smith, 1989

n Objetivos n Procedimientos
Objetivos

n La definicin de la teora del programa

Lgica subyacente, con teora del cambio Aspectos funcionales: Actividades y recursos Indicadores de ejecucin tanto en cmo se implementa como
cundo se logran resultados

n Identificacin del conocimiento o inters de las audiencias en el

programa

Percepciones de cmo se lleva a cabo el programa Necesidades de informacin de la evaluacin del programa
Pasos

n n n n n n n n n n

Determinar el propsito e identificar a los miembros del equipo de trabajo Definir las reas del programa a estudiar Identificar y analizar los documentos del programa Desarrollar o clarificar la teora del programa Identificar y entrevistar a las audiencias Describir las percepciones de las audiencias respecto al programa Identificar necesidades, consideraciones y diferencias en percepciones Determinar la plausibilidad del modelo del programa Extraer conclusiones y dar recomendaciones Planificar los pasos especficos para utilizar los datos de la evaluabilidad

Rutman, 1984

n La evaluacin de programas requiere una planificacin cuidadosa

para asegurar que el estudio sea relevante y creble

n Se concentra en la estructura del programa n Responde a:

Est bien definido? Esta implementado como se planific? Estn definidos claramente los objetivos? Son stos plausibles?
Pasos

n n n n

Preparar un modelo del programa a partir de los documentos existentes Reproducir el modelo con flechas indicando relaciones causales Entrevistar a los programadores para desarrollar su modelo Comparar los modelos creados y llegar a un acuerdo

n n n n

Hacer un trabajo de campo para determinar lo que realmente se hace Preparar un modelo del programa evaluable Decidir preguntas clave e informacin precisa para responderlas Determinar la viabilidad de los procedimientos de evaluacin

Chambers, Wedel y Rodwel (1992)

n Evaluacin del propsito n Valoracin del programa n Valoracin de la viabilidad tcnica n Valoracin de viabilidad humana y poltica
Evaluacin del propsito

n Identificar el razonamiento para la evaluacin del programa n Informacin sobre las audiencias que pagan la evaluacin del
programa

n La lgica o propsito

Establece los requerimientos metodolgicos Provee la base para examinar la viabilidad de la evaluacin
Valoracin del programa

n Identifica la adecuada definicin de componentes y la claridad de

objetivos

n Mtodos para hacerlo

Revisar la documentacin del programa Describir el programa Modelar el programa Hacer visitas de campo para entender las operaciones que se
realizan Valoracin de la viabilidad tcnica

n Determinar la presencia de indicadores evaluables. n Precisar la aplicabilidad de mtodos adecuados de investigacin

evaluativa.

n Relacionado

con

implementacin,

requerimientos

tcnicos

viabilidad del coste. Valoracin de la viabilidad humana y poltica

n Determinar la disposicin de las audiencias a la evaluacin del

programa

n Relacionado con aspectos ticos y con posibles prdidas y

ganancias de las distintas audiencias

n Influencia del programa y su evaluacin en los estamentos polticos

Rossi, Freeman y Lipsey, 1999

n Procedimientos de recogida de datos:

Fuentes posibles de informacin Temas de atencin en la revisin de la informacin

n Marcos de evaluacin de la teora del programa
Revisin de documentos

n Siempre suele haber algn tipo de informacin escrita sobre el

programa

n Tipos de informacin: econmica, de relacin con otras entidades,

material promocional (ej: trpticos)

n Aunque pueden ser informativos, no han sido preparados para

explicar la teora subyacente al programa Entrevistas

n Muy importante establecer entrevistas en profundidad o grupos de

discusin con informadores relevantes

n Informadores: directores y administradores del programa; personal

relacionado con los usuarios; financiadores y polticos; usuarios; otros implicados de fuera del programa: otras agencias, lderes sociales Observacin

n Recoge informacin de primera mano con visitas directas in situ n Posibilita observar los recursos del programa y las operaciones
rutinarias

n Permite detectar discrepancias entre la teora y realidad

Metas y objetivos del programa

n Debe haber una relacin razonable entre lo que el programa hace y

lo que pretende hacer

n Debe haber objetivos dirigidos al impacto y al proceso n Prestar inters a posibles efectos no planificados
Funciones, componentes y actividades del programa

n Hay que identificar cada componente del programa, as como su

interrelacin

n Es importante ver el programa como un proceso y describirlo con

verbos en lugar de con sustantivos

n Cada funcin del programa debe ir descrita con actividades

especficas Relacin entre los pasos del programa

n Las distintas fases del programa se relacionan de forma diversa, y

es preciso describir cmo

n Es conveniente elaborar grficos o diagramas de flujo para

delimitar como son los enlaces entre pasos del programa Corroboracin de la teora del programa

n Confirmar que los participantes en el programa estn de acuerdo

en la teora subyacente

n Si no es as, el evaluador debe ayudar a clarificarlo

PROCEDIMIENTOS DE EVALUACIN

n Evaluacin en funcin de necesidades sociales n Evaluacin de la lgica posibilidades n Evaluacin relacionando teora y prctica n Evaluacin mediante observacin preliminar
En funcin de necesidades sociales

n Comparar el programa con las necesidades por las que surge n Puede ser necesario acudir a asesores que puedan valorar la
pertinencia

n Para poder evaluarlo, el programa debe ser especfico en lugar de

global

n Se debe comprobar que el programa ofrece servicios accesibles a la

poblacin objetivo, que sean compatibles con sus necesidades Lgica y posibilidades

n Debe responder a dos cuestiones, el programa,

est bien definido? es razonable?

n Esto supone responder tambin a

Estn bien definidas metas y objetivos? Son realistas? Es plausible el cambio que se propone? Est bien definida la poblacin objetivo? Estn definidas las acciones? Se tienen los recursos necesarios?

Relacin investigacin - prctica

n Supone la evaluacin de programas similares para determinar si

pueden tener xito y permiten identificar reas de problemas crticos

n Se puede recurrir a la investigacin cientfica en psicologa o

sociologa como referencia para evaluar la teora del programa Observacin preliminar

n Aunque la teora no puede verse, si que incluye supuestos de

funcionamiento que pueden observarse

n La observacin directa permite un examen de la realidad para

valorar la concordancia entre la teora del programa y lo que supone que describe Qu hacer en un programa deficiente

Aconsejar a los programadores redisear el programa:

 Clarificacin de objetivos y metas Reestructurar los componentes del programa Trabajar con los implicados para conectar procedimientos con
objetivos

Si no, el programa se llevar adelante con grandes dosis de ambigedad:

Sobre lo que se espera que el programa haga Inadecuada especificacin del impacto
Referencias Fernndez-Ballesteros, R. (Ed.) (1995). Evaluacin de programas. Una gua prctica en mbitos sociales, educativos y de salud. Madrid: Sntesis. Rodrguez, E. (2000) Evaluabilidad. Documento no publicado. Rossi, P.H., Freeman, H.E. y Lipsey, M.K. (1999) Evaluation: A practical approach. Thousand Oaks, CA: Sage Rutman, L. (1980). Planning useful evaluations. Evaluability assessment. Beverly Hills: Sage. Smith, Wholey, M.F. J.S. (1989) (1987) Evaluability Evaluability assessment: assessment: A practical approach. Norwell, MA: Kluwer Developing Program Theory. San Francisco: Jossey Bass Wholey, J.S. (1994) Assessing the feasibility and likely usefulness of evaluation. En J.S. Wholey, H.P. Hatry y K.E. Newcomer (eds) Handbook of Practical Program Evaluation. San Francisco: Jossey Bass