Teoría del programa y la

evaluación del diseño

María Bustelo
Universidad Complutense

Sesión 20 de Enero 2017

 Índice
1. La evaluación del diseño o conceptualización de un
programa y su relación con la Teoría del Programa
2. ¿Qué es la Teoría del Programa?
1. Conceptos
2. Aclaraciones terminológicas
3. Las teorías del cambio de Carol Weiss y ejemplos
4. Programas simples, complicados y complejos
5. Modelos lógicos y su representación
3. Otra forma de hacer teoría de programa y evaluación del
diseño: El análisis de marcos y el ejemplo del proyecto
MAGEEQ
1. Una breve reflexión sobre la definición, representación y evolución de
los problemas públicos
2. El análisis de marcos de política y el proyecto MAGEEQ 2
 Una propuesta a partir de la
tipología de contenido
• EVALUACIÓN DEL DISEÑO: Valora la
coherencia, racionalidad y pertinencia de la intervención
• EVALUACIÓN DEL PROCESO: Se pregunta
sobre el proceso de puesta en práctica, la gestión y el
funcionamiento del programa
• EVALUACIÓN DE RESULTADOS: Se debe
distinguir entre:
• De productos o outputs: calidad de las acciones y
actividades que produce la intervención
• De efectos o outcomes: efectos que producen dichas
acciones
3
1. Evaluación del diseño (1)
1. Racionalidad: Adecuación entre las necesidades
y problemas de la población y comunidad y los
objetivos o fines de la intervención
 Relevancia: ¿Se ha hecho un buen diagnóstico y
análisis de la realidad del problema y el contexto?
¿Se ha estudiado y definido adecuadamente el
problema a abordar? ¿Responden los objetivos a
las necesidades detectadas?
 Pertinencia: Calidad y adecuación de la
definición y formulación de objetivos. ¿Son claros
y concretos? ¿Reflejan compromisos asumidos no
ambiguos? ¿Una sola meta o fin y un solo
resultado o producto? ¿Plazos de ejecución?
4
Adaptado de Osuna y Márquez (2000) y Bustelo (2001)
 1. Evaluación del diseño (2)
2. Coherencia: Adecuación entre la jerarquía de
objetivos y la estrategia diseñada para su
consecución
 Coherencia interna: Articulación de necesidades y problemas
con objetivos e instrumentos de estrategia. ¿Existe una coherencia
entre análisis de la realidad y problema, objetivos generales,
específicos, actividades y metodología? ¿Se han especificado bien
los objetivos, están correctamente jerarquizados? ¿Se prevén los
recursos necesarios? ¿Está bien diseñada la metodología de
intervención: secuenciación de tareas, calendario y tiempos,
mecanismos de control, etc.?
 Coherencia externa: Compatibilidad de los objetivos y estrategia
con otros programas del entorno, instituciones que lo impulsan,
etc. ¿Son los objetivos congruentes con la “filosofía” de la
organización que los formula y patrocina?
5
Adaptado de Osuna y Márquez (2000) y Bustelo (2001)
 Lógica y teoría del programa
LÓGICA DE PROGRAMA: Especifica los inputs y los
componentes de un programa, así como los resultados a
corto y largo plazo, además de los vínculos entre ambos.
Sin embargo, la lógica de un programa raramente trata o
expresa los mecanismos subyacentes que se presumen
como responsables de dichos vínculos
TEORIA DE PROGRAMA: Teoría o modelo explícito
de cómo el programa causa los resultados pretendidos.
Muchas veces esta teoría no está explicitada, sino que
existe de una forma implícita
6
 Para qué sirve la Teoría de
Programa en Evaluación
 Para entender las intervenciones y por qué los
programas funcionan o no (evaluación de diseño)
 Para definir y utilizar adecuadamente preguntas de
evaluación
 Para identificar los aspectos de la intervención, el
contexto y los resultados que deben ser medidos
 Para enfocar la evaluación en términos de recopilación
y análisis de datos y comunicación de la información
 Para desarrollar sistemas de seguimiento
 Para elaborar diseños de evaluación de impacto
 Para mejorar los programas… (evaluación de diseño)

7
(2001)
 Teoría del programa
(según Patricia Rogers)
TEORIA DE PROGRAMA
-Cualquier tipo de modelo causal que enlaza la
intervención con unos resultados concretos
-Puede estar basada en una teoría o modelo teórico
formal, o en asunciones de los profesionales de carácter
informal, tácito e implícito (no expresadas)
- La teoría tiene que incluir una explicación de porqué
las actividades contribuyen a los resultados, no una
simple lista de las actividades seguidas de los resultados,
sin una explicación de cómo se engarzan unas con otros
más que una misteriosa flecha
8
 Algunos términos (P. Rogers)
TEORIA DE PROGRAMA: Una teoría explícita de cómo una
intervención contribuye a los efectos pretendidos y observados, y que
tiene dos componentes:
• Teoría del cambio : el proceso por el que ocurre el cambio (para un
individuo, una organización o una comunidad)
• Teoría de la intervención: cómo la intervención se construye para
activar la teoría del cambio
MODELO LOGICO: Una representación visual de una teoría de
programa, normalmente en un diagrama
EVALUACIÓN BASADA EN LA TEORÍA DEL PROGRAMA:
Una evaluación que se guía al menos en parte por una teoría de
programa explícita. No tiene porque estar necesariamente ‘dirigida’
por la teoría (sino por los propósitos o necesidades de los
9
‘stakeholders’ )
 Aclaración de términos

Según P. Rogers: Según C. Weiss

TEORÍA DE PROGRAMA TEORIAS DEL CAMBIO
• Teoría del cambio • Teoría del programa
• Teoría de la intervención • Teoría de la implementación
(theory of action )

10
 Las teorías del cambio de Carol
H. Weiss (1)
TEORIA DE PROGRAMA
• Se refiere a los mecanismos que median entre la
entrega (y la recepción) del programa y el surgimiento
de los efectos de interés. El mecanismo operativo de
cambio no son las actividades del programa en sí (lo que
se hace), sino la respuesta que dichas actividades generan
• La teoría de programa pone énfasis en las respuestas
de la gente a las actividades del programa.

11
 Las teorías del cambio de Carol
H. Weiss (2)
TEORIA DE LA IMPLEMENTACION
• Si el programa hace todas las cosas que pretende,
pasarán cosas buenas (se generarán los efectos deseados). Por lo
tanto, la teoría de la implementación pone el énfasis en la
entrega y reparto de los servicios del programa, en cómo
se llevan a cabo las actividades.
• La implementación incorpora implícitamente una teoría
sobre lo que se requiere para traducir los objetivos en la
entrega del servicio en curso o en las operaciones del
programa.
12
 Las teorías del cambio de Carol
H. Weiss (3)
Una gran ventaja de entender las “teorías de
cambio del programa” es que pueden ofrecer una
base para la evaluación. El evaluador puede
organizar la evaluación para seguir el rastro de los
desdoblamientos de las premisas. La evaluación
puede recopilar información sobre los indicadores
intermedios que se espera que aparezcan.

13
 Ejemplo
Aumento de los salarios de los profesores

La moral del El clima social de la Los profesores dejan Gente más capaz
profesor clase se hace más sus otros trabajos y es atraída a la
aumenta agradable ponen todas sus ener- enseñanza
gías en la enseñanza

Los profesores Los profesores se Los profesores prepa- Los distritos esco-
trabajan más y relacionan mejor con paran más consciente- lares contratan pro-
se esfuerzan más los estudiantes mente las clases fesores más
en la preparación capaces
y en la pedagogía

Los estudiantes Los estudiantes pro- Los profesores emplean Los profesores más
comprenden me- curan mantener me- una variedad mayor de capaces enseñan de
jor el material jores relaciones con estrategias pedagógicas forma más efectiva
sus profesores

Los estudiantes Los profesores enseñan

trabajan mejor de forma más efectiva

Aumento del éxito de los estudiantes

14
 Ejemplo
Visitas de los profesores a las casas de los estudiantes
Puntos de vista compartidos por padres y profesores

Comprensión de Conocimiento por Identificación de pro

la cultura fami- parte de los padres blemas especiales que
liar de las expectativas retrasan el éxito del
del colegio sobre los estudiante
estudiantes

Los profesores Apoyo y orientación Apoyo parental Derivación hacia

entienden mejor parental con los en la asistencia recursos externos o
a los estudiantes deberes y tareas al colegio internos del colegio
y su visión del
mundo

Enseñanza más Consciencia de su Asistencia regular Los estudiantes

comprensible trabajo por parte de Falta de absentismo reciben apoyo
para los estudiantes de los estudiantes escolar especial

Autoestima de Mejora de las

los estudiantes condiciones de salud,
emocionales, etc.

Logros en la capacidad lectora

15
 Ejemplo
LAS TEORIAS DE CAMBIO: LA TEORIA DE LA IMPLEMENTACION Y LA TEORIA
PROGRAMA DE UN PROGRAMA DE FORMACION PARA EL EMPLEO
Teoría de la implementación
(actividades del programa)
El programa publicita un programa de formación
para el empleo
El programa reclutan a la juventud elegible
El programa ofrece formación ocupacional en
un lugar accesible
El programa paga una cantidad por asistencia
El programa ofrece cuidados de día
La formación se ajusta a las necesidades del
mercado
La formación se lleva bien a cabo
La formación enseña buenos hábitos de trabajo
Los formadores ayudan y apoyan
El programa desarrolla una lista de trabajos
apropiados (y los trabajos existen)
El programa dirige a los jóvenes a trabajos
apropiados
Los profesionales del programa asisten a los
empleadores y a la juventud en los trabajos
Teoría del programa
(mecanismos de cambio)
La juventud se entera el program
La juventud se interesa y se mo
para apuntarse
La juventud se inscribe
La juventud asiste de forma regu
(algunos no)
La juventud aprende habilidades
desarrolla competencias
(algunos no)
La juventud internaliza valores
respecto al trabajo regular y una
conducta apropiada en el trabajo
La juventud busca trabajo
La juventud se comporta de form
adecuada en las entrevistas de
trabajo
Los empleadores ofrecen trabajo
La juventud acepta los trabajos
Los empleadores ayudan a la
juventud a hacer la transición ha
trabajo
La juventud acepta la autoridad
trabajo
La juventud trabaja bien
16
La juventud permanece trabajo
 TEORÍA DEL CAMBIO

TEORÍAS DE CAMBIO: la teoría de la implementación y la teoría de prog rama.

Programa de formación para el empleo (Weiss, 1998)
Teoría de la implemantación Teoría del programa
(actividades del programa) (mecanismos de cambio)

El programa publicita un programa de formación La juventud oye sobre el programa

para el empleo La juventud se interesa y es motivada para
apuntarse
El programa reclutan a la juventud elegible
La juventud se inscribe

El programa ofrece formación ocupacional en un

La juventud asiste de forma regular
lugar accesible
(algunos no)
El programa paga una cantidad por asistencia
El programa ofrece cuidados de día

La formación se ajusta a las necesidades del La juventud aprende habilidades y desarrolla

mercado competencias
La formación se lleva bien a cabo (algunos no)
La formación enseña buenos hábitos de trabajo
La juventud internaliza valores respecto al
Los formadores ayudan y apoyan
trabajo regular y una conducta apropiada en el
trabajo
El programa desarrolla una lista de trabajos
La juventud busca trabajo
apropiados (y los trabajos existen)
Los empleadores ofrecen trabajo
El programa dirige a los jóvenes a trabajos
La juventud se comporta adecuadamente en
apropiados
entrevistas de trabajo
La juventud acepta los trabajos
Los profesionales del programa asisten a los
empleadores y a la juventud en los trabajos La juventud acepta la autoridad en el trabajo
La juventud trabaja bien
Diseño de indicadores y líneas de base / CECOD / Iván Touza Montero (DG POLDE)La juventud permanece en el trabajo 17

[1] Elaborado por Irene Rosales para su Memoria de Grado del Máster en Evaluación de Programas y Políticas Públicas.
Algunas reflexiones sobre la teoría del
programa en programas complejos
Identificar aspectos de la intervención que sean:
-Simples: una cadena causal que funciona igual donde sea, una única
unidad de intervención
-Complicados: varias cadenas causales, o que funcionan de forma
diferente en contextos distintos, varios ejecutores (secuencial o
concurrentemente)
-Complejos: apropiadamente emergentes y adaptativos en respuesta a
necesidades y oportunidades
P. Rogers nos advierte de la utilidad de pensar en aspectos más que
clasificar las intervenciones como simples, complicadas o complejas
18
 ASPECTOS COMPLICADOS
ASPECTOS COMPLEJOS La situación es conocible,
Altamente dependientes las respuestas son
del contexto accesibles.
Altamente dependientes La causalidad es no-linear
de las condiciones de Los efectos pueden estar
partida separados de las causas
La predicibilidad no es en tiempo y en espacio
posible. La ‘experticia’ es
importante

ASPECTOS SIMPLES
ASPECTOS CAÓTICOS Claridad de la dinámica
No hay patrones – todos pueden ver las
aparentes cosas de la manera
Imposible de determinar que son
cualqueir relación causa- Patrones lineares muy
efecto simples de causa-
efecto
Las cosas se conocen
Distinción de Snowden and Kurtz
(Rogers, 2009)
19
 Algunos tipos de intervenciones
Intervenciones Complicadas
- en diferentes fases
- en diferentes niveles
- que funcionan en combinación con otras
- que funcionan diferente para distintos participantes
- que producen diferentes efectos según diferentes
‘stakeholders’
Intervenciones Complejas
- adaptables, con capacidad de respuesta
- con efectos emergentes
- con puntos críticos o de inflexión 20
 Opciones para desarrollar teorías de
programa
Una combinación de:

Estrategia deductiva: partiendo de investigaciones previas,

políticas declaradas, programas o intervenciones tipo y
análisis lógicos

Estrategia inductiva: partiendo de observaciones directas o

indirectas sobre cómo funciona realmente un programa

Articulando los modelos mentales de los ‘stakeholders’

sobre cómo funciona un programa
21
¿Cómo debe ser un buen modelo lógico?
1. Deber ser lógico y consistente:
-Hacer que cada flecha tenga sentido y sea significativa
-Indicar la dirección del cambio esperado
-Evitar puntos muertos/caminos sin salida

2. Debe comunicar los mensajes principales

-Evitar demasiadas líneas; no utilizar dobles líneas
indiscriminadamente
-Evitar estándares demasiado detallados
-Quitar todo lo que no añada significado
-Asegurar la legibilidad
-Evitar acrónimos misteriosos
22
Algunos mitos comunes (Funnell &
Rogers, 2011)
1. Es un nuevo enfoque (se ha utilizado por más de 50 años)
2. Sólo hay una manera de hacerla (hay diferentes opciones)
3. No es un buen ‘modelo’ de evaluación
4. Requiere mucho tiempo
5. Se trata sólo de dibujarlo (contrario al anterior)
6. No utilizar la teoría de programa en evaluación
7. No se puede realmente probar la atribución causal
8. Asume causalidad (contrario al anterior)

23
Trampas a evitar (Funnell &Rogers,
2011)
1. Que no haya teoría realmente
2. Que la teoría sea pobre (solución adecuada a un problema
equivocado o solución equivocada o no creíble)
3. Resultados esperados pobremente especificados
4. Ignorar los resultados no esperados
5. Sobre simplificación: Tratar los programas como simples cuando
hay importantes aspectos que son complicados y/o complejos
6. No utilizar la teoría de programa en evaluación
7. Enfoque de ‘talla única para todos’, no adaptando las necesidades
particulares o cambiantes con el tiempo

24
 La literatura sobre Políticas
Públicas
• Las políticas públicas no son tan racionales
• Los problemas públicos son construcciones sociales y
políticas
• Son dinámicas y cambian a lo largo del tiempo y en respuesta
e interacción con un contexto determinado
• Frecuentemente, las políticas y los programas son tanto el
resultado de luchas, negociaciones y compromisos entre
actores como de consideraciones racionales sobre cómo debe
ser mejor resuelto un determinado problema
• Las políticas y los programas se construyen en un contexto
de marcos discursivos dominantes ya existentes
25
 La definición, representación y
evolución de los ‘problemas públicos’
• Es necesario diferenciar entre situación problemática
‘objetiva’ y problema público
• Los problemas públicos
-No son objetivos, son construcciones sociales y
políticas, responden a la voluntad de que existan
-Están vinculados a las soluciones
-Tienen relevancia pública
-Se definen de forma gubernamentalmente tratable
26
 Un ejemplo: La desigualdad de
género, un problema polémico
• La (des)igualdad de género es uno de los
problemas públicos más controvertidos: no
existe consenso real sobre cuál es el problema,
quién es responsable de ello, o cual podría ser la
solución
• Existe una gran variedad de interpretaciones
del problema y un gran número de estrategias
distintas en los países europeos
27
 TABLA 3.2. Evolución del problema de la igualdad

Igualdad Igualdad de hecho Igualdad de hecho ACCIONES POSITIVAS

de derecho (op ortunidades) (resultados) PARA LAS M UJERES

INCIDIR EN LAS
Igualdad entre los sexos Igualdad de género ESTRUCTURAS
Lucha contra la Lucha contra la SOCIALES
discriminación discriminación (y no sólo en
basada en el sexo basada en el género las mujeres)
(diferencias biológicas) (consecuencias sociales)

LOS DESTINATARIOS
DE LAS ACCIONES DE
Igualdad a Igualdad entre IGUALDAD PUEDEN SER
TAM BIEN LOS HOM BRES

NO SOLO POLITICAS
Igualdad como Igualdad de ESPECIFICAS SINO
derecho de la género como PERSPECTIVA DE GENERO
mitad de la forma de EN TODAS LAS
p oblación desarrollo social POLITICAS PUBLICAS

28
 Evaluación de Políticas Públicas
• Importancia de las evaluaciones de diseño o
conceptualización de las políticas públicas
• Sin embargo, es el tipo de evaluación de programas
menos desarrollado
• Todas las referencias existentes se plantean desde un
paradigma positivista:
Racionalidad (relevancia y pertinencia) y coherencia
(interna y externa). Dimensiones siguiendo el Marco Lógico
Teoría de Programa. Teorías del cambio (Weiss, 1998), y
evaluación basada en la teoría

29
 El análisis de marcos y sus posibilidades como
herramienta para la evaluación del diseño
El ejemplo del proyecto MAGEEQ (2003-2005)
¿Qué es el MAGEEQ?
http://www.ucm.es/info/mageeq/inicio.htm
Un proyecto que describió y analizó las diferencias en la forma en la
que se enmarca el problema de la desigualdad de género en
diferentes países, para explicar las diferencias y las dificultades en la
implementación del mainstreaming de género en Europa.

Seguido por el QUING (www.quing.eu) 2006-2011

30
 Conceptos centrales
• Marco interpretativo de política (Policy frame): ‘Un
principio de organización que transforma la información
fragmentaria o casual en un problema político
estructurado y significativo, en el que se incluye, implícita
o explícitamente, una solución’

• En términos operativos: Un marco de política es una

configuración de posiciones sobre un tema en las
dimensiones de:
• diagnóstico y prognóstico del problema que se
pretende solventar,
• la atribución de roles en el diagnóstico y el pronóstico
• las voces que se dan en conexión con el problema
31
 Objetivos del MAGEEQ
1. Construir un marco analítico de los diferentes marcos
interpretativos de la desigualdad de género

2. Elaborar un método para supervisar las inconsistencias

existentes en las políticas de género

3. Contribuir a mejorar la transparencia y coherencia de las

políticas públicas, facilitando un análisis sobre las inconsistencias
de dichas políticas

32
 ¿Qué, dónde y cuándo?
• Análisis y comparación de marcos de política y de inconsistencias
entre e intra marcos en documentos sobre (des)igualdad

• Temas: reconciliacion de la vida familiar y laboral, violencia

doméstica, desigualdad de género en la política y un cuarto tema
(en España derechos de lesbianas y gays)

• Unión Europea, Eslovenia, Hungría, Austria, Holanda, España, y

Grecia

• Desde 1995 (Beijing) hasta 2004

33
 Cuestiones cruciales
Diagnóstico
• ¿Cuál es el problema tal y como se representa?

• ¿Qué es lo que se ve como causa?

• ¿Quién(es) es(son) responsable(s) del problema?

• ¿De quién(es) es el problema?

34
 Cuestiones cruciales
Pronóstico
• ¿Qué solución se ofrece al problema?

• ¿Quién(es) debe(n) hacer qué (o no hacer)?

• ¿Sobre quién(es) se debe actuar (grupos diana)?

• ¿Quién tiene voz en la definición del problema y

a la hora de sugerir soluciones al problema?
35
 La metodología MAGEEQ: El
análisis crítico de marcos

• Dimensiones desarrolladas: voz, diagnóstico, pronóstico,

atribución de roles, normatividad, equilibrio

• Proceso metodológico: selección de temas, selección de

textos, preguntas guía, codificación, construcción de super-
textos, estudios de caso (país) por tema, análisis comparado

36
El análisis crítico de marcos como un enfoque útil
para evaluar políticas de género y estrategias
de ‘mainstreaming’

El Análisis Crítico de Marcos puede ser útil para:

• Hacer evaluación de diseño tanto de políticas de género

como del componente de género de otras políticas públicas

• Explorar y evaluar estrategias de ‘mainstreaming’ de género

37
El análisis crítico de marcos como un enfoque útil
para evaluar políticas

• Ofrece la posibilidad de hacer evaluación de diseño desde

una perspectiva epistemológica distinta (tradicionalmente la
teoría del programa y la evaluación basada en la teoría han
estado ligadas a enfoques de evaluación más positivistas)
• Como una herramienta más para hacer evaluación del diseño
de las políticas y para explicitar la ‘teoría del programa’
• Nuestra idea de consistencia y coherencia en las políticas:
¿Cómo se define y representa el ‘problema’ que la política
pretende ‘solucionar’? ¿Está esta política realmente
contribuyendo al objetivo que se supone debe perseguir?
¿Incluye realmente a los/as actores/as a los que se supone
deben participar?)
38
Algunas oportunidades de la utilización del Análisis
Crítico de Marcos en evaluación

• Puede ser aplicado no sólo a documentos sino también a

otro tipo de discursos, por ejemplo, entrevistas con
hacedores/as de política o actores sociales y políticos

• En una versión simplificada, puede ser una metodología

para realizar evaluación participativa

39
 Alguna bibliografía

• Funell, Sue & Rogers, Patricia (2011). Purposeful Program

Theory. Effective Use of Theories of Change and Logic Models. San
Francisco: Jossey-Bass
• Donaldson, Stewart (2007) Program Theory-Driven
Evaluation Science: Strategies and Applications. Nueva York:
Taylor & Francis.
•Bustelo, María & Verloo, Mieke (2009). ‘Grounding Policy
Evaluation in a discursive understanding of Politics’. En E.
Lombardo, P. Meier & M. Verloo (eds.) The Discursive Politics
of Gender Equality. Stretching, Bending and Policy-making.
London: Routledge. Pp. 153-168.