Bernardo Restrepo Gmez, Ph.

D
2014.
Qu es evaluar
Proceso para determinar el valor y mrito de un
programa, objeto o institucin
Hay diferentes definiciones, segn Orientaciones
Entre otras:
Tyler: Medio para entender un programa y
mejorarlo; Comparar resultados y objetivos.
Stufflebeam: Disear, recoger y proveer
informacin descriptiva y evaluativa sobre los
objetivos, diseo, implementacin y resultados de
un programa para guiar decisiones de
mejoramiento, proveer informes de rendicin de
cuentas y mejorar la comprensin de los
fenmenos relacionados con el mismo.
Definiciones. Cont
Scriven: Comparar un valor observado con un
estndar.
Establecer un juicio profesional sobre la calidad de un
programa.
Examen sistemtico del grado en el que el programa
ha logrado satisfacer las necesidades de los
Stakeholders (Rasappan).
Evaluacin e Investigacin
Tienen cosas en comn y diferencias.
En comn: indagan, buscan y procesan informacin
sistemticamente. Utilizan tcnicas similares de
recoleccin y anlisis.
Diferencias: El propsito final de la investigacin es
el conocimiento; el de la evaluacin es un juicio
valorativo.
Qu evaluar
Instituciones y programas, a travs de:
Factores o grandes componentes
Variables o aspectos
Indicadores
Por qu evaluar
Realimentacin sobre el desempeo
Mejoramiento de:
- Calidad
- Efectividad e impacto
- Eficiencia
Toma de decisiones sobre continuidad
Solucin de problemas
Por qu evaluar
Advocacy: posicionamiento, consecucin de fondos,
comunicacin, defensa del programa o institucin.
Construccin de conocimiento
Construccin de capacidad
Aprendizaje organizacional y planeacin estratgica.
En suma, cuatro propsitos:
Realimentacin
Rendicin de cuentas a la sociedad
Mejoramiento, sostenibilidad e impacto
Aprendizaje organizacional
Quin evala
Evaluacin formativa (interna)
Evaluacin sumativa (externa)
Metaevaluacin
Cuando evaluar
E. Formativa: continuamente
E. Sumativa: que no sea prematura
Ex Ante
Ex post facto.
Cmo evaluar
Puede hacerse a partir del sentido comn y del saber
general, o
Sistemticamente, a partir de mltiples Orientaciones,
modelos, enfoques, mtodos creados por la
comunidad cientfica.
Orientaciones sobre enfoques
Se han desarrollado siete grandes orientaciones en
evaluacin:
Resultados vs. Objetivos
Investigacin Evaluativa
Evaluacin orientada a toma de decisiones
Evaluacin Judicial o por Oposicin
Evaluacin Orientada al Cliente
Evaluacin de expertos
Evaluacin Democrtica.
Evaluacin focalizada en el uso de resultados
Modelos y enfoques
En un tiempo predominaron modelos sofisticados,
como el Experimentalista, el CIPP, el de las
matrices lgicas y empricas, entre otros.
Hoy hay mayor flexibilidad y ms que modelos
acabados existen variedad de enfoques. Incluso
algunos aplican el esquema de la investigacin.
Criterios y sus fuentes
Los Criterios son valores o normas requeridos para
llegar a un juicio (pertinencia, universalidad,
intregridad, transparencia, responsabilidad,
coherencia, eficacia), tambin denominados
estndares de evaluacin.
Las fuentes de los criterios o estndares pueden ser
los stakeholders, la literatura, la experiencia,
principios de alto orden ( Leyes, polticas,
imperativos ticos, casos exitosos)
Evolucin de la Evaluacin como Disciplina
Cinco etapas modernas:
- Tyler y el comienzo
- Suchman y la experimentacin
- Stake, Stuffflebeam, y Scriven
- Fetterman, Evaluacin democrtica
- Patton, Evaluacin focalizada en utilizacin de resultados
Siempre ha existido la auditora como evaluacin, sobre todo
de la cosa pblica.
El Modelo de Tyler
Estndares claros y medibles del programa
Pruebas estandarizadas para medir los objetivos.
Anlisis de diferencias
Anlisis de variables concomitantes explicativas de los
resultados
Da por vlidos los objetivos. No los evala.
El Modelo CIPP de Stuflebeam
Orientado a toma de decisiones.
Ofrece cuatro tipos de evaluacin:
Evaluacin de Contexto
Evaluacin de Insumos
Evaluacin de Procesos
Evaluacin de Producto
Evaluacin de Contexto
Concepto:
Busca identificar historia del programa, las condiciones
del ambiente en el que se constituir el programa, las
necesidades, fortalezas, debilidades, problemas
internos y externos y oportunidades que el ambiente le
brinda.
Mtodos para la Ev. De Contexto
Recoger informacin anterior
Comparar la informacin con las metas
Entrevistar stakeholders para determinar necesidades
y problemas por resolver
Anlisis de contenido para detectar indicadores
Presentar informes anuales que actualicen
necesidades, problemas, oportunidades
Uso de la Ev. De Contexto
Decisiones sobre cambio o mantenimiento del
programa.
Ver si el anlisis del contexto pide cambio, objetivos
nuevos, nueva estructura, decisiones de planeacin.
Evaluacin de Insumos
Concepto:
Identificar y apreciar el mrito relativo de las
alternativas, planes de asignacin de recursos,
estructura, marcos legales, cronogramas, restricciones
financieras, factibilidad
Ev. De Insumos. Mtodos
Evaluar la estrategia general escogida
Evaluar el plan de trabajo
Evaluar el presupuesto, el personal
Revisar literatura investigativa relacionada
Determinar fortalezas y debilidades del diseo para
mejorar planeacin.
Talleres de discusin sobre todo esto.
Ev. De Insumos. Uso.
Decisiones de estructuracin e implementacin del
programa y prueba piloto si es el caso.
Evaluacin de Proceso
Concepto:
Es la evaluacin continua de la implementacin del plan
del programa y la documentacin de sus procesos. En
qu medida se lleva a cabo el plan? Tuvo que
modificarse? Cmo y por qu?
Ev. De Proceso. Mtodos
Seguimiento de los procesos
Registro e informes peridicos de la implementacin
de los procesos.
Evaluacin de procesos. Uso
Decisiones sobre rediseo de eventos, actividades,
procedimientos y rediseo del diseo (vuelve sobre
insumos).
Uso posterior en interpretacin de resultados.
Evaluacin de Producto
Concepto:
Qu resultados positivos y negativos, buscados y no
buscados se obtuvieron? En qu medida alcanz a
satisfacer las necesidades de toda la poblacin a la que
estaba dirigido, es decir, de los supuestos
beneficiarios? A qu se deben las fallas?
Ev. De Producto. Mtodos
Documentos.
Entrevistas a stakeholders para ver alcances,
calidad, profundidad, significancia de los efectos
del programa.
Determinar impacto sobre la comunidad.
Llevar directorio de personas y grupos atendidos.
Registrar estadsticas en todos los campos.
Comparar resultados y plan inicial
Ev. De producto. Uso.
Decisiones sobre continuar, terminar, modificar,
reenfocar el programa
El modelo de Evaluacin
Naturalstica de Stake
Concepto:
La evaluacin de un programa debe plantear su mrito y
falencias percibidos por grupos interesados en l,
sistemticamente levantados y procesados.
La teora o Rationale
El programa tiene que tener una filosofa o base
conceptual que ilumina todo el desarrollo del
programa y tambin de la evaluacin.
Modelo de evaluacin responsiva
Componentes:
Tres matrices, as:
1. De metas, transacciones y resultados esperados
(Matriz lgica)
2. De metas, transacciones y resultados observados
(Matriz emprica)
3. De estndares y juicios sobre 1 y 2 (matriz de juicio
o evaluativa).
Esquema de las matrices
M. lgica M. emprica M. Evaluativa.
Contingencia Congruencia
Intenciones
---------
-------------------
Transacciones
------------------
Resultados
Intenciones
--------------------
Procesos
--------------------
Resultados
Estndares
y
Juicios
Momentos de la evaluacin
Matriz lgica:
Metas, intenciones, objetivos (planes)
Transacciones (procesos y actividades para cumplir
las metas)
Resultados, consecuencias de la implementacin
de los planes.
Momentos de la evaluacin
Matriz emprica u observacional:
Metas y planes realmente montados y desarrollados.
Transacciones llevadas a cabo para implementar los
planes.
Resultados obtenidos en la realidad.
Contingencia y congruencia
El modelo contempla establecer la contingencia entre
los momentos de la matriz lgica y entre los de la
matriz emprica.
y la congruencia entre las matrices lgica y emprica.
Contingencia
Posibilidad de que algo suceda en el futuro.
Relacin vertical entre momentos:
Contingencia intenciones-procesos o transacciones.
Contingencia transacciones-resultados.
Congruencia
Coincidencia entre los momentos de la matriz lgica y la
emprica:
Relacin horizontal entre cada momento
Intenciones planeadas y ejecutadas
Transacciones o procesos planeados e implementados
Resultados esperados y obtenidos.
Momentos de la evaluacin
Matrix de juicio o evaluativa:
1. Estndares para evaluar los componentes
(intenciones, transacciones y resultados). Todo
programa busca ciertos logros.
2. Juicios o evaluacin de lo encontrado.
Tipos de juicio o evaluacin final
1. Evaluacin absoluta o basada en los estndares
fijados.
2. Evaluacin relativa o basada en los logros de otros
programas o del mismo en ocasin anterior.
Enfoques Modernos
Evaluacin por Clusters
Evaluacin por empoderamiento
Evaluacin focalizada en resultados
Evaluacin basada en la teora y modelo lgico del
programa.
Evaluacin por Clusters
Es evaluacin holstica. Trata de responder lo que se
ha aprendido de varios programas que tienen la
misma misin, aunque son proyectos
independientes.
Enfoque iniciado por la Fundacin Kellog en 1992.
Es apropiada para evaluar programas.
Esquema Evaluativo
Recoleccin de documentos de todos los proyectos.
Visitas in situ a todos para darles asistencia tcnica
e informacin de otros proyectos y ver qu
funciona bien
Reuniones de la red para compartir objetivos y
estrategias, conocer evidencias, construir
instrumentos de evaluacin y recibir asesora de
expertos en campos especficos.
Esquema evaluativo ( Cont)
Realimentacin y discusiones comparativas para
extraer mejoramiento comn.
Producir informes de cluster.
Anlisis de evaluacin a nivel de proyecto
Anlisis global ms holstico para extraer lecciones de
la diversidad.
Criterios de Evaluacin
Sostenibilidad o construccin de capacidad
institucional.
Proyeccin o conviccin a la gente sobre la calidad del
programa y su potencialidad social.
Qu se evala en la evaluacin por clusters?
Slo lo que es comn al conglomerado o racimo de
proyectos.
No los proyectos en s, que siguen siendo
independientes y debe evaluarse cada uno por s
mismo.
Evaluacin Democrtica
Evaluacin por Empoderamiento es uno de los nfasis de la
Evaluacin Democrtica.
Su proponente: David Fetterman
Empoderar es usar conceptos, tcnicas y resultados para
fomentar el mejoramiento y la autodeterminacin.
Busca ayudar a la gente a que se ayude (Autogestin).
Evaluacin por empoderamiento
Se ha aplicado en educacin, gobierno, ONGs,
fundaciones, problemas de drogadiccin, Prevencin
del SIDA, proteccin ambiental, desarrollo rural
Objetivo central: autodeterminacin y construccin de
capacidad.
Etapas:
1. Establecer misin o visin (Resultados esperados
y actividades requeridas) y determinar dnde
est es programa.
2. Identificar y priorizar actividades ms
significativas del programa y determinar
evidencias que permitan calificarlas en una
escala de uno a diez. Se extraen luego fortalezas
y debilidades.
Etapas
3. Delinear el rumbo hacia el futuro. Hacia dnde se
quiere ir? El grupo establece metas y estrategias para
alcanzar el cambio deseado.
Estos esfuerzos se monitorean a travs de
documentacin confiable entre evaluadores y
funcionarios del programa.
EVALUACIN POR EMPODERAMIENTO ES
Investigacin emancipatoria
En todas las etapas debe haber capacitacin,
facilitacin, iluminacin y liberacin, as como
Advocacy (defensa y promocin del programa).
El evaluador es facilitador, educador, entrenador,
ambientador de la sociedad que se establece entre
l y los stakeholders.
Alcance
Supera la bsqueda del mrito de un programa y
procede al compromiso con la autodeterminacin
y la construccin de capacidad. Es un proceso
democrtico en el que todos son responsables de la
evaluacin.
Promueve un cambio social responsable.
Su poblacin blanco: los excluidos.
Tcnicas para evaluar impacto
Reuniones grupales amplias o focales
Entrevistas a beneficiarios
Observacin directa
Uso de informantes clave
Anlisis cuantitativos: Cuadros, estadsticas.
Posicin de Fetterman sobre evaluacin por
empoderamiento.
No pretende reemplazar todas las formas de
evaluacin, pero invita a la participacin.
Los evaluadores deben ensear a la gente a
conducir su propia evaluacin
Ayuda a iluminar la importancia del uso del
proceso.
El evaluador debe insistir en la rendicin de
cuentas.
Evaluacin Democrtica 2
Evaluacin focalizada en la utilizacin
Exponente: M. Patton.
Dos alcances:
1. Uso que darn los usuarios de la evaluacin a los
resultados de la misma.
2. Uso del proceso
Uso del proceso
Usar el proceso de evaluacin para incidir en
organizacin institucional, en las prcticas del
programa, en hacer de las organizaciones
organizaciones que aprenden, en mejorar toma de
decisiones sobre los programas.
Es combinar la evaluacin con accin mejoradora
inmediata.
Evidencia del uso del proceso
En muchas evaluaciones reales el hecho de
transitar por el proceso de reflexin que la
evaluacin induce y requiere es tan importante
como los resultados. Ayuda al personal del
programa a involucrarse, a trabajar en equipo con
perspectiva evaluativa y de cambio. Es en s un
resultado positivo para el aprendizaje
organizacional.
Uso de los resultados
El evaluador debe promover y cultivar el uso, ayudando
a los decisores a identificar sus necesidades de
evaluacin, a determinar qu informacin es ms til
para confrontar esas necesidades y generar resultados
que rindan el tipo de informacin requerida por los
usuarios potenciales. La evaluacin se ajusta a los
objetivos que los que la solicitan darn a los resultados
El uso
Patton afirma que la base de su enfoque es el uso
pragmtico de los resultados de la evaluacin y del
proceso de la misma. Es decir, que la evaluacin se
disee e implemente en forma tal que sus resultados
sirvan para mejorar el programa y para mejorar
decisiones sobre el mismo. O sea, el uso consecuente!
En evaluacin y monitoreo de programas de
agricultura, por ejemplo, el seguimiento se orienta a
evaluar el aprendizaje de los programas para la
innovacin y promoverlos. Este paradigma se conoce
como el paradigma transformista (Van Mierlo et al.,
2010): Enhancing the reflexivity of system innovation
projects with system analyses. American Journal of
Evaluation, 31 (2), 143-161.)
El uso y la comunicacin interna
La utilidad potencial de los resultados de la evaluacin
es afectada por los niveles de comunicacin dentro de
la organizacin, por la complejidad burocrtica y la
circulacin de la informacin en su interior.
Evaluacin Basada en la teora y
Modelo Lgico del Programa.
Enfoque reciente que emerge entre los modelos clsicos
y la evaluacin democrtica.
Es un enfoque pragmtico que parte de una teora
explcita sobre cmo operar el programa y qu
cambios lograr.
Componentes de la teora:
Teora del proceso o cmo operar el programa en
prestacin de servicios, cumplimiento de funciones y
aporte de recursos necesarios para operar.
Teora del impacto o explicativa de los cambios que
producir el programa.
Cmo explicitar la teora?
Se logra en:
Encuentros con los stakeholders primarios
Revisin de documentos
Objetivos del programa
Visitas de observacin al programa
A partir de esto se construye el modelo lgico del
programa.
La teora es evaluable.
Evaluar la pertinencia de la teora de impacto para
resolver el problema que el programa intenta resolver.
Evaluar la teora del proceso, esto es, si los procesos
planeados responden a las necesidades de la poblacin
a la que se orienta el programa.
Evaluacin lgica de toda la teora
Est bien definida la teora?
Es razonable, es decir:
- Sus Objetivos estn bien definidos (evaluables)?
- Objetivos viables?
- Es razonable el cambio esperado?
- Procedimientos definidos y suficientes?
- Los recursos asignados son suficientes y
adecuados?
El Modelo Lgico del Programa
Es una especie de foto o mapa del programa que
muestra la secuencia de insumos, actividades,
productos y resultados, es decir, cmo trabaja el
programa. Asocia resultados a insumos,
actividades y teora subyacente al programa.
Si hay una transitividad adecuada de recursos
apropiados a procesos y de procesos adecuados a
productos esperados, habr buenos resultados. Si
lo contrario, la efectividad ser baja.
El modelo lgico del programa. Qu busc
ste a travs de sus componentes?
input
proceso
producto
impacto
mediano
largo
corto
Metodologa
Sobre los cinco componentes hay que hacer BUENAS
PREGUNTAS, construir indicadores, recoger datos y
armar informacin poderosa para evaluar cada
componente.
Outcome Mapping
Hoy el modelo lgico est siendo reforzado con el
modelo de Mapificacin de resultados, desarrollado
por el Centro Internacional de Investigacin del
Desarrollo, de Canad, con ayuda de Patton. La esencia
es identificar los cambios deseados y trabajar para
lograrlos. Enfatiza el logro de cambios de conducta
buscados en los beneficiarios.
El Modelo Constructivista de Guba y Lincoln
Plantea siete etapas:
1. Identificar todos los stakeholders importantes.
2. Extraer de ellos sus preocupaciones sobre el programa
y construir consensos sobre ellas.
Modelo de Guba y Lincoln: etapas
3. Proveer un contexto y metodologa que facilite la
interrelacin de mltiples comprensiones, quejas.
Crticas y construcciones evaluativas.
- Aplicar esta metodologa a cada grupo.
- Promover intercambio de construcciones de los
grupos de stakeholders entre todos ellos
Modelo de Guba y Lincoln: etapas
4. Generar consensos
5. Preparar agenda para negociacin sobre items en los
que no hay consenso o ste es escaso.
6. Recoger y proveer informacin requerida para esta
negociacin.
Guba y Lincoln
7. Facilitar la realizacin de un foro para que la
negociacin ocurra.
8. Generar informes que den cuenta de las
negociaciaones y acuerdos logrados
9. Reciclar la evaluacin para continuar trabajando sobre
construcciones no logradas.
Evaluacin orientada al desarrollo
del pas:
Tres principios bsicos:
El enfoque evaluativo debe ser comprensivo y
holstico
Las metas y estrategias de desarrollo deben ser
posedas por el pas y basadas en participacin
ciudadana en su estructuracin.
Los pases receptores deben dirigir y coordinar la
ayuda.
Procedimientos metodolgicos o tcnicas
de evaluacin
Se utilizan las tcnicas de investigacin que brinden
la informacin requerida, cuantitativas y
cualitativas. En esta fase la evaluacin y la
investigacin convergen:
Observacin, pautas de cotejo, entrevistas,
cuestionarios, escalas, grupos focales,
conversatorios, anlisis de contenido, estadstica; y
muchas ms, pero
Evaluacin de desarrollo
Patton insiste en la ltima dcada, en lo que llama
Developmental evaluation, esto es, una evaluacin en la
que los evaluadores se meten en el proceso mismo del
programa en curso para mejorar la intervencin y utilizar
procedimientos evaluativos para facilitar la marcha del
programa. Se utiliza el proceso evaluativo para promover el
desarrollo organizacional (Proyectos, productos, personal,
gestin). Es lo que el mismo Patton denomina una
evaluacin orientada a la ayuda al desarrollo.
Patton, M. Q. (2011). Developmental Evaluation: Applying compexity
concepts to enhance innovation and use. The Guilford Press.
Evaluacin de Impacto: Valor
Agregado
Hind (2010) plantea la ADICIONALIDAD como forma de
determinar la relacin de causalidad de un programa social
y los resultados. Es la exploracin del valor agregado que el
programa aporta a la realidad de los beneficiarios, o dicho
de otra manera: preguntarse qu hubiera ocurrido sin el
programa? Este mtodo se plantea en vez de la prueba
experimental de causalidad.
El mtodo consiste en establecer la trazabilidad del
programa: los Objetivos, los entregables en tiempos
previstos, y los resultados reales, comparados con los
esperados.
Adicionalidad o valor agregado
Preguntas claves en la evaluacin:
- La aplicacin del programa ha marcado una
diferencia clara?
- Hubo un valor agregado en un tiempo considerable?
- Qu razones explican el alto o pobre desempeo?
- Se pudieron haber hecho las cosas de manera
diferente y cmo?
Tres seguimientos en este mtodo:
Adicionalidad de insumos: Qu insumos se aportaron,
distintos a los usuales?
Adicionalidad de productos: Qu proporcin de los
resultados no se hubieran adquirido sin el programa?
Adicionalidad de desempeo o conductas a largo
plazo: Qu competencias nuevas se lograron como
efecto del programa?
El diseo de buenas evaluaciones requiere
precisar:
Poblaciones claves
Preguntas claves
El objeto por evaluar
La informacin necesaria
El tiempo oportuno
Las fuentes de informacin
Los instrumentos de recoleccin de datos
El diseo requiere.
Los procedimientos (tcnicas) por utilizar
Los mtodos de anlisis e interpretacin
Los informes para comunicar hallazgos
Criterios para apreciar los resultados de la evaluacin.
La experiencia nos dice:
La mejor estrategia es combinar modelos y enfoques y
mtodos y tcnicas (Eclecticismo racional).
Diversos aportes de los tericos de la evaluacin pueden
articularse imaginativamente en un buen diseo.
La clave es hacerse buenas preguntas y tener a disposicin un
amplio elenco de modelos y enfoques.
Estndares Internacionales de Evaluacin
Son normas que deben aplicarse a lo largo de los
procesos de planeacin, ejecucin e informacin de
resultados de la evaluacin.
Estndares
1. Utilidad (que las evaluaciones sean informativas,
oportunas e influyentes)
2. Factibilidad ( realistas, prudentes, diplomticas y
frugales)
3. Propiedad o adecuacin (legales, ticas y
consideradas)
4. Exactitud ( tcnicas, completas y vlidas)
Estndares de Utilidad
Identificacin de audiencias apropiadas.
Credibilidad del evaluador.
Alcance de la evaluacin y seleccin de informacin.
Claridad y totalidad del informe de la evaluacin.
Diseminacin apropiada de resultados.
Entrega de informe en tiempo oportuno.
Estndares de Factibilidad
Procedimientos prcticos y factibles.
Viabilidad poltica, es decir, que tenga en cuenta
diferentes posiciones y grupos de inters para no crear
interferencias y oposiciones.
Costo-efectividad, es decir, que la evaluaclin
produzca informacin valiosa que justifique la
inversin.
Estndares de adecuacin
Conflictos de inters que existan en el programa
deben abordarse abierta y honestamente para que no
comprometan la evaluacin.
Franqueza en los informes escritos y orales, incluyendo
limitaciones.
Respeto a los derechos de y bienestar de los sujetos.
Equilibrio en los informes, planteando fortalezas y
debilidades del objeto de evaluacin.
Responsabilidad fiscal en el uso de los recursos de la
evaluacin.
Estndares de Precisin
Identificacin clara del objeto por evaluar.
Anlisis del contexto y su incidencia.
Descripcin exacta de propsitos y procedimientos.
Descripcin adecuada de las fuentes de informacin.
Validez de la Medicin y procedimientos cualitativos.
Control sistemtico de los datos recogidos.
Anlisis cuantitativos apropiados.
Conclusiones justificadas.
Informes finales objetivos.