Material de Estudios.

Evaluacin de Programas y Proyectos de Desarrollo
3333333333333333333333333333333333333333
Pontificia Universidad Catlica del Per 1

Maestra en Gerencia Social

Cuarta edicin, 2014
Primera, segunda y tercera edicin: Amalia Beatriz Cuba Salerno (autora)

Cuarta edicin: Luis Maldonado Villavicencio
Coordinacin de curso: Luis Maldonado Villavicencio
Diagramacin y edicin: PUCP Virtual
Pontificia Universidad Catlica del Per

Maestra en Gerencia Social modalidad virtual
Derechos reservados, prohibida la reproduccin de este material por cualquier medio,

total o parcialmente, sin permiso expreso de los editores.
Lima, Per.
2 Escuela de Posgrado
ndice
Introduccin .................................................................................................................... 5
UNIDAD I: ASPECTOS BSICOS DE LA EVALUACIN DE LOS PROGRAMAS Y

PROYECTOS DE DESARROLLO COMO ESPACIOS DE CAMBIO. PERSPECTIVAS Y
RETOS.............................................................................................................................. 9
TEMA 1 ............................................................................................................................. 9
Conceptos bsicos y el contexto de la evaluacin....................................................... 9
1.1. Qu es evaluacin? Qu se entiende por evaluacin de programas y proyectos
de desarrollo? .......................................................................................................... 9
1.1 Una perspectiva histrica de la evaluacin............................................................. 11
1.2 La teora de cambio en los programas y proyectos ................................................ 14
1.4 Los enfoques de la evaluacin ............................................................................... 19
TEMA 2 ........................................................................................................................... 23
Criterios y estndares bsicos en el proceso de evaluacin..................................... 23
2.1 Los criterios de la evaluacin ................................................................................... 23
2.2. Principios, normas y estndares de la evaluacin .................................................. 37
2.3. La tica y cultura de la evaluacin.......................................................................... 40
UNIDAD II: LA EVALUACIN EN EL CICLO DEL PROGRAMA Y PROYECTOS: EL

OBJETO DE LA EVALUACIN, EL MARCO LGICO, LOS INDICADORES ............... 45
TEMA 3 ........................................................................................................................... 45
La evaluacin en el ciclo del proyecto ........................................................................ 45
La evaluacin es parte del ciclo de vida de un proyecto .................................................. 45
3.1. La comparacin y los referentes en la evaluacin .................................................. 47
3.2. La lgica horizontal y vertical de una evaluacin .................................................... 49
3.3. La revisin del marco lgico, la cadena de resultados............................................ 51
TEMA 4 ........................................................................................................................... 55
La evaluabilidad del programa o proyecto y los trminos de referencia .................. 55
4.1. Evaluabilidad de la evaluacin ............................................................................... 55
4.2 Trminos de referencia .......................................................................................... 60
TEMA 5 ........................................................................................................................... 79
Diseo de una evaluacin. La elaboracin del Plan de Evaluacin .......................... 79
5.1 Los pasos claves del Plan de Evaluacin ............................................................... 79
TEMA 6 ........................................................................................................................... 91
Tipos de evaluacin de programas y proyectos de desarrollo .................................. 91
6.1 Tipos de evaluacin ............................................................................................... 91

UNIDAD III: MODELOS, TCNICAS Y MTODOS DE EVALUACIN DE PROYECTOS

Y PROGRAMAS DE DESARROLLO. ............................................................................ 99
TEMA 7 .......................................................................................................................... 99
Metodologas de una evaluacin ................................................................................. 99
7.1 Diseos metodolgicos .......................................................................................... 99
7.2 Mtodos experimentales, cuasi experimentales y no experimentales .................. 103
7.3 Las fortalezas y debilidades del diseo de evaluacin ......................................... 115
EJERCICIOS DE EVALUACIN DESARROLLADOS ................................................. 119
Introduccin
La evaluacin de los programas y proyectos de desarrollo es la apreciacin sistemtica y

objetiva del diseo, puesta en prctica y resultados de un proyecto o programa, en
relacin con los beneficios que genera para la sociedad. Su finalidad es determinar la
pertinencia y el logro de los objetivos, as como la eficiencia, la eficacia, el impacto y la
sostenibilidad para el desarrollo.
La comprensin y aplicacin de la evaluacin es adaptativa y depende del tipo de las

organizaciones instituciones promotoras del desarrollo, de la naturaleza de la
intervencin, de las caractersticas de la gente y de los usuarios involucrados en los
programas y proyectos.
Hay evaluaciones de diferente tipo, as Baker J (2000) precisa que una evaluacin global
se define como una evaluacin que incluye la supervisin, la evaluacin de los procesos,
la evaluacin de costos-beneficios y la evaluacin de impacto y que todas ellas son
totalmente distintas, sern ms slidas las evaluaciones finales, las evaluaciones de
impacto, que las otras modalidades? En realidad todas las evaluaciones, las parciales y
las finales, las de iniciativas locales o nacionales, las pblicas y las privadas tienen una
importancia gravitante para los actores directamente involucrados en toda la cadena de la
ayuda al desarrollo, estn los que confiaron los recursos, los que administraron y
ejecutaron los programas y proyectos, las personas, familias y/o asociaciones u
organizaciones que participaron en la iniciativa y las redes sociales que estn a la
expectativa de los resultados conseguidos. Todos ellos esperan de las evaluaciones una
respuesta clara y propia de cules elementos de la propuesta puesta en marcha, estuvo
bien diseada e implementada y logr motivar la participacin real de la poblacin, de
cul iniciativa fue reconocida como una apuesta propia por el cambio y cul no, cual
apuesta e intervencin confirm que las hiptesis de cambio que se tenan al momento
inicial eran vlidas y cules estando seguros de la teora y de evidencias, no alcanzaron
los resultados previstos y en todos estos procesos reflexivos y evaluativos se busca
conocer el por qu.
Definitivamente la evaluacin est asociada a conceptos que conocemos y cuyos lmites

metodolgicos son muchas veces discutibles, tiene que ver con la sistematizacin? Y
con la investigacin? Es cientfica? Cun cerca o cun lejos estn? Estas interrogantes
sern parte de nuestra discusin y aprendizaje, pero sin lugar a dudas forman parte del
engranaje analtico y reflexivo y pretende sumarse a la generacin y validacin de
conocimientos, a partir de la prctica, de la ejecucin concreta. Sus metodologas,
herramientas y tcnicas ms simples o ms sofisticadas, desde aquellas que observan
los cambios de actitudes y percepciones de los agentes de desarrollo hasta aqullas que
disean metodologas y mtodos experimentales, deben responder al anlisis de los
resultados entendidos como productos o servicios concretos, al desarrollo de
capacidades y al crecimiento del capital social y a los cambios sostenibles en el bienestar
de las personas.
La evaluacin es una vocacin y un compromiso por desnudar las experiencias en cuanto

toma de decisiones, generacin y realizacin de procesos mltiples, con actores diversos

y donde el personaje que hace la evaluacin se convierte no en juez sino en un personaje

que facilita la reflexin comprometida con el cambio y con la gerencia transparente.
En esa perspectiva, la evaluacin de los programas y proyectos sociales, busca la

apreciacin sistemtica y objetiva de un proyecto, programa o poltica en curso o
concluido, de su diseo, su puesta en prctica y sus resultados, siendo el objetivo
determinar la pertinencia y el logro de los objetivos, as como la eficiencia, la eficacia, el
impacto y la sostenibilidad para el desarrollo.
La evaluacin es ms, que un concepto amplio, y cuya comprensin y aplicacin

depende de las diferentes organizaciones, de la naturaleza de la intervencin, de la gente
y usuarios involucrados en los programas y proyectos.
La evaluacin forma parte del ciclo de planificacin de los programas y proyectos y

constituye una de las herramientas de gestin ms significativas porque permite valorar
los cambios en el bienestar de las personas, atribuibles al programa o proyecto y conocer
los procesos que funcionaron o no, permitiendo documentar y mostrar evidencias claras.
Una evaluacin deber proporcionar informacin creble y til, que permita incorporar las
enseanzas aprendidas en el proceso de decisiones de beneficiarios y donantes (OECD-
DAC 2001).
En 1990 existan en el mundo slo cinco asociaciones de evaluacin reconocidas

ampliamente, hoy da el nmero se ha incrementado hasta 40 y en el momento actual se
registran amplias discusiones sobre el alcance, el diseo de la evaluacin, sus mtodos e
instrumentos. Autores del nivel mundial de Michael Quinn Patton, Bob Williams, Michael
Scriven, Ernesto Cohen, Rolando Franco, Norman Denzim, Oswaldo Feinstein entre
otros; se encuentran definiendo los lmites y el estado de arte de la evaluacin, llegando
algunos de ellos a considerarla como una disciplina que requiere asumir la
transdisciplinariedad y donde el tratamiento de la interculturalidad es una exigencia
contempornea en particular en sociedades multiculturales y multitnicas.
Definitivamente tanto los Estados y el sector privado vinculado al desarrollo, han asumido
la gestin para resultados buscando mejorar la eficiencia y eficacia de las intervenciones
y en esa perspectiva no se cuestiona el gran poder e influencia de los resultados de las
evaluaciones, pero an la cultura de la evaluacin es un proceso en construccin. El
paradigma de la evaluacin est relacionado al empoderamiento de los ciudadanos y
ciudadanas de verificar los resultados conseguidos con mltiples intervenciones pblicas
y privadas, y tiene que ver con la transparencia, con la rendicin de cuentas y la vigilancia
social.
As, desde esta perspectiva, los sistemas de seguimiento, monitoreo y evaluacin

constituyen toda una posibilidad de dar respuesta a dichas exigencias, de mostrar
evidencias y analizar la atribucin, y se hace urgente fortalecer una cultura de rendicin
de cuentas y de transparencia en el uso de los recursos no solo pblica sino tambin
privada.
Actualmente la Gerencia Social enfrenta una demanda amplia de diferentes actores
vinculados a la implementacin de programas y proyectos pblicos y privados para
disear y desarrollar sistemas de monitoreo y evaluacin. Entre dichos actores
principales se encuentran, el gobierno nacional y los sectores pblicos, los gobiernos
regionales, las entidades de la cooperacin internacional, bilateral y privada, las
empresas, las poblaciones destinatarias organizadas, las ONG y las redes de la sociedad
civil.
El perfil de una o un evaluador es sumamente complejo de cara a los retos
contemporneos y requiere de diversas calificaciones, tales como conocimiento
organizacional, competencias en mtodos de investigacin, tcnicas de moderacin y
facilitacin as como, gestin de proyectos, entre otros y de actitudes y comportamientos
vinculados a la transparencia y a la justicia social.
Esperamos que el presente curso contribuya slidamente a revisar el estado de la

cuestin a nivel de la teora y prctica de las evaluaciones en el mundo del desarrollo.
Entre los principales tpicos que se trabajarn a lo largo del ciclo estn:
Conceptos bsicos y contexto de la evaluacin en proceso de cambio social.
Criterios y estndares bsicos de la evaluacin: pertinencia, eficacia, eficiencia y

sostenibilidad; la tica de la evaluacin.
La evaluacin en el ciclo del programa o proyecto.
La evaluabilidad del programa o proyecto y los trminos de referencia.
El diseo de una evaluacin. La elaboracin del plan de evaluacin
La tipologa de las evaluaciones.
Metodologas de evaluacin.

UNIDAD I: ASPECTOS BSICOS DE LA EVALUACIN DE LOS

PROGRAMAS Y PROYECTOS DE DESARROLLO COMO
ESPACIOS DE CAMBIO. PERSPECTIVAS Y RETOS.
Conceptos bsicos y el contexto de la

TEMA 1
evaluacin
1.1. Qu es evaluacin? Qu se entiende por evaluacin de

programas y proyectos de desarrollo?
El concepto de evaluacin se ha ido modificando y encontramos en varios trabajos,

como el de Vias V y Ocampo A (2004: 44-45), Rodrguez y Zeballos y Beltrn A.
una recopilacin de las diferentes definiciones dadas al concepto. Hemos
seleccionado algunas de ellas que las presentamos a continuacin:
a. Segn la OECDDAC en el ao 2001 entenda la evaluacin como la

apreciacin sistemtica y objetiva de un proyecto, programa o poltica en
curso o concluido, de su diseo, su puesta en prctica y sus resultados. El
objetivo es determinar la pertinencia y el logro de los objetivos, as como la
eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo. Una
evaluacin deber proporcionar informacin creble y til, que permita
incorporar las enseanzas aprendidas en el proceso de decisiones de
beneficiarios y donantes.
b. Es el medio para comprobar si los proyectos y programas alcanzan sus

objetivos y ofrecen enseanzas para el diseo, la planificacin y la gestin de
proyectos futuros. Proceso encaminado a determinar, sistemtica y
objetivamente, la pertinencia, eficacia, eficiencia e impacto de todas las
actividades a la luz de sus objetivos. Es un proceso para mejorar las
actividades que se hallan an en marcha y ayudar a la gerencia y a los
actores involucrados en un programa o proyecto, en la planificacin,
programacin y decisiones futuras (ONU 1984: 7, 18; Unicef 1991: 1).
c. Es la valoracin de los resultados de un proyecto y del efecto ejercido en la

poblacin y la zona sealada como objetivo (Casley y Kumar 1990a: 1).
Conjunto de actividades mediante las cuales se recopilan, analizan y/o
sintetizan los datos e informaciones correspondientes a la marcha de los
proyectos con el fin de apoyar su gestin y para establecer cules han sido
sus efectos e impactos, extrayendo lecciones de la experiencia (Feinstein
1990: 10).
d. La evaluacin tambin se refiere al proceso de determinar el valor o la

significacin de una actividad, poltica o programa. Se trata de una

apreciacin, tan sistemtica y objetiva como sea posible, de una intervencin

para el desarrollo planeada, en curso o concluida.
e. Para Beltrn A. (2007) es tambin el terminar la rentabilidad de un programa

o proyecto para la sociedad en su conjunto.
f. Y Rodrguez y Zeballos (2007f) consideran que La evaluacin es un proceso

sistemtico de anlisis y reflexin sobre la accin que se produce en el marco
de los proyectos o experiencias de desarrollo similares que, en trminos
generales, persigue los siguientes propsitos:
Valorar si los cambios producidos por las acciones de los proyectos son
consistentes con lo previsto, en sentido y en dimensin. Lo que tambin
supone ver si como resultado de esas acciones han emergido cambios
no previstos y si son o no favorables a lo que se busca.
Valorar si las acciones ejecutadas (estrategia del proyecto) son las

adecuadas para producir los cambios deseados o si es necesario
ajustarlas o cambiarlas. Esta valoracin tambin debe incluir al discurso
sobre el cambio social que est detrs del proyecto.
Obtener elementos de juicio fundamentados para tomar decisiones que

permitan ajustar la accin presente y mejorar la accin futura.
Producir aprendizajes tiles para la evaluacin como tal y para mejorar

los procesos de gestin de los proyectos en su conjunto.
La evaluacin concentra su esfuerzo de anlisis en el cambio y en las acciones

llevadas a cabo para producirlo, y para ello utiliza la comparacin.
Adems podemos mencionar otras definiciones ms, para comprender la evolucin

del concepto
g. El uso de procedimientos de las ciencias sociales para investigar de manera

sistemtica la efectividad de un programa o intervencin social que es
adaptado a su ambiente poltico y organizacional y diseado para informar
sobre la accin social en trminos de mejora de las condiciones sociales
Rossi, P; Freeman H. y Lipsey, M. (2004).
h. Es la recoleccin sistemtica de informacin sobre las caractersticas y

resultados de programas para realizar juicios sobre ste, mejorar la
efectividad e informar para tomar decisiones sobre programaciones futuras.
Patton, M.Q. 1997)
La diferente forma de conceptualizar la evaluacin, revelan un conjunto de otros

conceptos asociados, recoleccin sistemtica de informacin, apreciacin
sistemtica y objetiva, valoracin. Hay de por medio entonces el concepto de
medicin y el de valoracin.
1.1 Una perspectiva histrica de la evaluacin

La dcada del 50 es el inicio de cambios profundos en los enfoques y conceptos de
desarrollo y, durante los ltimos 50 aos, se perfilan y definen enfoques tan
importantes como desarrollo sostenible, diseo de proyectos y programas de
desarrollo con metodologas participativas. Se reconoce que la evaluacin de
programas fue creada en Norteamrica en los aos cincuenta y aplicada a las
polticas pblicas y a la educacin.
Asimismo, se impulsan los sistemas de monitoreo y evaluacin, y la gestin por

resultados cobra importancia desde la dcada del 70-80 a nivel mundial y dcadas
ms tarde, desde inicios del siglo XXI, en nuestros pases latinoamericanos. Ese
devenir ha ido modificando tambin la teora y la prctica de la evaluacin.
Los paradigmas del mundo de los proyectos y programas de desarrollo han

registrado modificaciones y, en el centro, se han colocado conceptos como
desarrollo sostenible, democracia, participacin de los actores sociales, cambio
social. Cada vez, se valoriza, en mayor medida, una participacin efectiva de las
poblaciones organizadas en los esfuerzos de los pases y de la cooperacin
internacional respecto a la ayuda tcnica y financiera en proyectos y programas
sociales; tambin se reconoce como la nica garanta de conseguir xito en las
intervenciones.
Entre las caractersticas centrales de un proceso evaluativo, podemos mencionar

que es:
Transdisciplinaria, utiliza diversas herramientas de las diferentes ciencias

sociales y naturales; uso y comunicacin; aprendizaje.
Sistemtica, planeada con propsitos especficos. Interna; formativa;
sumativa (Preskill y Russ-Eft (2005).
Recolectora de informacin para responder a preguntas especficas sobre
efectividad de los programas y proyectos, utilizando usa criterios en el ciclo de
planificacin, seguimiento y evaluacin propiamente dicha.
Mejoradora del conocimiento y de la toma de decisiones de un programa,
producto, proceso, sistema u organizacin. (Owen y Rogers 1999; Rossi,
Freeman & Lipsey 1999).
Podemos, en este sentido, mencionar a algunos de ellos. Segone Marcos, tratando

de hacer un recuento histrico de la prctica evaluativo, ha sealado tres periodos y
menciona:
Durante los aos cincuenta se comenz a implementar la evaluacin en agencias

con sede en los Estados Unidos (el Banco Mundial, la ONU, USAID, etc.),
enfocndose en la valoracin ms que la evaluacin. Las agencias intentaban
disear proyectos de acuerdo con un modelo lgico y establecer mecanismos e
indicadores para medir los resultados de los proyectos. Durante los aos setenta,
se desarroll la Logical Framework Approach LFA (Enfoque de Marco Lgico) como
una herramienta para la planificacin, implementacin, monitoreo y evaluacin de
proyectos de acuerdo con criterios que permiten medir un resultado positivo. Est
claro que aqu se trata de evaluacin enfocada en resultados, enfatizando la
evaluacin como un producto y no un proceso.

En el segundo perodo, durante los aos ochenta, tuvo lugar un aumento en el

inters en la evaluacin: las agencias internacionales la institucionalizaron
crendose unidades de evaluacin no slo en los Estados Unidos sino tambin en
Europa principalmente como una herramienta de control para satisfacer a la opinin
pblica y la necesidad de los gobiernos de saber cmo se utilizaban los dineros de
la asistencia pblica. Durante este perodo, las agencias internacionales se hicieron
ms profesionales en la realizacin de evaluaciones enfocadas en el impacto de la
asistencia a largo plazo.
En el perodo actual, las agencias han internalizado el significado y la necesidad de

la funcin de evaluacin dentro de la institucin, y en aos recientes han estado
enfocando la evaluacin como una herramienta estratgica para la adquisicin y
construccin de conocimiento con el fin de facilitar la toma de decisiones y el
aprendizaje institucional.
Cuadro 1.1
Perodo Objetivo Enfoque
Primera generacin
Medicin / comparacin Resultados
1950 - 1970
Transparencia /
Segunda generacin
responsabilidad Resultados
1980
(accountability)
Comprensin /
aprendizaje / toma de
Tercera generacin Resultados / proceso /
decisiones /
1990 utilizacin
responsabilidad positiva
self-accountability
Fuente: SEGONE (1998: 12)
El alcance de la evaluacin ha cambiado a travs de los aos y se considera

necesario vincular la funcin de evaluacin, con un proceso de desarrollo
institucional.
Tambin los objetivos de la evaluacin han variado. Segone (1998: 17) enfatiza
algunos de estos cambios: de un medir y juzgar se ha pasado a un
mejoramiento del desempeo de un programa o proyecto, como
responsabilidad positiva en nombre de los actores y beneficiarios, suministrando a
quienes toman decisiones la informacin requerida para tomar decisiones
pertinentes para resolver problemas y construir un conocimiento para el aprendizaje
institucional e individual.
Un indicador del avance en la cultura evaluativa en el mundo es la conformacin y

crecimiento numrico de las redes dedicadas a la evaluacin. Un estudioso de esa
situacin es Jean Serge Quesnel, quien menciona que la importancia de las redes
de evaluacin en el mundo, hacia el ao 2005, comprenda los niveles
internacionales, regionales, subregionales y nacionales, como se puede apreciar en
la siguiente figura. Entre ellas, tenemos dos internacionales: la IOCE e IDEAS y, a
nivel regional, la ReLAC.
Estas redes se han ampliado y mantienen una vida orgnica, que busca contribuir a
la institucionalizacin y profesionalizacin de la funcin de evaluacin.
Grfico 1.1
Fuente: Jean Serge Quesnel (2004: 19)
Algunas redes de evaluacin nacionales, regionales e

internacionales 1
Redes nacionales de evaluacin
Asociacin de Evaluacin Estadounidense (AEA), www.eval.org

Asociacin de Evaluacin Italiana (AIV), www.valutazioneitaliana.it
Asociacin de Evaluacin Australiana (AES), www.aes.asn.au
Sociedad de Evaluacin Canadiense (CES), www.evaluationcanada.ca
Sociedad de Evaluacin Suiza, www.seval.ch/en
Sociedad de Evaluacin de Reino Unido, www.evaluation.org.uk
Redes Regionales
Asociacin de Evaluacin Africana (AfrEA), www.afrea.org

Sociedad de Evaluacin Europea (EES), http://www.europeanevaluation.org
1
Tomado del Manual de planificacin, seguimiento y evaluacin de los resultados de desarrollo
elaborado por el PNUD en el ao 2009.

Algunas redes de evaluacin nacionales, regionales e

internacionales 1
Red de Seguimiento, Evaluacin y Sistematizacin en Amrica Latina y el

Caribe (RELAC). ltima visita: 23 de setiembre de 2013
Redes internacionales:
Organizacin Internacional para la Cooperacin en Evaluacin (IOCE),

http://www.ioce.net/ ltima visita: 23 de setiembre de 2013
Asociacin Internacional de Evaluacin para el Desarrollo (IDEAS),
http://www.ideas-int.org ltima visita: 23 de setiembre de 2013
1.2 La teora de cambio en los programas y proyectos

Los proyectos de desarrollo constituyen propuestas de cambio social en un mbito
territorial con actores delimitados. All la intervencin planeada descansa sobre un
conjunto de hiptesis que definen el accionar del proyecto.
Definiendo la teora del programa o proyecto.
Segn Michael Bamberger, Jim Rugh y Linda Mabry en su libro Evaluacin en un

mundo real, sealan que antes de realizar una evaluacin, es necesario identificar
el modelo terico o lgico, ya sea explcito o implcito, que subyace al diseo sobre
el cual descansa un proyecto. Una funcin importante de la evaluacin es validar la
hiptesis de que las intervenciones y los productos del proyecto han contribuido a
los efectos directos deseados, los cuales, junto con los factores externos que el
proyecto asumi que prevaleceran, deberan generar un impacto sostenible.
Definir el modelo terico o lgico de un programa representa una buena prctica

para cualquier evaluacin. Una revisin inicial de lo que el proyecto hizo con base
en su modelo lgico podra revelar datos faltantes o informacin requerida para
verificar la solidez del razonamiento lgico y si el proyecto pudo llevar adelante las
acciones que se requeran para lograr el impacto deseado.
Si el modelo lgico se encuentra claramente expresado en el plan del proyecto,

puede ser utilizado para orientar la evaluacin. Si ste no es el caso, el evaluador/a
tendr que construirlo a partir de una revisin de la documentacin del proyecto y a
travs de discusiones con la entidad ejecutora del proyecto, los participantes del
proyecto y otros interesados. En muchos casos, esto supone un proceso iterativo
en el que el diseo del modelo lgico emerge a medida que vamos conociendo ms
detalles sobre la evaluacin, en el transcurso de la misma.
Adems de expresar la teora interna causa-efecto a partir de la cual se dise el

proyecto, el modelo lgico debera identificar adems las caractersticas
socioeconmicas de los grupos poblacionales afectados, as como factores

contextuales tales como las condiciones econmicas, polticas, institucionales,
psicolgicas y ambientales que afectan a la comunidad objetivo.
En ese contexto, resulta interesante tambin recuperar los planteamientos de

Retolaza Eguren Iigo en su trabajo sobre teora del cambio en la que pone nfasis
en lo que el proyecto o programa est entendiendo por cambio social, tipos y
niveles de cambio.
Retolaza seala que al vivir tiempos dinmicos y complejos que se nutren de la

incertidumbre y de una multidiversidad de relaciones (identitarias, econmicas,
sociales, geogrficas, polticas, cognitivas, temporales, interculturales,
institucionales, etc.) requerimos de formas nuevas de entender los cambios.
Descubrir la lgica del pensamiento de los actores sociales nos permite mejorar
nuestras propuestas de desarrollo. Citando a Edgar Morn (1990), l seala lo
siguiente: Necesitamos archipilagos de certeza para navegar en este ocano de
incertidumbres. El enfoque de pensamiento-accin de la teora de cambio busca
identificar esos archipilagos de certeza a partir de los cuales podamos nutrir una
lgica de pensamiento-accin que nos permita navegar por el complejo ocano del
cambio social.
Idea importante
Adems, la relacin entre la teora del cambio y la evaluacin radica en que

la evaluacin se focaliza y concentra los niveles de anlisis en el cambio que el
proyecto ha logrado producir; es un ejercicio de validacin de aquellas hiptesis
o concepciones de cambio social que se asumieron para alcanzar los resultados
previstos, mostrando evidencias tangibles.
Qu es una teora de cambio?

Interesa, entonces, dedicarle atencin a la relacin entre los proyectos y programas
de desarrollo, y los cambios en las personas y familias generados por dicha
prctica. Retolaza Iigo, complejiza y profundiza la concepcin del cambio,
entendiendo que el desarrollo centrado en las personas no necesariamente est
vinculado a cualquier cambio, sino a aquel que asegure mejores beneficios para la
sociedad.
Retolaza trabaja desde un enfoque sistmico y multidisciplinario, y precisa lo que

entiende como cambio, concepcin con la que estamos de acuerdo. Para l, una
teora de cambio es:

Un ejercicio de visualizacin creativa y consciente que nos permite concentrar

nuestra energa en determinadas realidades futuras no slo posibles, sino
tambin probables y deseables.
Un conjunto de supuestos y proyecciones sobre cmo creemos que se puede

llegar a desplegar la realidad en un futuro prximo con base en: i) un anlisis
realista de contexto; ii) una auto-valoracin de nuestras capacidades de
facilitacin de proceso; y iii) una explicitacin crtica de nuestros supuestos.
Un enfoque de pensamiento-accin que nos ayuda a identificar hitos y

condiciones que han de darse en la senda del cambio que deseamos provocar.
Un ejercicio de aprendizaje colaborativo y multiactor que incentiva el desarrollo

de la lgica flexible necesaria para el anlisis de procesos complejos de cambio
social. (Retolaza 2010: 4)
La lgica de la teora de cambio parte de una explicitacin de los supuestos que

utilizamos para entender y actuar sobre la realidad. En definitiva, el proceso de
diseo de una teora de cambio pone nfasis en el cambio de paradigma de cmo
entendemos la realidad.
El cambio deseado, entonces, representa un conjunto de condiciones, relaciones y

resultados que queremos contribuir a que ocurran en los aos venideros a partir de
nuestra accin en el entorno presente y futuro. Considera dimensiones temporales,
relacionales, estructurales, geogrficas, sociales, culturales, econmicas, polticas,
institucionales, etc. El nfasis en una dimensin u otra depender de la naturaleza
del cambio que se desea o necesita.
La teora del cambio est muchas veces explcita o implcita en los proyectos de
desarrollo. Debiera considerar el territorio, considerado como el espacio donde se
concentran las intervenciones y donde ha sido posible construir una visin de
desarrollo comn entre los principales actores; el rol e intereses de los actores; sus
capacidades, sus organizaciones y sus redes sociales; y detectar las palancas de
cambio y los cambios emergentes. Adems, es importante sealar que los
propsitos de los proyectos tambin pasan por la generacin del conocimiento que
producen.
La evaluacin, entonces, permite informar a la sociedad sobre la base de los

resultados conseguidos, y darse cuenta y producir aprendizajes colectivos.
Grfico 1.2
Fuente: Retolaza (2010: 6)
Actividad sugerida
Revise el proyecto trabajado en el curso de Monitoreo de Programas y Proyectos

de Desarrollo y redacte un prrafo que refleje una reflexin sobre estas preguntas:
Qu tipo de cambio es el que est tratando de conseguir el proyecto?
En qu nivel se esperaban los cambios?

Sntesis
La evaluacin ha transitado precisiones conceptuales a lo largo de las ltimas

dcadas que la centran, ms que en una revisin y examen de resultados, en un
anlisis comprensivo y amplio de los procesos de cambios de los actores centrales.
Desde esta perspectiva, se considera que todos los proyectos y programas de

desarrollo contienen y son contenidos en una teora del cambio, la cual puede ser
explcita o implcita y cuya necesaria explicitacin en el proceso de evaluacin,
permite un mejor entendimiento de las rutas, estrategias y o cadenas de resultados
establecidos en los proyectos.
Asimismo, la evaluacin de proyectos de desarrollo consiste en un ejercicio de

validacin de aquellas concepciones del cambio social por el que se apost para
guiar las transformaciones. Por eso, se deben concebir y disear las evaluaciones
con una comprensin profunda de la iniciativa y el contexto en el cual opera.
Finalmente, uno de los cuellos de botella ms serios para avanzar en la

institucionalizacin de la evaluacin es la ausencia de una cultura evaluativa que la
incluya en las instituciones como medio de aprendizaje y compromiso.
Una teora del cambio es una descripcin de cmo se supone que una intervencin
conseguir los resultados deseados. Describe la lgica causal de cmo y por qu um
proyecto, un programa o una poltica lograrn los resultados deseados o previstos.
La teora del cambio es fundamental para cualquier evaluacin de impacto, ya que esta
se basa en relaciones de causalidad. Al tratarse de uno de los primeros pasos en el
diseo de la evaluacin, formular una teora del cambio puede ayudar a especificar las
preguntas de investigacin.
Grfico 1.3
Ejemplo: Posible teora de un programa de capacitacin laboral de jvenes
desempleados
1.4 Los enfoques de la evaluacin
Hay numerosos enfoques en la evaluacin. Y ellos son los que orientan el proceso
evaluativo, poniendo el nfasis en aquellos aspectos centrales del enfoque que
estamos asumiendo.
Enfoque centrado en la utilizacin de resultados, Michael Quinn Patton, apoya y

desarrolla el concepto de evaluacin enfocada en la utilizacin de los resultados, la
cual se centra en el uso previsto de la evaluacin por los usuarios previstos, el
objetivo de este enfoque de evaluacin es estrechar la brecha entre los resultados
de la evaluacin y la utilizacin de los hallazgos, conclusiones y recomendaciones
(Patton 1997), lo cual ayuda a los gerentes de programa a generar sus propias
preguntas para ser capaces de resolver sus propios problemas y, as, fortalecer y
mejorar sus propios programas.
Un principio de la evaluacin enfocada en el uso, es que los usuarios previstos

sern proclives a apropiarse y a usar sus resultados, si entienden el proceso que
sigui su ejecucin y si los hallazgos que se obtuvieron les resultan relevantes,
situacin que es posible si dichos usuarios participan activamente del proceso
(Patton, 2004). Una evaluacin enfocada en el uso es necesariamente una
evaluacin participativa.

Cuadro 1.2
Cambios de enfoque en la evaluacin para trabajar con derechos
Antes centrados en Ahora orientados a
Enunciados ticos Compromisos vinculantes

Necesidades bsicas Derechos
Verticalismo Horizontalidad
Polticas gubernamentales Poltica pblica
Sociedad civil y esfera privada como instancias
Sociedad civil como opcin
constitutivas de las relaciones sociales
Inversin en instituciones y prcticas culturales
Asistencialismo
para el desarrollo
Centralismo Descentralizacin
Enfoque sectorial Intersectorialidad
Individuos Familias
Fuente: SEGONE (1998: 41)
Enfoque de derechos, Otro de los enfoques que cada vez es ms reconocido en la

evaluacin es el enfoque de derechos en la evaluacin, Segone (1998: 27), el cual
pone el nfasis en las dimensiones de los derechos de las personas, segn el ciclo
de vida.
El enfoque renovado en la equidad Bamberger y Segone, (2012) desarrollado en la

publicacin Cmo evaluar y gestionar evaluaciones centradas en la equidad,
Oficina de Evaluacin de UNICEF, plantea desafos importantes, as como
oportunidades, en la funcin de la evaluacin: Cules son las implicaciones
metodolgicas en el diseo, realizacin, gestin y uso de las evaluaciones
centradas en la equidad? Cules son las preguntas que debe abordar una
evaluacin centrada en la equidad? Cules son los desafos potenciales en la
gestin de las evaluaciones centradas en la equidad?
La evaluacin centrada en la equidad deber ser culturalmente sensible y prestar

mucha atencin a los asuntos ticos. Los evaluadores debern ser sensibles con
las creencias, usos y costumbres locales y actuar con integridad y honestidad en
sus relaciones con todas las partes interesadas, incluidos los grupos ms
desfavorecidos, como se indica en las normas para la evaluacin del Sistema de
Naciones Unidas (UNEG, 2005). En consonancia con la Declaracin Universal de
los Derechos Humanos y otras convenciones de derechos humanos, los
evaluadores encargados de la evaluacin centrada en la equidad deben operar de
acuerdo con los valores internacionales.
Los evaluadores debern ser conscientes de las diferencias culturales, costumbres

locales, creencias y prcticas religiosas, interaccin personal y roles de gnero,
discapacidad, edad y etnia, as como ser conscientes de las posibles
consecuencias de estas diferencias al planificar, ejecutar y reportar sobre estas

evaluaciones. Adems, los evaluadores debern asegurarse de que sus contactos
con otras personas se caractericen por el respeto. Los evaluadores debern evitar
ofender a la dignidad y la autoestima de las personas con quienes entren en
contacto en el curso de la evaluacin Bamberger, Segone (2012: 14)
Los enfoques son pues temticos, caso de la equidad, de derechos,

conservacionistas, ambientales, agroecolgicos u otros, como tambin, enfoques
que definen integralmente el tipo de vnculos de los proyectos con sus usuarios y
otros actores locales, las maneras de organizar los procesos de evaluacin y los
mtodos adecuados para llevarlos a cabo. As, Rodrguez y Zevallos (2007: 21-24)
en su texto sobre Evaluacin de proyectos de desarrollo local. Enfoques, mtodos y
procedimientos, sealan los siguientes enfoques.
Enfoque basado en la participacin, una evaluacin participativa supone dos

cosas: primero, que el proceso involucre a los usuarios de los proyectos y otros
actores locales importantes; y, segundo, que este compromiso vaya ms all del rol
de informantes para pasar al de actores que participan tomando decisiones en los
diferentes momentos del proceso (qu y cmo observar con la evaluacin, cmo
recolectar, procesar y analizar los datos necesarios, y cmo utilizar los resultados
obtenidos).
La participacin crea condiciones para que los actores locales se involucren en los
procesos evaluativos, incorporando sus intereses, valores y valoraciones desde una
perspectiva intercultural.
Enfoque en el aprendizaje, la propuesta concibe a los procesos de evaluacin como

procesos de aprendizaje, en la medida que los involucrados adquieren capacidades
para el anlisis, la reflexin, la negociacin y la toma de decisiones concertadas en
el contexto de la prctica, a la vez que se hacen ms conscientes de su realidad,
sus posibilidades y sus perspectivas de cambio.
Este nfasis en una mirada crtica sobre la accin en el marco de los proyectos es
funcional no slo para garantizar que se est avanzando hacia el logro de los
cambios previstos, privilegiando las orientaciones hacia el impacto, sino para
aprender cmo hacer mejor las cosas (mejorar la gestin), y aprender tambin del
proceso de evaluacin como tal. Se persigue un proceso formativo por el cual los
usuarios de los proyectos y otros actores locales no slo adquieren capacidades,
sino y fundamentalmente desarrollan actitudes vinculadas al uso sistemtico de
la informacin y la reflexin crtica colectiva como herramientas para la toma de
decisiones y el mejoramiento permanente de sus propias prcticas.
La idea es convertir al actor local en usuario y productor de conocimiento.
Sumado al aprendizaje individual y colectivo que produce el hecho de participar en

un proceso de evaluacin, otro resultado importante es el aprendizaje institucional
a nivel del proyecto que se produce en el dilogo permanente entre evaluacin y
planificacin, y que entrega informacin y otros insumos para mejorar el proceso de
gestin en conjunto. Toda experiencia de evaluacin participativa, es decir, hecha
desde adentro, tiende a instalar capacidades y actitudes favorables al desarrollo de
una cultura organizacional evaluativa.

Seleccin de lecturas
Lectura 1 (en impreso y en lnea)

SEGONE, Marco
1998 Primera parte Porqu evaluar? y Segunda parte Cmo evaluar?. En
Evaluacin democrtica. Documento de trabajo nmero 3. Santaf de Bogot:
UNICEF- Oficina Regional para Amrica Latina y El Caribe, pp. 7-16 y 16-36.
Consulta: 3 de diciembre de 2013.
http://www.preval.info/programa/wp-content/uploads/2008/08/011-segone-
evaluacion-democratica1.pdf
Lectura 2 (en lnea)

RETOLAZA, Iigo
2010 Captulo 4 Pautas para entender la complejidad de los procesos de cambio
social y Captulo 5 Los pasos metodolgicos para el desarrollo de una teora de
cambio. En Teora de cambio. Un enfoque de pensamiento-accin para navegar
en la complejidad de los procesos de cambio social. Guatemala: PNUD/HIVOS,
pp. 5-14 y 14-27. Consulta: 3 de diciembre de 2013.
http://www.democraticdialoguenetwork.org/file.pl?files_id=1623;folder=attachmen
t;name=Guia_Teoria_de_Cambio_PNUD-Hivos.pdf
Lectura 3 (en lnea)

BAMBERGER Michael y Marco SEGONE
2012 Seccin 2: Definicin de evaluaciones centradas en la equidad. En Cmo
disear y gestionar evaluaciones centradas en la equidad. Nueva York: Oficina
de Evaluacin de UNICEF, pp. 10 -14. Consulta: 3 de diciembre de 2013.
http://www.clear-la.cide.edu/node/51?language=en
Lectura 4 (en lnea)

RODRIGUEZ SOSA, Jorge y Molvina ZEBALLOS
2007 Evaluacin de proyectos de desarrollo local. Enfoques, mtodos y
procedimientos. Lima: Desco. Consulta: 3 de diciembre de 2013.
http://www.desco.org.pe/apc-aa-
files/d38fb34df77ec8a36839f7aad10def69/libro_kellogg.pdf
Criterios y estndares bsicos en el proceso

TEMA 2
de evaluacin
2.1 Los criterios de la evaluacin
Los juicios establecidos en una evaluacin estn basados en los criterios y escalas
de valores de los evaluadores, o las instituciones o personas que encargan la
evaluacin. Para evitar que una evaluacin, por este hecho, sea criticada por
subjetiva y pueda convertirse en un factor de conflicto, es importante que esta
explicite sus criterios, estndares y cdigo de tica.
Las preguntas clsicas en una evaluacin tienen que establecerse en funcin de las
necesidades de informacin de los actores ejecutores o financiadores del proyecto
acerca de
Se estn cumpliendo los objetivos del proyecto?

Se estn beneficiando todos los sectores de la poblacin objetivo?
Son sostenibles los resultados?
Qu factores contextuales determinan el grado de xito o fracaso del
proyecto?
Sin embargo, es conveniente recordar lo que seala Karen Mokate (2001: 5-6) al
respecto: La eficacia, eficiencia, equidad y sostenibilidad constituyen un conjunto
prioritario de criterios para el anlisis y evaluacin de polticas y programas, por
relacionarse con la relevancia e impactos de los mismos y por haber logrado un uso
convencional bastante generalizado. Son criterios particularmente relevantes para
el anlisis de iniciativas apoyadas con recursos pblicos. Estos cuatro trminos
forman parte de la jerga cotidiana de los que participan en la formacin, la gestin y
la evaluacin de las polticas y programas.
No obstante, estos criterios tan frecuentemente utilizados, se caracterizan por

definiciones ambiguas, de tal manera que se prestan a mltiples interpretaciones.
La falta de una definicin consensuada para cada criterio puede contribuir a
confusiones, malos entendimientos y recomendaciones errneas en la discusin de
polticas. Este texto propone definiciones bsicas y discute diversas
interpretaciones de estos criterios, tratando de sensibilizar con respecto a las
referencias que diferentes individuos pueden estar haciendo al usar un mismo
trmino.
Por ello, para responder de manera objetiva a estas interrogantes, los evaluadores
recurren a mediciones sobre la base de criterios establecidos a modo de
estndares internacionales. Independientemente del tipo de evaluacin que se
realice, debemos aplicar los siguientes criterios no necesariamente en su totalidad:

Pertinencia
Eficacia
Eficiencia
Impacto
Sostenibilidad (llamada tambin perdurabilidad)
Equidad
Estos criterios representan un conjunto mnimo de pautas y normas para el anlisis

y formacin de polticas y la evaluacin de programas y proyectos y otros criterios
los podran complementar.
El grfico siguiente muestra los criterios principales que se pueden considerar en

una evaluacin: pertinencia, eficacia, eficiencia, utilidad y perdurabilidad
(sostenibilidad).
Grfico 2.1
Fuente: Vias y Ocampo (2004: 44 - 45)
Los criterios de evaluacin estn relacionados estructuralmente con la utilizacin

del enfoque del marco lgico y la gestin del ciclo de proyectos. Dichos criterios
representan puntos crticos a tener en cuenta para emitir un juicio de valor sobre la
accin; son una especie de conceptos gua para enfocar las evaluaciones.
La aplicacin de estos criterios depende mucho de la naturaleza del proyecto, de la

forma en que fue documentado el proceso de implementacin, de la calidad de los
informes peridicos de avance de las metas fsicas y financieras.
Grfico 2.2
Criterios de evaluacin y lgica de intervencin
Fuente: Ministerio de Asuntos Exteriores (1998: 46)
Pertinencia
Es un criterio vinculado a la medida en que los objetivos de un proyecto son

compatibles con las prioridades del grupo objetivo, y las polticas de los donantes y
receptores. Es la consideracin de la intervencin en las diferentes prioridades de
los actores, sean entidades e instituciones diversas que se articulan para operar un
proyecto.
Cada actor establece aquellas prioridades vinculadas a su identidad institucional y,

por ello, la valoracin de la pertinencia relaciona la indagacin de la utilidad del
proyecto segn fines diversos de la entidad financiadora, los ejecutores y los
propios actores involucrados. Adems de la comprobacin de la adecuacin del
proyecto a las prioridades de las diferentes instancias involucradas, la pertinencia
debe constituir un juicio amplio acerca del significado del proyecto en trminos de
desarrollo.
Cmo medimos pertinencia?
La pertinencia de una intervencin se mide de manera cualitativa, en relacin con la

justificacin del proyecto segn las necesidades que atender y a las brechas
detectadas en el diseo del mismo, es decir, a las causas que justifican la
intervencin del proyecto. Adems, la pertinencia institucional asegura que las
instituciones operadoras tengan el mandato de atender ese tipo de problemtica,
por lo que cuentan con experiencia para ello.

Impacto
El impacto se refiere a los cambios en la vida de las poblaciones. Es el cambio

fundamental y sostenible en las condiciones de vida o en las actitudes y prcticas
de los participantes que son atribuibles a las intervenciones del proyecto; puede ser
positivo o negativo, previsto e imprevisto.
Cmo medimos impacto?
Medir el impacto es lo ms difcil en un proyecto porque se refiere a la generacin

de los beneficios que el proyecto ha conseguido y trabaja seriamente la dimensin
de atribucin. Generalmente, para medir impacto, debemos conocer los beneficios
que el proyecto ha generado en la poblacin o institucin analizada. Para hacer una
evaluacin orientada a la medicin de impactos, debemos identificar los beneficios
y medir de la manera ms cuidadosa los cambios en la vida de las persona
respecto a las variables e indicadores seleccionados para ello.
La medicin del impacto pasa por metodologas especficas que presentaremos en

el captulo correspondiente.
Eficacia
Es un criterio vinculado al grado en que se alcanzan los objetivos del proyecto en

un perodo determinado, independientemente de los costos que ello implique
(Cohen y Franco 1993: 77, 102). El anlisis de la eficacia puede considerarse como
una indagacin que pretende valorar las posibilidades de consecucin de los
objetivos del proyecto. Para ello, ser necesario comprobar si las actividades
previstas o ejecutadas conducen al logro de los resultados proyectados, si estos
son suficientes para la consecucin de los objetivos y si los plazos temporales
resultan adecuados para garantizar ese propsito. Asimismo, deber comprobar el
comportamiento o la existencia de factores externos que pueden condicionar el
xito de la intervencin.
Idea importante
Un problema clsico a la hora de efectuar una indagacin precisa acerca de la

eficacia de un proyecto proviene de la deficiente formulacin de los objetivos. Si
estos son confusos, mltiples o carecen de indicadores precisos, resulta difcil
determinar su logro (Gmez Galn y Sainz Ollero 1999: 78).
Eficacia es una medida del grado o nivel de alcance del objetivo y resultados de
una actividad en una poblacin beneficiaria y en un perodo temporal determinado,
sin considerar los costos en lo que se incurre para obtenerlos (Ministerio de
Asuntos Exteriores 1988: 46).
Es indispensable, para su medicin, una definicin clara y precisa de los resultados

y objetivos, y los beneficiarios directos e indirectos, adems de la construccin de
indicadores.
La informacin bsica para medir la eficacia en cuanto a los resultados procede,

principalmente, de los informes de seguimiento y monitoreo, y de finalizacin de las
actividades, lo que se complementar con la informacin obtenida mediante la
verificacin en campo.
Cmo medimos eficacia?
Los estndares que generalmente se utilizan para evaluar la eficacia de los

programas sociales, segn Navarro 2006, son los siguientes:
1. Las necesidades de la poblacin objetivo

2. Los objetivos y metas del programa
3. Estndares profesionales
4. Prcticas generalizadas
5. Requerimientos legales
6. Valores ticos y morales
7. Resultados anteriores
8. Opinin de expertos
9. Lnea base de las condiciones de la poblacin
10. Condiciones esperadas en ausencia del programa
La medicin de eficacia est vinculada a conseguir los resultados; para ello,

debemos construir matrices de apoyo que contemplen lo siguiente:
Cuadro 2.1
Cumplimiento de metas Fsicas del Proyecto
Jerarqua de Indicadores Lnea Brecha a Resultados Identificacin Comentarios

Objetivos -Metas. de atender conseguidos de los
Base por el al final del beneficios
(Ao) proyecto periodo o en
la lnea de
corte
Propsito u Indicador de Diferencia
objetivo de la Impacto entre la
intervencin LB y las
metas.
Resultado Indicador
programado1 1.1.
Indicador
1.2.
Resultado Indicador
programado 2.1
2
Indicador
2.2
Resultado Indicador
programado 3.1
3

A tomar en cuenta
Entre los problemas comunes que se enfrentan los equipos de planificacin-

evaluacin, tenemos los siguientes:
Objetivos o resultados ambiguos. Requiere que, a partir de la lectura de los

documentos presentados y los datos obtenidos de informantes clave, se
formulen objetivos especficos o, incluso, resultados suficientemente
operativos para estar en condiciones de determinar qu es lo que se ha
alcanzado.
Definicin de mltiples objetivos especficos de la intervencin. Se debe

verificar que dichos objetivos estn bien formulados para, luego, intentar
unificarlos en uno solo. De no poder construir uno solo, habra que analizar la
eficacia en ms de un objetivo especfico, siendo importante identificar los
resultados ms determinantes para lograr cada uno.
Otro problema serio es encontrar que las metas o indicadores metas de los
resultados no son tales, sino que son indicadores de actividades y resulta
difcil escalar hacia el nivel de resultados y, a su vez, cuando es difcil escalar
desde los resultados hacia el logro de los objetivos.
Si se demuestra eficacia respecto a resultados y no en los objetivos especficos, los

evaluadores deben precisar las causas probables que generalmente estn por el
lado de una mala formulacin o de factores externos.
Eficiencia
Es la relacin que existe entre los productos y los costos que la ejecucin del
proyecto implica, el grado en que una actividad produce resultados al menor costo
(Horton et l. 1994: 222). Con el concepto de eficiencia, se trata de determinar de
qu manera un proyecto hace uso de los medios disponibles, cmo se realizan las
actividades y de qu modo se alcanzan los resultados previstos. La eficiencia valora
la forma en la que se utilizan los recursos que se consumen durante la ejecucin y
si estos conducen adecuadamente al logro de los resultados esperados.
Un anlisis de la eficiencia pretende medir el rendimiento del proceso de ejecucin,

proponiendo soluciones para incrementarlo, siempre que eso sea posible sin
amenazar la consecucin de objetivos.
Para determinar la eficiencia de una intervencin concreta, es necesario contar con

algn tipo de valores de referencia que permitan establecer una comparacin
significativa. Esos valores de referencia se establecen sobre la base de la
experiencia acumulada en intervenciones similares o atendiendo a criterios

especficos que cada institucin considere razonables.
La valoracin de la eficiencia es difcil de efectuar si no se cuenta con presupuestos
desagregados por actividades (Gmez Galn y Sainz Ollero 1999: 77-78; Vias y
Ocampo 2004: 3637).
Cmo medimos eficiencia?
Para medir la eficiencia, debemos contar con los presupuestos del proyecto a nivel
desagregado, por lo menos, a nivel de resultados y gastos operativos, y, de
preferencia, en los principales componentes del proyecto, capacitacin, asistencia
tcnica entre otros.
Idea importante
Eficiencia es una medida del logro de los resultados en relacin con los
recursos que se consumen; esto es, la bsqueda de una combinacin ptima de
recursos financieros, materiales, tcnicos, naturales y humanos para maximizar
los resultados (Ministerio de Asuntos Exteriores 1988: 48).
Para realizar esta comparacin de recursos con resultados, se requiere considerar

que, en ocasiones, la cuantificacin de los mismos no se va a encontrar con
facilidad en los documentos del proyecto; ante estas situaciones, se har necesario
hacer mediciones de costos indirectos o costos de oportunidad. En otras ocasiones,
va a ser necesario buscar informacin adicional para realizar comparaciones sobre
la base de la experiencia de otros proyectos.
Con diferentes alcances, las herramientas ms utilizadas para la medicin de la

eficiencia son las siguientes:
Anlisis costo-beneficio. El anlisis costo-beneficio en proyectos sociales

es ms flexible que en el caso de una evaluacin privada de proyectos,
debido a la existencia de dos importantes peculiaridades. En primer lugar, los
beneficios relevantes son aquellos de carcter indirecto que, por definicin,
recaen sobre la poblacin beneficiaria y no sobre la institucin ejecutora. En
segundo lugar, la especial dificultad para valorizar los beneficios, muchos de
los cuales son intangibles.
Este anlisis se aplica solo en el caso de que se puedan expresar

monetariamente tanto los costos como los beneficios de una intervencin.
El clculo comprende medir los principales beneficios que el proyecto ha

conseguido contra los costos en los que se ha incurrido. Para hacer este
clculo, identificamos los datos que vamos a necesitar; de un lado,

agregamos todos los costos que el proyecto ha realizado en capacitacin

sumando cada ao; de otro lado, verificamos cuntos funcionarios lograron
capacitarse en los tres aos y el nmero de proyectos que produjeron y
el estado en que se encuentran, por ejemplo, si han sido aprobados y estn
listos para ejecutarse. Finalmente, relacionamos el monto total de la
capacitacin y el monto de los proyectos viables y aprobados. Ambas cifras
estn monetizadas y, por ello, podemos aplicar el costo beneficio.
En este tipo de anlisis se aplica las siguientes formulas:
Valor actual de los beneficios

VAB = =1 (1+)
Valor actual de los costos

VAC = Io + =1 (1+)
Valor actual de los beneficios netos
()
VAN = Io + =1 (1+)
Relacin costo beneficio
RBC = VAB/VAC
Ejemplo
Un proyecto agrcola busc incrementar rendimientos para mejorar ingresos,
se le evala comparando beneficios sin no se hubiera desarrollado el
proyecto utilizando el anlisis costo beneficio.
Con proyecto 0 1 2
Area (ha) 2000 2000
Rendimientos (kg/ha) 1800 1800
precios (s/kg) 1 1
a) Beneficios (nuevos soles ) 3,600,000 3,600,000
Sin proyecto 0 1 2
Area (ha) 1500 1500
Rendimientos (kg/ha) 900 900
precios (s/kg) 1 1
b) Beneficios (nuevos soles ) 1,350,000 1,350,000
Beneficios atribuidos al proyecto 1 2

c) Beneficios (a-b) 2,250,000 2,250,000
Costos proyecto 0 1 2
Inversin 500,000
Costos 300,000 300,000
Total Costos (tc) 500,000 300,000 300,000
Beneficios netos 0 1 2
(c)- (tc) (500,000) 1,950,000 1,950,000
Clculo de los indicadores claves:

2,250,000 2,250,000
VAB = + = 3,802, 615
(1+0.12)1 (1+0.12)2
300,000 300,000
VAC = 500,000 + + = 1,007, 015
(1+0.12)1 (1+0.12)2
1,950,000 1,950,000
VAN = - 500,000 + + = 2,795,599
(1+0.12)1 (1+0.12)2
RBC = 3.8/1.0 =3.78
Decisin: es recomendable invertir en proyectos con RBC>1 y el programa o

proyecto con mayor RBC es ms eficiente.
Anlisis costo-efectividad. Los costos son expresados monetariamente,

mientras que los efectos e impactos son presentados en otro tipo de unidades
que difcilmente pueden convertirse a unidades monetarias. Es til para
comparar los costos de produccin de uno o varios productos en distintas

intervenciones; se usan para analizar acciones piloto con miras a su

reproduccin.
Cuando no es posible expresar los beneficios de un proyecto en trminos

monetarios, o bien el esfuerzo de hacerlo es demasiado grande, o bien los
resultados de cualquier esfuerzo son excesivamente controversiales, se aplica el
denominado anlisis costo-efectividad. El objetivo de estos es determinar qu
alternativa de proyecto logra los objetivos deseados al mnimo costo, es decir, ms
eficientemente.
En general, existen diversas formas de efectuar un anlisis costo-efectividad, de las

cuales las ms usadas son el costo mnimo y el costo por beneficiario.
La frmula para hallar la relacin costo impacto
RCI = VPC / Impacto
La RCI estima el costo promedio por unidad de impacto generado. La decisin entre
dos o ms programas sociales es seleccionar el RCI menor, es decir, el de menor
costo de inversin.
Mtodo del Costo por Beneficiario

En ocasiones, las distintas alternativas de proyectos generan beneficios desiguales.
En estos casos, en que las alternativas difieren bsicamente en el volumen de
beneficio que generan, es posible utilizar como criterio de seleccin de alternativas
el costo por beneficiario, por atencin, por egreso o, en trminos ms genricos, por
unidad de beneficio producida. Para ello, se calcular para cada alternativa el
VAC y se dividir por el volumen de beneficios a producir, medido a travs de una
variable proxi de estos.
Ejemplos de indicadores de efectividad en proyectos sociales de educacin,

desnutricin y ambiental
Nmero de establecimientos de salud construidos o ampliados

Nmero de metros cuadrados construidos o ampliados
Nmero adicional de servicios de salud ofrecidos
Aumento del ratio profesional de salud/persona
Aumento de la poblacin atendida por ao
Aumento de la capacidad de atencin de los establecimientos de salud
Aumento del nmero de consultas realizadas
Aumento del nmero de partos atendidos
Aumento del nmero de intervenciones quirrgicas
Aumento del nmero de referencias y contra referencias entre
establecimientos de salud de una misma red
En el caso de proyectos de salud, una alternativa interesante al uso de los

indicadores de resultado es el clculo del nmero de aos de vida saludable,
conocidos tambin como AVISA, que el proyecto que se evala logra generar.
La gran ventaja de este mtodo es que proporciona una medida homognea
del efecto de un proyecto de salud, haciendo ms fcil su comparacin con
otras alternativas de inversin que se analicen en dicho sector. AVISA es un
indicador de efectividad compuesto que ofrece una medida integral del efecto
de un proyecto sobre las poblaciones beneficiarias expresada a travs de su
impacto sobre las muertes prematuras o las incapacidades fsicas o mentales
(sean temporales o permanentes) que producen las enfermedades.
Sostenibilidad
Se considera al grado en que los efectos e impactos de un proyecto continuarn

despus de su finalizacin. Un cambio ser sostenible cuando la intervencin del
proyecto puede ser retirada o suprimida, y la poblacin no retrocede a la situacin
en la que se encontraba antes de la intervencin; es decir, permanecen en el
tiempo ciertas actividades y beneficios del proyecto en la poblacin.
Equidad
El criterio de equidad depende de una interpretacin del derecho natural, de las

leyes o de la concepcin de justicia; por ende, va a ser interpretado segn los
valores, las tradiciones y la tica social, lo cual hace compleja su aplicacin.
Nuestras sociedades se caracterizan por grandes desigualdades, el tratamiento
igual de toda la sociedad podra resultar igualitario sin ser equitativo, es decir,
igualitario sin necesariamente ser justo. La igualdad de resultados puede ser
inviable, pues nadie puede obligar a algunos nios a aprender si no quieren
aprender, o al desnutrido no se le puede obligar a comer adecuadamente. Por otro
lado, no existe un pas en el mundo con los recursos suficientes para garantizar a
todos sus ciudadanos todos los servicios de educacin y salud, por lo que la
sociedad se ve obligado a delimitar lo que est en capacidad de garantizar. Por lo
tanto, la equidad deja de asociarse a la igualdad, y empieza a dominar el concepto
de justicia.
La equidad es sinnimo de igualdad de oportunidades en lo que respecta a los

programas sociales y puede significar igualdad de oferta para todos
independientemente de su condicin, su clase y su capacidad de pago.
La igualdad de oferta para todos, en lo que respecta a programas sociales, es una

interpretacin superficial de la equidad. Extender una oferta a toda la poblacin no
es factible, debido a la diferente condicin de las familias, el trmino no aplica para
algunos sectores de la poblacin que no requieren atencin del Estado, porque
acuden al sector privado para cubrir sus necesidades de servicios educativos y de
salud, sin descuidar sus otras necesidades prioritarias. Hablar de igualdad de
cobertura se entiende como la situacin en que la poblacin que necesita de un
servicio est atendida por los programas sociales, por lo tanto, se puede hablar de
igualdad de oferta para este sector, igualdad de acceso, igualdad de insumos,
igualdad de efectos o impactos, igualdad de capacidades.

Ideas bsicas en evaluacin
Los criterios de la evaluacin ms utilizados son pertinencia, eficacia, eficiencia,

impacto, sostenibilidad y equidad.
La data bsica para la evaluacin se encuentra en los documentos producidos a lo

largo de la intervencin, especialmente en el informe final referido tanto a los logros
de metas fsicas como de metas financieras.
En muchos casos, se requiere informacin complementaria para compararla con

otras experiencias y con informacin nacional.
Ejemplo del Uso de criterios para establecer las preguntas de la evaluacin

con el enfoque de equidad.
Criterios CAD Posibles preguntas para evaluaciones centradas en la

adaptados a equidad
evaluaciones
centradas en la
equidad
Relevancia: Cul es el valor de la intervencin con relacin a las
necesidades de los grupos ms desfavorecidos, la reduccin
el grado en el de las inequidades entre los grupos ms favorecidos y ms
que los desfavorecidos, prioridades nacionales centradas en la
resultados equidad y polticas centradas en la equidad de contrapartes
esperados de la nacionales e internacionales?
intervencin
abordan los
derechos y Cul es el valor de la intervencin con relacin a
necesidades de referencias mundiales, tales como los derechos humanos,
los grupos ms derecho humanitario y los principios humanitarios?
desfavorecidos,
reducen las Cul es la relevancia con relacin al enfoque de equidad,
inequidades y as como las estrategias de fundacin, como el Enfoque
estn en basado en los Derechos Humanos de la Integracin de
consonancia con Programacin y Gnero, los Compromisos Bsicos por la
las prioridades Infancia en la Accin Humanitaria (CCCs) y, en el caso de
de desarrollo las intervenciones apoyadas por UNICEF, el Plan
centrado en la Estratgico de Mediano Plazo (MTSP)?
equidad a nivel
global, nacional Qu sugieren la bibliografa y la experiencia sobre la

o local. idoneidad de la estrategia actual o propuesta? Si se aplica
con xito, es probable que esta estrategia aborde las
cuestiones clave que afectan a los grupos ms
desfavorecidos?
Criterios CAD Posibles preguntas para evaluaciones centradas en la

adaptados a equidad
evaluaciones
centradas en la
equidad
Eficacia: Est obteniendo la intervencin resultados satisfactorios
con relacin a objetivos declarados centrados en la
el grado en que equidad?
se alcanzaron, o
se espera que se
alcancen, los De qu manera la calidad de los sistemas pblicos
resultados de la dirigidos a los grupos ms desfavorecidos se compara con
intervencin la calidad de los sistemas pblicos convencionales?
centrada en la
equidad Se tuvieron en cuenta los factores contextuales (polticos,
sociales, econmicos, culturales) en el
diseo/implementacin de la intervencin?
Estn los sistemas de servicios pblicos y privados

llegando a los grupos ms desfavorecidos?
Cules son las principales limitaciones en la oferta?
Cules son las principales limitaciones en la demanda?
Qu programas son ms y menos eficaces?
Qu factores explican el xito? Qu sugieren la
bibliografa y la experiencia sobre la idoneidad de la
estrategia actual o propuesta? Si se aplica con xito, es
probable que esta estrategia aborde las cuestiones clave
que afectan a los grupos ms desfavorecidos?
Fuente: Bamberger y Segone op cit. UNICEF 2012

Criterios CAD
adaptados a
Posibles preguntas para evaluaciones centradas en la
evaluaciones
equidad
centradas en la
equidad
Eficiencia: Utiliza el programa los recursos de la manera ms
econmica para lograr los resultados esperados centrados
Una medida sobre en la equidad?
la forma en que
los
recursos/aportes Existen otras alternativas econmicas viables?
(fondos,
conocimientos Cun rentables son los sistemas pblicos en llegar a los
especializados, grupos ms desfavorecidos?
tiempo, equipo, Cmo se comparan los costos en llegar a los grupos ms
etc.) se convierten desfavorecidos con el promedio de los costos de los
en resultados servicios pblicos?
equitativos. Cmo se comparan los costos en llegar a los grupos ms
desfavorecidos con los de los sistemas alternativos para
ofrecer servicios a los grupos ms desfavorecidos?
Criterios CAD
adaptados a
evaluaciones Posibles preguntas para evaluaciones centradas en la
centradas en la equidad
equidad
Sostenibilidad: Es probable que se pueda continuar con la intervencin y su
impacto en los grupos ms desfavorecidos cuando se retire el
se ha apoyo externo?
completado la
continuidad de
los beneficios Es probable que las inequidades entre los grupos ms
para los grupos favorecidos y ms desfavorecidos aumenten, permanezcan
ms estables o disminuyan cuando se retire el apoyo externo?
desfavorecidos.
La sostenibilidad
se fija en la
probabilidad de
la continuidad de Se replicar o adaptar la estrategia de forma ms amplia?
los beneficios a Es probable que se ample (de forma escalada)?
largo plazo para
la los grupos
ms
desfavorecidos.
2.2. Principios, normas y estndares de la evaluacin
A nivel de los conceptos y definiciones, las Naciones Unidas. sealan en

Estndares de evaluacin en el sistema de Naciones Unidas del 2005 que los
propsitos de la evaluacin incluyen comprender por qu y en qu medida se
logran resultados intencionales y no intencionales, as como su impacto sobre las
partes interesadas. La evaluacin es una fuente importante de evidencia del logro
de resultados y del desempeo institucional y contribuye, asimismo, de manera
significativa, a desarrollar conocimientos y al aprendizaje institucional. Adems,
constituye un agente del cambio importante que tiene una funcin esencial y creble
en apoyar la rendicin de cuentas.
Una evaluacin debe suministrar informacin basada en evidencia que sea creble,
fiable y til, facilitando la incorporacin oportuna de los hallazgos, recomendaciones
y lecciones en los procesos de toma de decisiones de las organizaciones del
sistema de las NN. UU. y de sus miembros.
La evaluacin alimenta los procesos de gestin y toma de decisiones, y realiza una

contribucin fundamental a la gestin por resultados. Tambin informa el ciclo de
planificacin, programacin, formulacin del presupuesto, implementacin y
elaboracin de informes.
La evaluacin no es un proceso de toma de decisiones en s, sino que sirve como

un insumo para proveer conocimiento y evidencia en temas de desempeo y
buenas prcticas a quienes toman las decisiones. Aunque la evaluacin se utiliza
para evaluar intervenciones, debera proveer valor agregado para que los procesos
orientados a decisiones contribuyan a mejorar las actividades, proyectos,
programas, estrategias, y polticas presentes y futuras. Por consiguiente, la
evaluacin contribuye a la formulacin de polticas institucionales, a la efectividad
del desarrollo y a la efectividad organizacional.
Entre los principios, normas y estndares, podemos mencionar como los de mayor
importancia: intencionalidad, imparcialidad, independencia, calidad de la
evaluacin, competencias en evaluacin, transparencia y consulta, tica de la
evaluacin, contribucin a la construccin de conocimiento.
La Intencionalidad, en la utilizacin de los hallazgos de la evaluacin por los

diferentes actores del proceso, por lo que vale la pena destacar los aspectos de
aprendizaje institucional que deben ser reforzados al realizar un proceso de
evaluacin.
La entidad solicitante de la evaluacin debe explicitar el propsito, la naturaleza y el

alcance del proceso a fin de que queden claros para los evaluadores y las partes
interesadas.
La Imparcialidad, implica la ausencia de sesgos en el proceso en la metodologa, y

en la consideracin y presentacin de los logros y desafos. Significa, asimismo,
tomar en cuenta los puntos de vista de todas las partes interesadas.

La Independencia, referida a que la funcin de evaluacin tiene que estar ubicada

independientemente de otras funciones gerenciales, de modo que est libre de
influencias indebidas y garantice informes imparciales y transparentes.
La Calidad de la evaluacin, se debe emplear procesos de diseo, planificacin y

ejecucin que estn inherentemente orientados a la calidad, con metodologas
apropiadas de recoleccin, anlisis e interpretacin de datos.
Las Competencias en evaluacin, los evaluadores deben poseer un conjunto de

capacidades bsicas que les permitan llevar a cabo estudios de evaluacin y
supervisar evaluadores externos.
La Transparencia y consulta, la transparencia y la consulta son criterios de primer

orden en la evaluacin en la medida en que la validez interna y externa de las
conclusiones y recomendaciones del proceso evaluativo sern asumidas si se
considera que se ha garantizado la transparencia en el manejo de la informacin y
se ha recogido las opiniones de todos los actores.
La tica de la evaluacin, este estndar tiene connotaciones particulares. Las

evaluaciones deberan ser diseadas y realizadas de manera que respeten y
protejan los derechos y el bienestar de las personas y de las comunidades de las
que son miembros, en conformidad con la Declaracin Universal de Derechos
Humanos de las Naciones Unidas y otras convenciones de derechos humanos.
Los evaluadores deben respetar la dignidad y diversidad de los participantes en la

evaluacin cuando planifican, llevan a cabo e informan de la evaluacin usando
instrumentos de evaluacin apropiados para el entorno cultural en el que tiene
lugar.
El Seguimiento de una evaluacin. Uso, generalmente, las evaluaciones pueden

convertirse en un documento sin mayores repercusiones en la vida institucional y lo
que realmente se debe garantizar es que ha sido un proceso til, de aprendizaje
institucional y se considera a efectos de mejorar los proyectos en curso o los
nuevos proyectos. Por ello, se recomienda que se verifique la seriedad en el
tratamiento de las conclusiones de la evaluacin. Para ello, el seguimiento
sistemtico de la implementacin de las recomendaciones de la evaluacin que
hubieran sido aceptadas por la gerencia o los rganos de gobierno debe ser una
prctica ex post el proceso evaluativo.
La Contribucin a la construccin de conocimiento, se reconoce a la evaluacin

como un mecanismo de aprendizaje y mejoramiento organizacional.
Sntesis
Las evaluaciones apoyan el enfoque de desarrollo humano que tiene la

organizacin para ayudar a la gente a construir una vida mejor, creando
conocimiento sobre lo que funciona, por qu y en qu circunstancias.
Los propsitos de la evaluacin incluyen comprender por qu y en qu medida se

logran resultados intencionales y no intencionales, as como su impacto sobre las
partes interesadas. La evaluacin es una fuente importante de evidencia del logro
de resultados y del desempeo institucional; contribuye, asimismo, de manera
significativa, a desarrollar conocimientos y al aprendizaje institucional. Adems,
constituye un agente del cambio importante que tiene una funcin esencial y
creble en apoyar la rendicin de cuentas.
La evaluacin no toma decisiones sino ofrece un conjunto de conclusiones y

recomendaciones que, al ser utilizadas, repercuten en el mundo de las
instituciones y de las personas; por ello, el comportamiento del evaluador, ms
all del diseo, metodologa y tcnicas que utiliza, debe ser compatible con un
conjunto de criterios propios de la funcin, con el cuidado de la tica y de los
estndares construidos por las instituciones. Obviamente, no hay un solo patrn
de estndares, pero sobre la base de los existentes debemos asumir alguno.
Los criterios que sugieren usarse en el campo de la evaluacin son

consecuencias de las conclusiones y aplicacin de estas, los deberes y derechos
de las personas y de los evaluadores, la justicia social y el cuidado de la tica.
Los profesionales dedicados a la evaluacin enfrentan una serie de

condicionantes criterios, estndares y comprensiones de la tica, de la cultura y
de gnero que exigen de ellos ser personas muy amplias, abiertas y cuidadosas
de sus opiniones por las consecuencias que pueden tener.

Lectura 1 (en lnea)

GRUPO DE EVALUACIN DE LAS NACIONES UNIDAS (UNEG)
2005 Estndares de evaluacin en el sistema de las Naciones Unidas. Nueva
York: Naciones Unidas, pp. 1-26. Consulta: 21 de enero de 2013.
http://www.uneval.org/documentdownload?doc_id=22&file_id=129.
Lectura 2 (en lnea)
MOKATE Karen Marie
2001 Eficacia, eficiencia, equidad y sostenibilidad: Qu queremos decir? Serie
de Documentos de Trabajo I 24. Nueva York: BID INDES, pp. 5-52.
Consulta: 23 de setiembre de 2013.
http://courseware.url.edu.gt/PROFASR/Docentes/Facultad%20de%20Ciencias
%20Pol%C3%ADticas%20y%20Sociales/Gu%C3%ADa%20Docente%20Gere
ncia%20Social%201/Bibliograf%C3%ADa%20digital/Gu%C3%ADa%203/Unid
ad%209/MOKATE1.PDF
http://idbdocs.iadb.org/wsdocs/getdocument.aspx?docnum=2220176
2.3. La tica y cultura de la evaluacin
El estndar sobre la tica de la evaluacin tiene connotaciones particulares, por lo

que se profundiza un poco ms en su significado.
Newman D. y Brown Robert, en su libro Applied ethics for Program Evaluation,

discuten el alcance del concepto de la tica y la definen con tres ideas primarias:
como principios de la moralidad de las acciones correctas y equivocadas,

como las reglas de conducta de los profesionales de la evaluacin, y
como la ciencia del comportamiento ideal humano, el buen comportamiento.
Se definen cinco criterios para tomar decisiones ticas e iniciaremos su anlisis

sobre la base de cinco preguntas de apoyo:
a. Cules son las consecuencias de mi decisin? Qu puede suceder?

b. Qu deberes y obligaciones tengo como evaluador?
c. Qu derechos tienen mis clientes? Qu derechos tengo yo como
evaluador?
d. Qu puede ser justo o injusto en esta situacin?
e. Quin puede ser el responsable del curso de esta accin?
Estas cinco preguntas pueden guiar al evaluador para tomar decisiones ticas y
cada una de ellas muestra ventajas como tambin desventajas.
A continuacin presentamos un conjunto de criterios vinculados a la tica del
evaluador.
Las Consecuencias. Es sumamente importante considerar las consecuencias de

las diferentes recomendaciones del evaluador dado el contexto y la situacin
especfica. Desde esta perspectiva, una accin puede ser errnea en ciertas
circunstancias, pero, en otras, no lo es; depende de las consecuencias derivadas
de dicha accin.
Las mediciones y los anlisis de indicadores, sean cuantitativos o cualitativos del

tipo Likert de escalas de valoracin, los anlisis de costos o los anlisis de costo-
beneficio sobre la satisfaccin, o beneficios para los actores orientados a la
utilizacin de los resultados del programas, no son tan sencillos de determinar; en
ese sentido, usamos aproximaciones.
Sin embargo, para emitir un juicio, la determinacin del evaluador de qu es bueno

es esencial y lo complejo es saber quin determina esta situacin. Es el
evaluador, es el ejecutor de los proyectos o programas, o es un consenso entre los
actores participantes?
Deber, en este punto, se llama la atencin sobre los conceptos de deberes, las
expectativas e ideales, los cuales pueden ser diferentes para las personas segn se
trate de un evaluador interno o externo; hacer decisiones tiene implicaciones y, por
ello, el evaluador necesita preguntar cules son las expectativas y obligaciones de
las relaciones con mis clientes? (Newman y Brown 1996: 29).
Derechos, otro criterio cercano a los deberes son los derechos de las personas. El
respeto y el reconocimiento de los derechos son dos criterios importantes.
Justicia social, otro de los criterios ticos del evaluador para determinar si el
comportamiento es correcto o errneo es la justicia social. En ese criterio, se
recoge la importancia de la equidad ms que la perspectiva utilitaria. Este criterio
fue estudiado por Rawls en 1971 y propuso dos principios: primero, reconocer que
cada persona tiene iguales derechos a libertades bsicas y, segundo, que los
esfuerzos para combatir las desigualdades econmicas y sociales pueden ser
beneficiar al ms desprotegido. La perspectiva de gnero y la etnicidad son
atributos muy importantes relativos a la equidad y la justicia.
Cuidado de la tica. Este criterio an no ha recibido una atencin y est vinculado

a las relaciones con el contexto, las leyes y los principios universales.

Cuadro 2.2
Fortalezas y debilidades de los criterios relevantes de la tica de la evaluacin
Criterio Fortalezas Debilidades
Facilidad para medir los

Dificultades de precisar los efectos en
resultados y hacer
todos los beneficiarios.
comparaciones.
Pueden resultar afectados los
Consecuencias Centrado en los resultados
derechos de algunas personas.
Congruente con los
Dificultad para definir lo que es bueno
resultados orientados a la
y dnde lo bueno toma prioridad.
evaluacin.
Puede proveer una clara

lectura de las Puede sobredimensionar las
expectativas. perspectivas de la gerencia.
Deberes
Considera los contratos y Negligente con las necesidades de los
las relaciones actores sociales.
profesionales.
Provee una mnima

proteccin de los Inadecuado para considerar los usos y
individuos. costumbres de la justicia social.
Derechos
Juegos estndar Los derechos no son absolutos y
independientes de los pueden ser conflictivos.
resultados.
Puede enfatizar entitlement a

expensas del esfuerzo y la creatividad.
Asegurar que la
Pueden afectarse algunos derechos de
asignacin de bienes son
Justicia social los actores.
distribuidos con
Cambios en los roles tradicionales del
transparencia.
evaluador frente a neutralidad como
intercesor.
Considera los factores de

Puede ser muy general y relativo.
los contextos especficos.
tica Dificultades para determinar dnde la
Examina los efectos y las
ayuda es ms pertinente.
relaciones.
Fuente: Tabla 2-2 Stenghs and weaknesses of criteria relevant to judging evaluation
behavior decisions. Pg. 36 en Newman y Brown 1996. Traduccin propia
La cultura de la evaluacin
Se ha reconocido que la evaluacin est presente en el mundo del desarrollo desde
la dcada del 50 y, si fuera posible una mirada retrospectiva de largo aliento,
diramos, como Scriven M., que la evaluacin es una vieja amiga cuya prctica,
principalmente, ha estado presente desde que la sociedad se organiz. Sin
embargo, a la fecha, diversas agencias internacionales han descubierto que el
principal cuello de botella para impulsar e institucionalizar la evaluacin no es la
capacidad tcnica (las prcticas evaluativas), sino la debilidad de la cultura de la
evaluacin.
Segone, citando a Trochim (1996), describe cmo debe ser la cultura de la

evaluacin en el siglo XXI, y define las siguientes caractersticas:
Orientacin hacia la accin

La evaluacin debe ser una herramienta estratgica que facilite y apoye el uso de la
informacin y del conocimiento adquirido durante el proceso de evaluacin con el
fin de fortalecer el desempeo del programa. El proceso de evaluacin no termina
con el informe final, sino con la implementacin de las recomendaciones y acciones
de seguimiento.
La evaluacin debe ser una parte integral del ciclo establecido entre el postulado, la
accin, la evidencia y la revisin.
Interdisciplinaria y holstica
La evaluacin tiene un carcter interdisciplinario y busca reunir la reflexin de
diversos expertos. Actualmente, casi todos estn de acuerdo en que la evaluacin
debe estar totalmente integrada y fuertemente arraigada en la estructura
institucional y en la planificacin e implementacin del ciclo de programacin de
pas, y no vista como una funcin paralela.
Incluyente, participativa y no jerrquica

La evaluacin no es una disciplina tcnica solo para personas especializadas. Esta
debe ser una actividad cotidiana de quienes trabajen en la institucin para, as,
mejorar su desempeo personal y el desempeo institucional en general.
tica, buscadora de la verdad, abierta y justa

La evaluacin es una herramienta tcnica y poltica, ya que cuestiones polticas y
de valores son una parte integral de una evaluacin. Casi todas las etapas del
proceso de evaluacin tienen implicaciones polticas (Kellogg 1997). Los
evaluadores deben comprender las implicaciones de sus acciones y ser sensibles a
los intereses del director de proyecto, del personal y de otros actores.
Mira hacia el futuro

La funcin de evaluacin debe ser de prospectiva, anticipndose a las necesidades
de los resultados de la evaluacin. La planificacin de un sistema sencillo de
monitoreo y evaluacin debe ser una parte integral del proceso de planificacin de
todo proyecto y programa, de modo que el proceso de evaluacin pueda ser
utilizado durante la implementacin del programa y no nicamente cuando este
finaliza.


GRUPO DE EVALUACIN DE LAS NACIONES UNIDAS (UNEG)
2005 Estndares de evaluacin en el sistema de las Naciones Unidas. Nueva York:
Naciones Unidas, pp. 1-26. Consulta: 3 de diciembre de 2013.
http://www.uneval.org/papersandpubs/documentdetail.jsp?doc_id=22
Lectura 2 (en lnea)

MOKATE Karen Marie
2001 Eficacia, eficiencia, equidad y sostenibilidad: Qu queremos decir? Serie de
Documentos de Trabajo I 24. Nueva York: BID INDES, pp. 5-52. Consulta: 3 de
diciembre de 2013.
http://courseware.url.edu.gt/PROFASR/Docentes/Facultad%20de%20Ciencias%20
Pol%C3%ADticas%20y%20Sociales/Gu%C3%ADa%20Docente%20Gerencia%20S
ocial%201/Bibliograf%C3%ADa%20digital/Gu%C3%ADa%203/Unidad%209/MOKA
TE1.PDF
http://idbdocs.iadb.org/wsdocs/getdocument.aspx?docnum=2220176
UNIDAD II: LA EVALUACIN EN EL CICLO DEL PROGRAMA Y

PROYECTOS: EL OBJETO DE LA EVALUACIN, EL MARCO
LGICO, LOS INDICADORES
TEMA 3 La evaluacin en el ciclo del proyecto
La evaluacin es parte del ciclo de vida de un proyecto
Es importante comprender que la evaluacin forma parte de ciclo de vida de un proyecto

y es parte del sistema de planificacin del mismo.
Este enfoque podemos apreciarlo en el PNUD en su ltimo Manual de Planificacin,

Seguimiento 2 y Evaluacin de los resultados del desarrollo del ao 2009 y que reafirma lo
sealado en su manual anterior del ao 2002.
Grfico 3.1
Fuente: PNUD /2009(Manual de planificacin, seguimiento y

evaluacin de los resultados de desarrollo. p. 10.
2
(as le llaman al monitoreo)

De manera semejante el FIDA considera que el ciclo de vida de un proyecto

comprende, en realidad, la conjuncin de varios subsistemas: el de planificacin,
el de monitoreo, el de evaluacin, y el de sistematizacin, que se van
sucediendo en las fases del ciclo del proyecto. Como se aprecia en la siguiente
infografa.
Este grfico constituye una excelente sntesis sobre la ubicacin de la
evaluacin orientada a resultados desde el punto de vista de las instituciones
que promueven este enfoque, el PREVAL y FIDA.
La novedad en estos sistemas es la incorporacin del subsistema de
sistematizacin, el cual no es reconocido en los ciclos de proyectos del Banco
Mundial y PNUD.
Grfico 3.2
Fuente: RODRGUEZ, Ral. Plataforma Regional de Desarrollo de Capacidades en Evaluacin y

Sistematizacin de Amrica Latina y el Caribe (PREVAL).
Para PREVAL-FIDA, los sistemas de monitoreo y evaluacin son parte de la

funcin de gestin y conforman espacios de reflexin y comunicacin sobre los
cambios de una intervencin para el desarrollo. La evaluacin, como se ha
sealado consiste en procesos de recoleccin y gestin de la informacin y de
comparacin entre referentes para contar con evidencias sobre los resultados.
El uso de la informacin debe guiar la estrategia de accin hacia el impacto,

garantizar la eficacia de las operaciones y propiciar el aprendizaje de mltiples
actores.
La evaluacin concentra su anlisis en el cambio y en las acciones llevadas a

cabo para producirlo y para ello utiliza la comparacin.
La comparacin en da en momentos diferentes y se consideran por lo menos
dos referentes:
Referente inicial. Vinculado a la lnea de base y a lo previsto a alcanzar en

el programa y proyecto.
Referente final. Vinculado a los resultados alcanzados.
La evaluacin permite, dar cuenta (comunicar resultados a otros) y darse cuenta

(producir aprendizajes colectivos dentro del proyecto) de los cambios que se
producen, identificar potencialidades y limitaciones en la accin, y utilizar los
aprendizajes sobre lo hecho haya sido acertado o errneo para introducir
correcciones.
La Evaluacin es un proceso de: - Negociar un plan con referentes, - Recolectar

evidencias y de Diseminar resultados identificando audiencias, segn Owen y
Rogers (1999).
En la lgica evaluativa se procede segn, Preskill y Russ-Eft (2005), de modo
de:
Establecer criterios en qu dimensiones se acta (personas, instituciones,

procesos, grupos, sociedad).
Construir estndares: dimensiones de cambio mediante teoras de cambio;
indicadores.
Medicin y verificacin del desempeo comparando con los estndares
(antes/despus con/sin).
Sintetizar evidencias e integrarlas en juicios de valor o mrito en
conclusiones sobre cambios, comparando.
Establecer recomendaciones y aprendizajes.
3.1. La comparacin y los referentes en la evaluacin

Toda evaluacin consiste en comparar lo alcanzado con la ejecucin de los
proyectos con referentes que se definen en el momento de diseo y en las
etapas de inicio de las acciones. Estos referentes son los llamados iniciales o
situacin, desde la cual se parte en una intervencin; y finales o puntos de
llegada para la misma.

El referente inicial es una valoracin del estado o situacin de la poblacin

objetivo de los proyectos, el contexto en que se ejecutan y los indicadores
definidos para su gestin, antes de que la ejecucin empiece a producir
cambios. Es un estudio de base cuyos resultados sern comparados con los
resultados de las evaluaciones posteriores.
El referente final est compuesto por los objetivos o resultados esperados. Se

definen en el proceso de planificacin y traducen las intenciones de cambio que
estn detrs de todo proyecto.
En trminos muy concretos, la evaluacin permite dar cuenta (comunicar

resultados a otros) y darse cuenta (producir aprendizajes colectivos dentro del
proyecto) de los cambios que se producen, identificar potencialidades y
limitaciones en la accin, y utilizar los aprendizajes sobre lo hecho haya sido
acertado o errneo para introducir correcciones.
Grfico 3.3
Fuente: Rodrguez y Zeballos (2007: 16)
El grfico refiere que la evaluacin concentra el anlisis en el cambio y en las

acciones llevadas a cabo para producirlo y, para ello, utiliza la comparacin en
momentos diferentes, y se tiene por lo menos dos referentes: el inicial y el final.
La evaluacin consiste en una serie de estudios longitudinales con una lgica de
comparacin.
La evaluacin no se limita a la valoracin de lo acontecido en proyectos cuyas

acciones ya concluyeron (estudio ex post facto), como si fuese una tarea
distinta a la gestin, hecha por fuera y despus de la gestin. Por el contrario,
es un elemento constitutivo e inseparable de la gestin, que acompaa y
fortalece todo el proceso.
La evaluacin, a diferencia del seguimiento que es literalmente permanente,
privilegia momentos continuos que, se estima, son los necesarios para que la
ejecucin de los proyectos produzca cambios. La observacin del cambio
tiene un acento en sus orientaciones al impacto.
3.2. La lgica horizontal y vertical de una evaluacin
En la mayora de los programas y proyectos, se utiliza la metodologa del marco

lgico tanto para su diseo como para su evaluacin. Es necesario establecer las
relaciones entre los niveles de cambio expresados en la primera columna del marco
lgico y los indicadores asociados a la jerarqua de objetivos.
Diversos autores, como el PNUD (2009) en su Manual de planificacin,

seguimiento y evaluacin de los resultados del desarrollo, y Rodrguez y Zeballos
(2007) en su trabajo Evaluacin de proyectos de desarrollo local: enfoques,
mtodos y procedimientos presentan la relacin entre el marco lgico y la relacin
mencionada entre la jerarqua de objetivos de una intervencin y el sistema de
indicadores.
Grfico 3.4
Fuente: Rodrguez y Zeballos (2007: 42)

Es importante en la evaluacin las dos lgicas complementarias : la llamada lgica

horizontal y la vertical.
Grfico 3.5
La lgica horizontal en el proceso de evaluacin
Fuente: Rodrguez y Zeballos (2007: 43-44)

La lgica horizontal nos permite establecer la consistencia entre las dimensiones de
cambio y las tcnicas e instrumentos de recojo de informacin, mientras que la
lgica vertical refuerza el anlisis de la cadena de resultados establecida en la
jerarqua de objetivos.
Grfico 3.6
La lgica vertical en el proceso de evaluacin
/
Fuente. Rodrguez y Zeballos (2007: 43-44)
3.3. La revisin del marco lgico, la cadena de resultados

Al momento de la evaluacin se deben revisar el marco lgico, los indicadores
establecidos y constituir la cadena de resultados.
Como sabemos, una cadena de resultados establece la secuencia de insumos,

actividades y productos de los que se espera que mejoren los resultados y los
resultados finales.
Grfico 3.7
Fuente: Paul J. Gertler, Sebastin Martnez, Patrick Premand, Laura B. Rawlings, Christel M. J.
Vermeersch. La evaluacin de impacto. Banco mundial 2011
La cadena de resultados tiene tres partes principales:
Implementacin: el trabajo programado producido por el proyecto, que incluye los

insumos, las actividades y los productos. Se trata de los aspectos que puede
supervisar directamente el organismo ejecutor para medir el desempeo del
programa.
Resultados: se refiere a lo que se ha denominado resultados y resultados finales en

la cadena de resultados. No dependen solo del control directo del proyecto sino
tambin de cambios de comportamiento de los beneficiarios del programa.
En otras palabras, dependen de las interacciones entre el lado de la oferta

(implementacin) y el lado de la demanda (beneficiarios). Estos son los aspectos
que se someten a la evaluacin de impacto para medir la efectividad.

Suposiciones y riesgos: no se muestran en el grfico presentado. Hacen referencia

a los riesgos que pueden afectar a la consecucin de los resultados esperados y a
cualquier estrategia para solventar dichos riesgos. Incluyen cualquier evidencia en
la bibliografa especializada sobre la lgica de causalidad propuesta y las
suposiciones en que se basa.
Matriz para la evaluacin
Una vez que se haya descrito la cadena de resultados, se puede implementar una
matriz de evaluacin.
Esta matriz nos facilita relacionar la columna de objetivos del Marco Lgico con las
preguntas orientadoras de la evaluacin, indicadores, con los informantes/fuentes
de informacin, con las respectivas tcnicas o instrumentos con cuales se
recopilar la informacin que se necesita y con los responsables de la evaluacin.
Cuadro 3.1
Columna Preguntas Indicadores Informantes/ Tcnicas/ Respon-

de orientadoras fuentes de instrumentos sable
ob jetivos informacin
Impacto
(resulta-
do final)
Efectos
(resulta-
dos
interme-
dios.
Inmedia-
tos)
Productos
Lectura 1 (en lnea)

PROGRAMA DE LAS NACIONES UNIDAS PARA EL DESARROLLO (PNUD)
2009 Captulo 6 Inicio y gestin de una evaluacin y Captulo 7 Garanta de
calidad del diseo y la metodologa de la evaluacin. En Manual de
planificacin, seguimiento y evaluacin de los resultados de desarrollo.
Nueva York: PNUD, pp.143-160 y 161-178. Consulta: 21 de enero de 2013.
http://www.undp.org/evaluation/handbook/spanish/
Lectura 1 (en lnea)

PROGRAMA DE LAS NACIONES UNIDAS PARA EL DESARROLLO (PNUD)
2009 Captulo 6 Inicio y gestin de una evaluacin y Captulo 7 Garanta de
calidad del diseo y la metodologa de la evaluacin. En Manual de
planificacin, seguimiento y evaluacin de los resultados de desarrollo.
Nueva York: PNUD, pp.143-160 y 161-178. Consulta: 3 de diciembre de
2013.
http://www.undp.org/evaluation/handbook/spanish/
Lectura 2 (en lnea)

RODRIGUEZ SOSA, Jorge y Molvina ZEBALLOS
2007 Evaluacin de proyectos de desarrollo local. Enfoques, mtodos y
procedimientos. Lima: Desco. Consulta: 3 de diciembre de 2013.
http://www.desco.org.pe/apc-aa-
files/d38fb34df77ec8a36839f7aad10def69/libro_kellogg.pdf

GERTLER, Paul J. y otros
2011 La cadena de resultados, Hiptesis para la evaluacin. En La evaluacin
de impacto en la prctica. Washington D.C.: Banco mundial, pp. 24-27.
Consulta: 9 de diciembre de 2013.
http://siteresources.worldbank.org/INTHDOFFICE/Resources/IEP_SPANIS
H_FINAL_110628.pdf

La evaluabilidad del programa o proyecto y

TEMA 4
los trminos de referencia
4.1. Evaluabilidad de la evaluacin
Segn Bamberger, Rugh y Mabry (2006: 13) Las personas que encargan una
evaluacin deben considerar una serie de factores que deben ser incluidos en los
trminos de referencia. El cliente, y el evaluador/a que est siendo contratado para
acometer la tarea, podran valerse del siguiente grupo de preguntas para
cerciorarse de que estos factores sean tomados en cuenta a medida que se
elaboran los planes para llevar a cabo una evaluacin.
Las respuestas a estas preguntas pueden ayudar a focalizar la atencin en los

temas importantes en los que debe incidir la evaluacin
Quin pidi la evaluacin? Quines son los interesados clave?

Tienen ideas preconcebidas sobre el propsito de la evaluacin y los
hallazgos previstos?
Quines deberan participar en la planificacin/ejecucin de la
evaluacin?
Cules son las preguntas clave que deben ser respondidas?
La evaluacin ser formativa o sumativa? Su propsito principal es
aprender y mejorar, rendir cuentas, o una combinacin de ambos?
Habr una segunda fase del proyecto o se disearn otros proyectos
sobre la base de los hallazgos de esta evaluacin?
Qu decisiones se tomarn en respuesta a los hallazgos de esta
evaluacin? Quin las tomar?
Cul es el nivel de rigor requerido para sustentar dichas decisiones?
Cul es el campo de aplicacin/el alcance de la evaluacin?
Cunto tiempo se requiere/de cunto tiempo se dispone?
Qu recursos financieros se requieren/de qu recursos financieros se
dispone?
Qu diseo de evaluacin se requiere/es posible dadas las
circunstancias?
La evaluacin debera basarse principalmente en mtodos
cuantitativos (CUANTI), mtodos cualitativos (CUALI) o una
combinacin de ambos?
Debemos emplear mtodos participativos?
Puede/debe haber una encuesta de personas individuales, hogares u
otras instituciones?
Quines deben ser entrevistados?
Qu diseo y tamao de muestra se requieren/son factibles?
Qu forma de anlisis responder mejor a las preguntas clave?
Quines son los destinatarios del informe o informes? De qu
forma sern comunicados los hallazgos a cada grupo de
destinatarios?

Pero, antes de comenzar una evaluacin, es importante realizar una valoracin si

las dimensiones propias del enfoque escogido para evaluar el proyecto estn
presentes, por ejemplo, si las dimensiones de equidad han sido consideradas
adecuadamente durante el diseo e implementacin de una intervencin.
Segn Bamberger y Segone (2012:21) Una valoracin de la evaluabilidad es un

ejercicio que ayuda a identificar si se puede evaluar una intervencin, si est
justificada, es realizable y si es probable que proporcione informacin til. Analiza si
la evaluacin puede alcanzar sus objetivos dentro del plazo propuesto (por ejemplo,
puede ser demasiado pronto para evaluar ciertos tipos de resultados o impactos), y
dentro del presupuesto y tiempo propuestos. Su objetivo no consiste slo en decidir
si la evaluacin puede llevarse a cabo o no, sino tambin en preparar la
intervencin para asegurar que se cuenta con las condiciones necesarias para una
evaluacin. La posibilidad de evaluar tambin debe indicar cualquier desafo o reto
poltico, social y cultural, as como el desafo tcnico en la realizacin de una
evaluacin centrada en la equidad. Esto informar a las decisiones en el nivel
anlisis de equidad que la evaluacin puede cubrir de forma realista.
Todo programa y proyecto se puede evaluar en cualquier momento y circunstancia

o requiere de unas condiciones mnimas para asegurar el xito de una misin de
evaluacin?
Estas condiciones mnimas se llaman Evaluabilidad y constituyen un criterio que

permite, antes de encargar o hacer una evaluacin, tener la certeza que no existen
restricciones demasiado severas que pueden entorpecer el proceso. Estas
restricciones pueden ser de diferente ndole: organizacional, institucional, poltica o
de contextos adversos por razones incluso ambientales.
Consiste en verificar si existe claridad en la intencionalidad de la intervencin que

ser evaluada, indicadores mensurables suficientes, fuentes de informacin
evaluables y fiables, y ningn factor significativo que interfiera con un proceso de
evaluacin imparcial.
La Evaluabilidad considera evaluar previamente si el objeto del anlisis est listo

para ser evaluado, lo que conlleva a establecer si la evaluacin propuesta todava
es pertinente y factible como se haba planificado, si est diseada para
complementar otros anlisis previos y tiene posibilidades de agregar valor a la
informacin existente y a otras evaluaciones planificadas y futuras.
Es conveniente realizar un anlisis de evaluabilidad como criterio para decidir

encargar una evaluacin?
S es conveniente antes de iniciar el proceso de evaluacin tener la certeza de las

condiciones institucionales de la calidad de la propuesta.
Las restricciones pueden encontrarse en diferentes aspectos y ser de diferentes

tipos: de informacin presupuestarias, polticas; y segn sea el tipo de restricciones
previstas a fin de ganar evaluabilidad, se podra atender estas restricciones de la
siguiente manera.
Si las restricciones son de carcter presupuestario,
Reducir las presiones de tiempo sobre los consultores: encargar estudios

preparatorios y uso de videoconferencias
En diseos cualitativos, reducir el nmero de unidades estudiadas
(comunidades, familias, escuelas)
Reducir la duracin o la frecuencia de las observaciones
Revisar todos los instrumentos de recoleccin de datos y eliminar cualquier
pregunta no relacionada directamente con los objetivos del proyecto
Si las restricciones son de informacin,
Establecer con precisin las necesidades de informacin del proyecto

Problemas en ausencia de datos de base sobre la poblacin de proyecto
Ausencia de grupos de comparacin, grupos de comparacin no
equivalentes, recoleccin de datos sobre temas sensibles o de grupos
inaccesibles
Opciones para reconstruir situacin de base
Buscar y usar datos secundarios confiables, registro del proyecto,
recordacin, informantes claves, DRP (diagnstico rural participativo), AAP
(aprendizaje y accin participativos), lneas de tiempo.
Simplificar el diseo de evaluacin
Revisar el tamao de la muestra
Reducir los costos de recoleccin y anlisis de datos
Si las restricciones son polticas,
Este tipo de restricciones son, quizs, las ms complejas de asumir, porque se

podra sealar que el evaluador, segn las normas, la tica y los criterios de
evaluacin, debiera resolver.
Los comportamientos pueden ser diferentes segn se muestra a continuacin:
Adaptar el diseo de la evaluacin a las presiones de la entidad financiera y

del cliente
Responder a las preferencias metodolgicas de los interesados
Reconocer la influencia de paradigmas de la investigacin profesional
Alinearse con los estndares para la evaluacin de programas que instan a
respetar a los otros, de tal manera que los participantes no sean amenazados
o lastimados
En ocasiones, las restricciones polticas pueden ser evitadas recurriendo a la
negociacin o siendo selectivos en lo que respecta al trabajo que uno accede
a realizar.
Los evaluadores deben pensar en el bien pblico, en trminos de los grupos

interesados ms amplios y destinatarios con derecho y necesidades de saber.
Los evaluadores deben asumir que la evaluacin tendr dimensiones polticas y

mantenerse sumamente alertas durante el desarrollo del proyecto.

Idea importante
La dimensin poltica es muy importante en la evaluacin y, justamente, es la que

ms gravita en los procesos evaluativos.
Ejemplo de tabla incluye varios niveles de evaluabilidad de las dimensiones

de equidad.
Cada enfoque tiene sus propias dimensiones que se requiere evaluar previamente
con los documentos estratgicos que se dispone del proyecto. En este caso vamos
a presentar un ejemplo:
Cuadro 4.1
Determinacin de la evaluabilidad de las dimensiones de equidad de una
intervencin
Nivel de Enfoques posibles para
Evaluabilidad Caractersticas de la intervencin abordar los desafos
para la de la evaluabilidad
Equidad
La teora de cambio de la intervencin ha Asegrese de que los
tenido en consideracin las cuestiones trminos de referencia
de equidad (por ejemplo, la intervencin de la evaluacin
identific desde un inicio los problemas y aprovechen la
desafos que afectan a los grupos ms informacin ya producida
Alta
desfavorecidos, los patrones de las por la intervencin, as
inequidades y de la discriminacin en el como los mecanismos
rea donde esto ocurre, violaciones de participacin
sistemticas o contextuales de los establecidos.
derechos, etc.). Consulte con las partes
La equidad se refleja claramente en el interesadas sobre si
diseo de la intervencin (marco lgico, todava hay reas en las
Alta
indicadores, actividades, sistemas de que se necesite mejorar
MYE, mecanismos de informacin). la evaluabilidad de la
Los registros de los informes de la equidad.
ejecucin y actividad contienen Si es necesario, incluya
informacin sobre cmo se abord la mtodos y herramientas
equidad. en la evaluacin que
puedan captar los datos
Los datos se han recopilado de forma nuevos o fortalecer los
Alta desagregada (por ejemplo, por gnero, datos existentes sobre
raza, etnia, edad, etc.), que refleja la los derechos humanos y
diversidad de las partes interesadas. la equidad (por ejemplo,
informacin sobre
nuevos grupos de
personas, cambios en el
contexto, etc.
La teora del cambio de la intervencin Destaque la limitacin de

ha tenido en cuenta las cuestiones de la evaluabilidad en los
Media equidad en cierta medida, con TdR de la evaluacin.
debilidades en algunas reas de la
intervencin. En el diseo de la
La equidad se ha visto reflejada en el evaluacin, incluya las
diseo de la intervencin hasta cierto herramientas y mtodos
punto (por ejemplo, se ha intentado o se que hagan uso de los
ha mencionado, pero no se ha articulado datos existentes, pero
claramente la forma de abordar los que tambin puedan
Media temas de equidad en la prctica; se limita ayudar a generar
a slo algunas de las causas de la informacin nueva sobre
inequidad; toma en cuenta nmeros sin la equidad. Incluya
hacer frente a los cambios reales en la herramientas y mtodos
inequidad; la narrativa es clara, pero no que fortalezcan la
as el marco lgico, etc.). participacin de las
Los registros de informes de ejecucin y partes interesadas,
actividad incluyen pocos datos sobre incluidos los grupos ms
cmo se ha abordado la equidad. desfavorecidos
Las partes interesadas, incluidos los Preste atencin especial

grupos ms desfavorecidos, han a los anlisis de las
participado en la intervencin hasta cierto partes interesadas en el
punto (por ejemplo, se les ha informado o proceso de evaluacin, y
consultado, pero no han sido parte de las a quin se debera
Media
decisiones; slo se ha consultado a involucrar.
algunos grupos, etc.)
Asegrese de que se
tomen en cuenta a los
grupos que se han
quedado fuera, y cmo
podra inclurseles en
esta etapa.
Baja La teora del cambio de la intervencin Preste especial atencin

no tuvo en cuenta las dimensiones de al anlisis de partes
equidad en su diseo, ejecucin y interesadas en el
seguimiento, o la teora del cambio no proceso de evaluacin, y
existe. a quin se debera
Baja La participacin de las partes interesadas involucrar.
(especialmente los grupos ms
desfavorecidos) en el diseo, Dado que en la
implementacin y monitoreo de la intervencin no se han
intervencin ha sido mnima. tenido en cuenta las
Baja Los informes de progreso y resultados de dimensiones de equidad,
la intervencin no se refieren a los temas probablemente se haya
de equidad. dejado fuera a partes
interesadas importantes.
Fuente. Bamberger y Segone. UNICEF (2012 23 -27).

4.2 Trminos de referencia
Para asegurar la calidad de la evaluacin, es, al menos, tan importante que quienes
la realizan tengan la capacidad necesaria, como que sus futuros usuarios sepan lo
que quieren saber al encargar el trabajo.
El proceso de la evaluacin comienza con alguien que se hace preguntas que

necesitan respuestas. Esta necesidad est determinada por la manera en que la
persona que demanda la evaluacin percibe la realidad y por sus intereses en
hacer un buen trabajo para la organizacin. Uno de los criterios que determinan una
buena evaluacin es entonces si el usuario obtiene la informacin que le permitir
tomar una decisin correcta. (Carlsson, J; Khlin, G; y Ekbom, A 1994)
Podemos precisar que hay tres momentos en la decisin de iniciar una evaluacin,
que podemos describir reconociendo el ciclo de evaluacin: antes del encargo, en
el momento del encargo y despus del encargo.
Antes del encargo de la evaluacin, se registra una iniciativa de la evaluacin,

una decisin sobre la evaluacin y, probablemente, un anlisis de evaluabilidad.
Este ltimo anlisis, como veremos, no siempre ocurre.
En el momento del encargo de la evaluacin, se define el objeto de la

evaluacin, la importancia de la consulta y se preparan los trminos de referencia,
la seleccin y contratacin de equipo de evaluacin y seguimiento y control de
calidad de los productos (con base, en parte, en los TdR).
Despus del encargo, contamos la implementacin del proceso, su realizacin y el

informe de la evaluacin que debe servir para la toma de decisiones institucionales,
utilizando parcial o totalmente las conclusiones y recomendaciones del informe.
Grfico 4.1
Esquema del proceso de evaluacin
Fuente. OIT 2010
La iniciativa de la evaluacin es una funcin poltico-tcnica de los responsables del

programa o proyecto, que puede ser ejercida por diversos actores (consejo
directivo, parlamento, agencia financiadora, agencia ejecutora), interesados en
una mirada crtica de los esfuerzos realizados. Surge de un proceso previo en el
cual alguien toma la decisin de hacer una evaluacin y determina la manera en
que ser realizada la evaluacin.
La decisin de realizar una evaluacin corresponde al responsable poltico o

autoridad institucional al que colabora con el financiamiento y a la demanda de
comits o grupos independientes
En este proceso es conveniente precisar la identificacin de los consultados y la

importancia de la consulta. Respecto a la identificacin de los consultados, interesa
saber quines son los actores vinculados al programa o proyecto, cules seran los
contenidos de las consultas. Las necesidades de informacin, las preguntas
especficas y la importancia de la consulta permiten incrementar el uso potencial de
la evaluacin, mejorar los niveles de apropiacin de la evaluacin y facilitar el
seguimiento de las recomendaciones.
Los trminos de referencia
Los TdR sirven como hoja de ruta y lista de comprobacin de la calidad de la

evaluacin y son el producto principal de encargo de la evaluacin. Este documento
define las instrucciones tcnicas y prcticas para la realizacin de la evaluacin y
debe presentarse sobre las bases de un proceso de convocatoria abierta; y,
finalmente, ser el documento que se anexe al Contrato con el Consultor
seleccionado si se trata de una evaluacin externa. En caso de que la evaluacin
sea interna, debe existir esta hoja de ruta.
Para su elaboracin se puede utilizar un rbol de decisiones para determinar qu es

necesario y viable incluir en los trminos de referencia de una evaluacin.
El contenido tpico de los trminos de referencia debe incluir los aspectos

siguientes:
Introduccin sobre quien encarga la evaluacin

Descripcin del objeto de evaluacin
Justificacin y propsitos de la evaluacin (uso esperado)
Criterios de evaluacin y preguntas clave
Metodologa de evaluacin
Comunicacin de resultados de la evaluacin
Perfil del equipo de evaluacin
Autora y aspectos ticos generales
Cuestiones administrativas (incluye recursos disponibles)
Es sumamente importante comprobar la calidad de los trminos de referencia y,

para realizar esta labor, se cuenta con listas de chequeo de la calidad y se puede
recurrir a ellas para establecer si los T de R estn bien diseados.

Estructura referencial de los T de R.
A continuacin se presenta una estructura referencial de T de R que usted debe

acomodar de acuerdo a la naturaleza del proyecto y al tipo de evaluacin que se
espera se realice.
1. Contexto y objetivos del Programa

Descripcin del proyecto
Descripcin resumida del proyecto
Condiciones marco
Objetivos y resultados
Grupos meta
2. Introduccin sobre quien encarga la evaluacin
3. Actores centrales del proyecto
4. Descripcin del objeto de evaluacin
5. Objetivos de la evaluacin
Ejemplo
La evaluacin se orientar en funcin de los siguientes objetivos:
Conocer de forma organizada y analtica, las caractersticas de los procesos

realizados y los resultados alcanzados
Recuperar y comprender los contextos, sentidos, fundamentos, lgicas y
aspectos problemticos vinculados a la experiencia del proyecto ejecutado.
Identificar los facilitadores y limitadores que hicieron posible el logro de las
metas establecidas.
Recopilar las experiencias entorno a la gestin y ejecucin del proyecto, a
travs de la recuperacin de las apreciaciones y anlisis desde los actores
involucrados.
Determinar los cambios logrados y/o iniciados en los diferentes niveles de
intervencin en funcin de:
o Cambios en la vida de los nios, nias y adolescentes con discapacidad
o Cambios en las polticas y prcticas que afectan a los derechos de la
infancia con discapacidad
o Cambios en la participacin y ciudadana activa de los nios y jvenes
o Cambios en la participacin y ciudadana activa de los padres, madres y
familiares de nios/as con alguna discapacidad.
o Cambios en cuanto a igualdad y no discriminacin.
o Cambios en la sociedad civil para apoyar los derechos de la infancia con
discapacidad.
La evaluacin se realizar bajo las orientaciones de los componentes de la

Convencin de los Derechos del Nio, los mismos que sern considerados como
ejes transversales, como son: No Discriminacin, Inters superior, Supervivencia y
Desarrollo, Participacin
6. Justificacin y propsitos de la evaluacin (uso esperado).

Por qu se hace la evaluacin?
A quin servir?
7. Enfoque de evaluacin
Teora de cambio
Qu enfoque utilizar para hacer la evaluacin?
Describa que enfoque utilizar
8. Criterios de evaluacin y preguntas clave
Pertinencia. Trate de ser precisa en sealar la aplicacin de la pertinencia

para los problemas centrales del grupo meta, para los objetivos de la
institucin financiadora, para los objetivos de la entidad ejecutora y del pas
contraparte y otros aspectos.
Desarrolle el conjunto de preguntas que servirn de gua a la evaluacin.
Eficiencia, cmo se espera que se aborde? Por ejemplo, relacin costo

beneficio del proyecto, relacin costo beneficio de las diferentes medidas,
calidad del sistema de M&E interno del proyecto, otros aspectos.
Eficacia es el grado de cumplimiento de los objetivos propuestos en la

intervencin.
Efectos e impactos cmo se espera que se aborde?
Sostenibilidad, cmo se espera que se aborde? Por ejemplo: sostenibilidad

econmica-financiera / seguridad alimentaria y nutricional, sostenibilidad
socio-cultural, establecimiento de estructuras, sostenibilidad ecolgica, otros
aspectos.
Desarrolle el conjunto de preguntas que servirn de gua a la evaluacin.
Preguntas orientadoras: Precisar las preguntas.
9. Tipo y Metodologa de evaluacin. Qu tipo de evaluacin realizar? Qu

metodologa? Se precisara algunos elementos a tomar en cuenta en el diseo
de la metodologa.
10. Recomendaciones y conclusiones globales. Precise la forma en que se

requiere sean presentados estos puntos. Ejemplo:
Conclusiones especficas con relacin al proyecto
Recomendaciones
Conclusiones globales (incluyendo lecciones aprendidas y buenas
prcticas)
11. Comunicacin de resultados de la evaluacin. Se precisar cmo se espera

que sea trabajado este punto.

12. Perfil del equipo de evaluacin.
Definir si ser un solo evaluador o un equipo.
Ejemplo.
Experiencia probada en evaluacin de proyectos de desarrollo rural,
preferentemente de alta montaa en los ltimos 5 aos.
Formacin y especializacin del Equipo Evaluador (E.E). Preferentemente el

equipo evaluador debe estar conformado por:
Ingeniero agropecuario experto en desarrollo ganadero y agroecologa,

manejo de cultivos andinos, desarrollo de tecnologas participativas de
produccin y manejo del enfoque de gnero.
Socilogo/a o Trabajadora Social, Economista o Antroplogo/a con
experiencia en evaluacin de tecnologas participativas de produccin,
recursos naturales y desarrollo de cultivos andinos con enfoque
agroecolgico y manejo del enfoque de gnero.
Proporcin equitativa de hombres y mujeres
13. Cronograma e Itinerario del proceso evaluativo
14. Autora y aspectos ticos generales
15. Cuestiones administrativas
16. Anexos (Se precisarn los anexos que se esperan sean incorporados en el
Informe Final. Ejemplo:
Matriz de planificacin del proyecto

Fuentes (personas contactadas, documentos, investigaciones, etc.)
Acta de la reunin final
Mapas y otros
Ejemplo desarrollado de trminos de referencia
EVALUACIN INTERMEDIA EXTERNA
PROYECTO: Intervencin comunitaria en mujeres afectadas por la violencia

intrafamiliar en el distrito de Laguna Azul, Provincia de Prncipe, Departamento de
Cordillera Azul 3 "
1. Contexto y objetivos del Programa
Descripcin resumida del proyecto
3
Los datos presentados se han adaptado para el presente caso.
El mbito de accin del proyecto se encuentra en el Distrito de Laguna Azul ubicado

a 82 km al Noroeste de Cordillera Azul, Provincia de Prncipe y Departamento de
Cordillera Azul. En el mapa de pobreza del Ministerio de Economa y Finanzas del
Per, est declarado oficialmente Laguna Azul como el Distrito ms pobre del Per,
donde se comprueba que la extrema pobreza reina en sus ms de 6,000
habitantes.
El proyecto presenta como problema central la violencia familiar, a partir del anlisis
problema que fue elegido a travs de la elaboracin de diagnsticos participativos
en la zona de intervencin. Este es un problema de salud pblica, que
generalmente no se expresa adecuadamente en los registros estadsticos
institucionales.
Si bien en la etapa de elaboracin del Diagnstico del Proyecto no se cont con

informacin especfica de la violencia familiar en el distrito de intervencin, las cifras
que luego se han recogido a nivel de la regin indican la alta prevalencia de la
violencia familiar en la zona, segn "La Encuesta Demogrfica y de Salud Familiar -
ENDES 2000", se precisa que en el Departamento el 29% de las mujeres en unin
conyugal sufren violencia fsica por parte del esposo o compaero, siendo en
general esta violencia contra las esposa o compaera mayor entre las que
estuvieron casadas o unidas (53%) y en las que viven en reas urbanas (42%), y en
las de 35 aos a ms de edad y de niveles educativos de primaria a menos.
Igualmente en la ENDES 2000, se precisa que aparte del cnyuge los principales
agresores son el padre (45%) o la madre (39%). El Programa de Salud Mental de la
Regin Salud en el ao 2000 registr en un primer nivel de atencin un total de
4526 personas por motivos asociados a violencia familiar, a una tasa de 10.5 x
1000, y al ao 2001 hubo un incremento a 5,802 a una tasa de 11.14 x 1000, que
igualmente fueron atendidas en los diferentes establecimientos del Ministerio de
Salud; en ese mismo ao el servicio de Psicologa del Hospital Departamental
atiende un promedio de 08 casos semanales directamente asociados a violencia
familiar.
Los Centros de Emergencia Mujer atendieron en el ao 2011 un total de 722 casos

por situaciones de violencia familiar y sexual siendo los cuales 97 hombres y 625
mujeres; El 41.6% de casos atendidos corresponde a vctimas de violencia
psicolgica; el 42.5% a vctimas de violencia fsica y un restante 15.9% a vctimas
de violencia sexual.
En promedio, los 5 Centros Emergencia Mujer ubicados en este departamento

atienden 3 casos al da por situaciones de violencia familiar o sexual.
Cabe mencionar que el proyecto se enmarca dentro del Plan Regional de Igualdad
de Oportunidades de Cordillera Azul entre mujeres y varones 2011-2016 (PRIO
Cordillera Azul) y dentro del Plan Regional contra la violencia hacia la Mujer 2012-
2016.
La violencia familiar, es resultado de expresiones de machismo, de abuso de poder,

de desigualdad de trato hacia los hombres y las mujeres, patrones culturales de
discriminacin que afecta no solo la vida personal y familiar sino que tambin el
desarrollo comunal y distrital. Es por ello, que SISSE consider esta problemtica
como un aspecto fundamental de intervencin por el proyecto.

De acuerdo con la realidad encontrada en el mbito de intervencin, el proyecto

presenta como propsito principal: que las mujeres del distrito de Laguna Azul
fortalezcan sus capacidades personales y colectivas para el ejercicio de sus
derechos y una vida libre de violencia.
Criterios de la Evaluacin
Pertinencia: la pertinencia medir la correspondencia entre la prioridad de los

objetivos del proyecto y las prioridades de los beneficiarios/as. Es decir, la medida
en que los objetivos del proyecto continan siendo vlidos y de inters en la forma
inicialmente prevista. As mismo, la pertinencia medir la correspondencia con las
polticas pblicas en torno a la temtica del proyecto.
Eficacia: la eficacia medir el grado o nivel de logro de la Meta y Resultados en la

poblacin beneficiaria hasta la fecha de evaluacin intermedia. Es decir medir lo
alcanzado por el proyecto (lo previsto vs lo logrado) hasta la fecha de la evaluacin.
Eficiencia: la eficiencia medir el logro de los resultados en relacin con los

recursos econmicos, tcnicos y humanos utilizados durante este tiempo de
ejecucin del proyecto.
Impacto: son los efectos del proyecto sobre la poblacin en funcin de los objetivos
de desarrollo o metas de largo plazo (Fin). En la presente evaluacin se medir en
qu medida el proyecto est encaminando sus actividades, resultados y propsito
para el logro del impacto final.
Sostenibilidad: la evaluacin medir las estrategias del proyecto para que los
resultados del proyecto derivados de la intervencin continen una vez que el
proyecto se haya retirado.
Cabe mencionar que en los criterios de evaluacin se considerar cmo el proyecto

est enfatizando el enfoque de gnero en sus actividades, resultados, propsito y
por ende en el impacto esperado.
Productos entregables
Plan de Trabajo de la evaluacin
Elaboracin de instrumentos de evaluacin
Documento preliminar de la Evaluacin
Documento Final de la Evaluacin
Objetivos y resultados.
Propsito del Proyecto:

Fortalecer las capacidades personales y colectivas de las mujeres del distrito de
Laguna Azul para el ejercicio de sus derechos y de una vida libre de violencia.
Resultado 1: mujeres de los distritos de intervencin fortalecen sus

capacidades para ejercer sus derechos, enfrentar la violencia y revertir sus
factores de riesgo y vulnerabilidad.
Resultado 2: organizaciones de mujeres fortalecidas, promueven liderazgos

para desarrollar vigilancia social e impulsar condiciones sociales para el
ejercicio de una vida sin violencia.
Resultado 3: comunicadores/as sociales y mujeres lderes difunden el
derecho a una vida libre de violencia.
Grupos meta
Las mujeres del distrito de Laguna Azul, Provincia de Prncipe- Regin Cordillera
Azul que actualmente sufren violencia familiar y sexual legitimada por los patrones
culturales discriminatorios de gnero existentes en la zona.
Introduccin sobre quin encarga la evaluacin.
SISSE es una organizacin sin fines de lucro que aspira a un mundo inclusivo que
garantice una vida digna y plena a mujeres y hombres, en una sociedad
democrtica y presenta como misin: Contribuir al empoderamiento, autonoma y
ejercicio de los derechos de las mujeres en concordancia con el respeto de los
Derechos Humanos.
Con fecha 01 de marzo de 2010, SISSE suscribi un Convenio de Financiamiento

no Reembolsable con la Cooperacin Tcnica Belga para la implementacin del
proyecto Intervencin comunitaria en mujeres afectadas por la violencia
intrafamiliar en el distrito de Laguna Azul, Provincia de Prncipe, Departamento de
Cordillera Azul.
El equipo de SISSE est conformado por:

01 Directora Ejecutiva
01 Gerente de Proyectos
01 comunicadora
01 especialista de Incidencia
01 especialista de Gnero.
01 administrador general
01 secretaria
04 Coordinadores de Proyectos
Actualmente el equipo del proyecto est conformado por:

Una Coordinadora del Proyecto.
Una Coordinadora Distrital
Tres responsables por cada Resultado.
Una administradora-contable del proyecto.
Una asistente logstica.
Un chofer
Actores centrales del proyecto:
Mujeres lideresas de organizaciones del distrito de Laguna Azul Provincia de

Prncipe Regin Cordillera Azul para potenciar su participacin a nivel local,
reforzando su rol como promotores de derechos de las mujeres y con

capacidad para enfrentar la violencia intrafamiliar y hacer vigilancia social al

respecto.
Hombres integrantes de las familias de las mujeres que conservan patrones
culturales que legitiman la violencia intrafamiliar y sexual para mostrarles los
efectos nocivos de la violencia e iniciar un proceso de autorreflexin que les
haga tomar conciencia sobre la necesidad de revertirlos.
Autoridades y funcionarios a nivel regional, local y comunal del Gobierno
Regional de Apurmac y de la municipalidad de Laguna Azul Provincia de
Prncipe Regin Cordillera Azul y Autoridades de las Comunidades
Campesinas.
Periodistas y comunicadores sociales quienes juegan un rol de importancia:
de formadores de opinin para influir a nivel comunal a favor de los derechos
y en el reconocimiento del impacto positivo de una vida armoniosa en el
desarrollo de las comunidades.
Equipo del Proyecto.
Representantes de instituciones pblicas y privadas responsables de las
instituciones encargadas de la lucha contra la violencia.
Descripcin del objeto de evaluacin
Realizar la Evaluacin Externa Intermedia del proyecto Intervencin comunitaria en

mujeres afectadas por la violencia intrafamiliar en el distrito de Laguna Azul,
Provincia de Prncipe, Departamento de Cordillera Azul", que se encuentra en
curso. La evaluacin de las actividades, las metas y el impacto del proyecto
permitir gestionar mejor el proyecto para el logro del objetivo y resultados
propuestos.
Objetivos de la evaluacin.
Evaluar el avance logrado hacia el cumplimiento del propsito y los resultados

del proyecto.
Examinar la validez, relevancia, pertinencia y capacidad de respuesta del
proyecto, en trminos de satisfaccin de demandas y necesidades de
atencin del problema de violencia contra las mujeres, as como de
potenciacin de capacidades y habilidades de los actores involucrados.
Examinar y valorar la eficacia del proyecto identificando los logros y
resultados, tanto los previstos como los no previstos, mediante el anlisis y la
comparacin sistemtica de lo programado y lo ejecutado.
Examinar y valorar la eficiencia del proyecto mediante la revisin de aspectos
especficos de la gestin y de la consistencia entre los logros y resultados
obtenidos (gestin programtica) y la ejecucin presupuestal (gestin
operativa).
Establecer indicios de sostenibilidad que permitan a las personas, familias y
comunidades mantener y multiplicar los procesos de transformacin
generados por el proyecto.
Identificar las buenas prcticas, conclusiones y recomendaciones a tener en

cuenta y guiar a los encargados de la toma de decisiones en implementar o
continuar implementando o no acciones que son de xito para el proyecto.
Justificacin y propsitos de la evaluacin (uso esperado).
La finalidad de la evaluacin intermedia externa al proyecto Intervencin

comunitaria en mujeres afectadas por la violencia intrafamiliar en el distrito de
Laguna Azul, Provincia de Prncipe, Departamento de Cordillera Azul ", es conocer
el curso del proyecto e identificar aspectos crticos y claves para una mejor
administracin y direccionamiento del mismo para la obtencin de resultados segn
el cronograma establecido.
La informacin servir para la toma de decisiones del gerente del proyecto y jefes
de reas de la entidad ejecutora, as como para los representantes de la entidad
financiadora.
Enfoque de evaluacin.
A continuacin, se presenta los enfoques que se consideraron pertinentes para la

presente evaluacin intermedia externa del proyecto:
Enfoque participativo
Una evaluacin participativa supone dos cosas: primero, que el proceso involucre a
los ejecutores y actores de la propuesta; y, segundo, que este compromiso vaya
ms all del rol de informantes para pasar al de actores que brindan informacin y
toman decisiones utilizando los resultados obtenidos. La presente evaluacin es de
carcter participativo porque ha considerado los puntos de vista de los y las
involucrados(as). En este sentido, se ha considerado la experiencia y aportes de los
diferentes actores estratgicos involucrados: incluyendo al equipo ejecutivo y
directivo del proyecto, al equipo local, a los lderes, a los representantes y a los
promotores de organizaciones comunitarias, beneficiarios/as del proyecto, as como
a las autoridades locales, entre otros.
Enfoque de aprendizaje
La evaluacin intermedia es considerada como un proceso de aprendizaje, en la

medida que los resultados de la evaluacin promovern el anlisis, la reflexin de
los avances del proyecto en trminos de pertinencia, eficiencia, eficacia,
sostenibilidad e impacto, a la vez que los ejecutores del proyecto se hacen ms
conscientes de su realidad, sus posibilidades y sus perspectivas a futuro y puedan
tomar decisiones sobre los resultados obtenidos como proyecto actualmente frente
a los objetivos y resultados que esperan alcanzar. En este sentido, se ha tenido en
cuenta que toda evaluacin produce dos tipos de resultados: los hallazgos mismos
y los aprendizajes individuales y colectivos que se generan por el hecho de
participar en un procesos de reflexin. Como es lgico deducir, el uso real de los
resultados implica flexibilidad en la implementacin de las acciones necesarias para
que el proyecto y los actores incorporen las recomendaciones, difundan los
aprendizajes e institucionalicen los cambios.

Criterios de evaluacin y preguntas clave
Se presenta un conjunto de preguntas que debern ser ajustadas segn el inters

de la evaluacin. Se recomienda que el nmero de preguntas no sea demasiado
largo, por cada criterio habra que seleccionar un promedio de tres, respetando el
enfoque asumido.
Pertinencia:
Los objetivos del proyecto concuerdan con la misin y la visin institucional
de la entidad ejecutora?
El diseo de intervencin del proyecto es el adecuado para lograr los
objetivos especficos previstos para los grupos y poblacin destinataria:
Mujeres del distrito de Laguna Azul, Provincia de Prncipe- Regin Cordillera
Azul que actualmente sufren violencia familiar y sexual legitimada por los
patrones culturales discriminatorios de gnero existentes en la zona?
Las estrategias, metodologas y actividades realizadas han sido las ms
acertadas para alcanzar los objetivos y resultados del proyecto?
El proyecto se mantiene relevante considerando los cambios de contexto
poltico, econmico y social de la zona de intervencin?
El proyecto se mantiene relevante en relacin con las polticas pblicas
nacionales?
Los indicadores de resultados son adecuados, suficientes, sensibles al
gnero y la interculturalidad?
Qu factores internos y externos han ejercido influencia en la habilidad o
posibilidad de los grupos beneficiarios para lograr tanto los objetivos como los
resultados proyectados?
Qu otros aspectos hubiera sido importantes considerar para que el
Proyecto logre los objetivos y resultados?
Eficiencia:
Los recursos humanos y financieros han sido suficientes para la realizacin
de actividades y para alcanzar los resultados esperados?
Los objetivos prefijados son alcanzables con los recursos considerados en el
proyecto?
El proyecto ha utilizado los recursos (humanos y financieros) en la manera
ms responsable para alcanzar sus objetivos?
Existen mecanismos de rendicin de cuentas internas y externas?
Los resultados obtenidos justifican los medios y recursos utilizados?
Ha existido la suficiente y adecuada coordinacin con los actores
involucrados para el logro de los objetivos?
Ha sido eficiente la transformacin de los recursos en los resultados?
En qu medida la colaboracin institucional y los mecanismos de gestin
articulados han contribuido a alcanzar los resultados de la intervencin?
Los desembolsos y gastos del proyecto estn en lnea con el plan

presupuestario?
Eficacia:
En qu medida las lneas de intervencin que se han trabajado con el
proyecto responden a las necesidades de transformacin de vida de las
mujeres, familias y las comunidades?
Los resultados alcanzados responden a los Objetivos Propuestos?
Qu resultados no previstos se alcanzaron o se vienen alcanzando?
En qu medida las actividades realizadas a las personas involucradas en el
proyecto responde a las caractersticas, necesidades e intereses de las
personas destinatarias?
Se han alcanzado los resultados previstos a la fecha considerando el
cumplimiento de metas programadas dentro del tiempo esperado y con la
calidad esperada?
Se est contribuyendo a alcanzar el objetivo especfico de la intervencin?
Cules fueron los obstculos internos y externos en la implementacin del
Proyecto a la fecha?
Efectos e impactos:
En qu medida viene contribuyendo el proyecto a transformar la vida de las
mujeres, sus familias y comunidades?
Qu grado de satisfaccin tienen los usuarios con los servicios entregados?
Cmo lo valoran las personas el proyecto en desarrollo?
Se han producido a la fecha efectos negativos no previstos sobre los y las
beneficiarios/as?
Sostenibilidad:
Las soluciones abordadas para el proyecto, son sostenibles ms all de los
lmites temporales del mismo?
Qu componentes o actividades estratgicas tienen aseguradas la viabilidad
del proyecto al concluir el mismo?
Se ha realizado un correcto estudio de cuales componentes podran
presentar problemas de sostenibilidad?
Qu grado de motivacin tienen autoridades y funcionarios para destinar
recursos para mantener los efectos positivos del Proyecto?
Cul es la actitud general de las autoridades y de la poblacin involucrada
(hostil, neutra o favorable) y cmo influye en la sostenibilidad del Proyecto?
(se deber tener en cuenta tanto las prioridades polticas y planes de cada
institucin, as como la implicacin y compromiso con el Proyecto de cada
institucin, y las percepciones de la poblacin sobre la continuidad del
Proyecto).
Cmo afectan los factores socio-polticos en la sostenibilidad del proyecto?
La poblacin beneficiaria cuenta con la capacidad suficiente para apropiarse
y mantener los resultados que se plantea obtener con el proyecto?

Tipo y Metodologa de evaluacin.
Se trata de una evaluacin intermedia externa, de carcter eminentemente

formativo con elementos sumativos, de resultados y de procesos, de tipo cualitativo
y cuantitativo.
Tcnicas
Las tcnicas y herramientas para la recogida y el anlisis de los datos sern
diseadas por el equipo evaluador. Se valorar positivamente el uso tanto de
tcnicas cualitativas como cuantitativas, especialmente el uso de tcnicas
participativas que permitan la adecuada intervencin de la mujer en los espacios de
la intervencin del proyecto.
Plan de trabajo
El equipo evaluador deber presentar en su propuesta un plan de trabajo que

contemple, como mnimo, las siguientes fases dentro del tiempo establecido de la
evaluacin: 60 (sesenta) das calendario (cabe mencionar que esta propuesta podr
ser adaptada o modificada en funcin de las propuestas concretas ofertadas por
los/as consultores/as).
1. Planificacin: se definirn los detalles de la evaluacin con el equipo tcnico

responsable del proyecto para precisar los resultados y productos esperados
(Plan de trabajo).
2. Revisin y organizacin de la informacin: anlisis de la documentacin del
proyecto; programacin detallada de actividades, elaboracin de una matriz
de evaluacin y preparacin del trabajo de campo (agenda y herramientas).
3. Diseo de instrumentos para levantamiento de informacin: construccin y
validacin de instrumentos propuestos para la recogida de datos. Cabe
precisar que los instrumentos deben estar contextualizados al entorno del
proyecto.
4. Trabajo de campo: levantamiento de informacin; la evaluacin deber
producir informacin de calidad demostrable, necesaria para cubrir las
necesidades de informacin detectadas y valorar los componentes y factores
mencionados en los objetivos de la evaluacin.
5. Procesamiento y anlisis de la informacin: el anlisis relacionar los
aspectos cuantitativos y cualitativos de la informacin recopilada, buscando
confluencias o divergencias significativas, con el fin de identificar los factores
internos y externos que apoyan u obstaculizan el Proyecto. La orientacin
temtica del anlisis estar establecida en funcin de la indagacin acerca del
propsito, resultados y actividades del proyecto.
6. Elaboracin del informe de evaluacin: deber contener las evidencias
reveladas en relacin con las preguntas de evaluacin enunciadas y las
interpretaciones formuladas sobre dicha evidencia. Se presentar un borrador
preliminar que servir de base para la discusin con los gestores de la
evaluacin y contrapartes locales.
Asimismo, durante el tiempo de ejecucin de la consultora habr una coordinacin

permanente entre el equipo consultor y el equipo de gestin del proyecto para la
implementacin de las fases propuestas.
Recomendaciones y conclusiones globales
Conclusiones de la evaluacin: se deber presentar en relacin con los

criterios de evaluacin establecidos.
Recomendaciones: derivadas de la evaluacin deben orientarse a la mejora
de la intervencin evaluada a travs de indicaciones especficas que mejoren
el diseo, procedimientos de gestin, resultados e impactos de las
actuaciones.
Las lecciones aprendidas: desprendidas de las conclusiones generales,
indicar buenas prcticas que puedan ser extrapoladas y que retroalimenten
las acciones del proyecto.
Comunicacin de resultados de la evaluacin
La evaluacin apunta a fomentar el aprendizaje, la rendicin de cuentas y la

utilizacin de la evaluacin, una vez aprobado el informe final se har una
presentacin a los principales actores de la evaluacin de los resultados de la
misma, sus recomendaciones y lecciones aprendidas.
Asimismo, para asegurar la calidad de los productos y del proceso de evaluacin en

general, se considera que todos los productos de cada fase requerirn el visto
bueno del equipo del proyecto antes de dar por finalizada una fase y proceder a la
siguiente. En caso de no alcanzarse los estndares aceptables de calidad, el
equipo evaluador deber hacer las correcciones levantadas hasta la aprobacin de
los productos.
El tiempo estimado para cada fase deber guardar coherencia con los objetivos
perseguidos, el presupuesto disponible y estar en su integridad dentro del plazo
establecido para la evaluacin.
Perfil del equipo de evaluacin
Formacin y especializacin del equipo evaluador (E.E). Preferentemente el equipo

evaluador debe estar conformado por:
Trabajadora Social:
Con experiencia en procesos de diagnsticos, Lneas de Base, evaluaciones,
estudios y/o investigaciones relacionados a las temticas de violencia familiar,
violencia de gnero, tanto en el sector pblico como el privado, no menor de
tres aos.
Con experiencia mnima de 5 aos en la planificacin, programacin, gestin
y evaluacin de proyectos y/o programas de cooperacin al desarrollo.
Con experiencia mnima de 3 aos en el manejo de herramientas
metodolgicas para la recopilacin y anlisis de informacin cualitativa y
cuantitativa.

Con manejo de enfoques de derechos, gnero e interculturalidad.
Mdico:
Con experiencia mnima de 2 aos en evaluacin de programas y proyectos
sociales
Formacin y conocimientos en enfoque de gnero
Experiencia en el manejo de herramientas metodolgicas para la recopilacin
y anlisis de informacin cualitativa y cuantitativa.
Psiclogo
Con experiencia demostrada de al menos tres aos en evaluacin de
proyectos de desarrollo y conocimientos slidos en metodologas de
evaluacin.
Con experiencia demostrada en proyectos con enfoque de derechos, gnero,
interculturalidad y uso de tcnicas de participacin.
Con experiencia en trabajo (evaluacin y/o ejecucin) en organizaciones
sociales, redes y movimientos sociales.
Cronograma e Itinerario del proceso evaluativo.

El tiempo de duracin de la consultora son 60 das calendario a partir de la firma
del contrato.
Cuadro 4.2
N Actividad Tiempos
Entrega del Plan de Trabajo A los 5 primeros das despus de la firma
1
de la evaluacin del contrato
Revisin documentaria sobre Por el perodo de una semana (despus de
2
el proyecto la entrega del Plan de Trabajo)
Diseo de instrumentos de A los 7 das despus de la entrega del Plan
3
levantamiento de informacin del Trabajo
Por un perodo de 03 semanas despus de
4 Trabajo de campo la entrega de instrumentos de
levantamiento de informacin
Entrega del Informe
5 A los 12 das despus del trabajo de campo
preliminar de Evaluacin
Presentacin en PowerPoint
con los representantes y A los 5 das despus de la entrega del
6
equipo de SISSE para recibir informe preliminar
aportes y comentarios
Entrega de Informe final de A los 03 das despus de la presentacin
7
Evaluacin con los representantes y equipo de SISSE
Todos los documentos sern entregados en CD y en forma impresa (02 copias).

Asimismo, todos los documentos procesados y/o elaborados por el equipo consultor
sern revisados y aprobados por el equipo tcnico de SISSE.
Autora y aspectos ticos generales
El trabajo de evaluacin deber regirse por las siguientes premisas bsicas de

comportamiento tico y profesional siendo imprescindible su aplicacin por todas
las personas integrantes del equipo evaluador o por la persona evaluadora:
Anonimato y confidencialidad. La evaluacin debe respetar el derecho de las

personas a proporcionar informacin y asegurar su anonimato y
confidencialidad.
Responsabilidad. Cualquier desacuerdo o diferencia de opinin que pudiera
surgir entre los miembros del equipo o entre stos y los responsables del
proyecto en relacin con las conclusiones y/o recomendaciones, debe ser
mencionada en el informe. Cualquier afirmacin debe ser sostenida por el
equipo o dejar constancia del desacuerdo sobre ella.
Integridad. Los evaluadores tendrn la responsabilidad de poner de
manifiesto cuestiones no mencionadas especficamente en los Trminos de
Referencia, si ello fuera necesario para obtener un anlisis ms completo de
la intervencin.
Independencia. El equipo evaluador deber garantizar su independencia de la
intervencin evaluada, no estando vinculado con su gestin o con cualquier
elemento que la compone.
Incidencias. En el supuesto de la aparicin de problemas durante la
realizacin del trabajo de campo o en cualquier otra fase de la evaluacin,
estos debern ser comunicados inmediatamente al Equipo del Proyecto. De
no ser as, la existencia de dichos problemas en ningn caso podr ser
utilizada para justificar la no obtencin de los resultados establecidos.
Convalidacin de la informacin. Corresponde al equipo evaluador garantizar
la veracidad de la informacin recopilada para la elaboracin de los informes,
y en ltima instancia ser responsable de la informacin presentada en el
Informe de evaluacin.
Entrega de los Informes. En caso de retraso en la entrega de los informes o
en el supuesto en que la calidad de los informes entregados sea
manifiestamente inferior a lo pactado, sern aplicables las penalizaciones
previstas en el contrato firmado entre la institucin y el equipo consultor de la
evaluacin.
Cuestiones administrativas
Presentacin, propuestas y criterios de valoracin

La seleccin del equipo evaluador se realizar en dos fases:
Fase 1: Recepcin de propuestas del equipo evaluador.

Las propuestas debern incluir una breve presentacin del equipo evaluador en la
que se muestre la experiencia en realizacin de evaluaciones y en cooperacin al
desarrollo as como el conocimiento demostrado de los contextos de intervencin,
junto con los C.V. detallados de cada uno de los integrantes del equipo. La

experiencia previa de trabajo conjunto como equipo tambin deber resaltarse. La

puntuacin obtenida supondr un 40% de la valoracin total.
Nota: se acudir con preferencia a los profesionales, empresas y particulares

locales.
Fase 2: Seleccin equipo evaluador

Se contactar con los equipos preseleccionados para que presenten una propuesta
tcnica y econmica en un plazo de dos semanas tras la comunicacin de la
preseleccin. Estas propuestas debern contener:
a) Propuesta tcnica: principales preguntas de evaluacin, propuesta

metodolgica, productos a entregar y calendario detallado de trabajo, en el
que se incluirn plazos para la aprobacin de los productos intermedios por
parte del equipo consultor de la evaluacin. La puntuacin obtenida supondr
un 35% de la valoracin total.
b) Propuesta econmica, con presupuesto detallado. Se valorar positivamente:

su claridad, su ajuste al presupuesto disponible y su coherencia con el plan
de trabajo propuesto. La puntuacin obtenida supondr un 25% de la
valoracin total.
Los/las solicitantes presentarn las propuestas (econmica y tcnica) acompaadas

de una carta de presentacin y de una copia del DNI o Pasaporte. Podrn
presentarse por correo electrnico, pero solo se considerarn recibidas tras la
recepcin por parte de la institucin solicitante del correspondiente, acompaado de
su nmero de RUC del Equipo Consultor o Consultor Principal.
Plazos y envo de propuestas
El plazo para la recepcin de las propuestas de equipos evaluadores (fase 1 del

proceso de seleccin) termina el 16 de octubre de 2013 a las 6:00 p. m.
Durante los siguientes das se contactar con los equipos candidatos que hayan
sido seleccionados y se les solicitar una propuesta tcnica y econmica, que
deber enviarse hasta 22 de octubre de 2013 a las 6:00 p. m.
Tanto las candidaturas de equipos (fase 1) y propuestas tcnicas y econmicas

(fase 2) debern enviarse electrnicamente, en idioma castellano, a las siguientes
direcciones de correo electrnico: evaluacion@SISSE.org, acuba@SISSE.org
Duracin de la consultora
El plazo ser de 60 das luego de la firma del contrato de servicios.
Informacin y servicios proporcionados por la ONG SISSE para efectos de la

Evaluacin:
Nombres, referencias y contactos del personal de SISSE con quienes se debe
coordinar.
Brindar informacin secundaria sobre documentacin de SISSE en el
proyecto.
Nombres, referencias y contactos de actores claves de los participantes

(titulares).
mbito de la consultora
La consultora se desarrollar en el mbito del distrito de Laguna Azul, Provincia de

Prncipe, Departamento de Cordillera Azul.
Forma de pago
La prestacin de servicios profesionales es independiente y por honorarios, no
admite reconocimiento de ningn tipo de beneficio social o previsional. El pago de la
consultora se realizar previa entrega y aprobacin de los productos presentados,
tal como se seala a continuacin:
Cuadro 4.3
PAGOS PRODUCTOS %
Entrega del Primer Producto: Plan de trabajo con
1 cronograma detallado. Metodologa para el desarrollo 20%
de la consultora.
Entrega de Segundo producto: Informe parcial de los
2 20%
avances, validacin de la propuesta metodolgica.
Entrega de Tercer Producto: Informe final del
desarrollo de la Evaluacin. Presentacin en virtual y
3 fsico, conclusiones y recomendaciones, includos los 60%
comentarios, observaciones y anexos. Versin
completa del informe y presentacin oficial.
TOTAL 100 %
Anexos
Matriz de planificacin del proyecto

Fuentes (personas contactadas, documentos, investigaciones, etc.)
Acta de la reunin final
Mapas
Otros
Una lista de comprobacin sobre la calidad de los trminos de referencia remite a

los siguientes interrogantes:
Describen los T de R adecuadamente las expectativas y justificacin de la

evaluacin?
Describen los T de R la organizacin y procedimientos esperados de
evaluacin?
Comunican las expectativas de quien encarga la evaluacin sobre la
participacin de los actores implicados?
Incluyen preguntas relevantes, especficas sobre el objeto a ser evaluado?
Determinan las cualificaciones esperadas del equipo evaluador?

Establecen lineamientos claros para la comunicacin de los resultados de la

evaluacin?
Finalmente, es necesario considerar otro tipo de restricciones en los procesos de

evaluacin como los que se aplican en contextos humanitarios y posconflicto a fin
de proporcionar, al personal que la ejecuta, la posibilidad de analizar si la respuesta
inicial o la recuperacin son adecuadas en lo que respecta al proceso y los
resultados deseados. A menudo, se emprenden evaluaciones en tiempo real en las
primeras fases de una iniciativa para dar a los gerentes una retroalimentacin
oportuna que influya inmediatamente en la iniciativa. Tambin pueden ser utilizadas
en escenarios de crisis en los que puede haber restricciones para realizar
evaluaciones ms largas.
Estas restricciones pueden incluir la ausencia de datos bsicos, esfuerzos limitados

para recabar datos debido a una rotacin rpida de los miembros del personal (por
ejemplo, carencia de memoria institucional) y dificultad para realizar entrevistas y
encuestas por problemas de seguridad (PNUD 2009: 136).
Diseo de una evaluacin. La elaboracin del

TEMA 5
Plan de Evaluacin
Para disear una evaluacin, contamos generalmente con el uso de trminos de

referencia, y el material o documentos estratgicos del proyecto o programa, estos son el
proyecto, su presupuesto, los informes peridicos, en algunos casos una lnea de base y
el sistema de monitoreo. Tambin puede haber otro tipo de informacin complementaria.
Con toda esta documentacin se prepara el Plan de Evaluacin o la hoja de ruta del
proceso de evaluacin.
5.1 Los pasos claves del Plan de Evaluacin
Para estructurar el Plan de evaluacin se debe disear varios pasos que permitan
llegar a orientar correctamente el esfuerzo de analizar y de comparar los logros e
impactos conseguidos.
a. Definir el propsito y alcance de la evaluacin
Una enunciacin clara del propsito y alcance de la evaluacin y los

principales aspectos o elementos de la iniciativa que deben examinar
responde a preguntas como las siguientes:
Por qu se realiza la evaluacin y por qu en ese momento preciso?

Quin usar la informacin?
Qu informacin se necesita?
Cmo ser utilizada la informacin?
El alcance especfica aquellos aspectos de la iniciativa evaluativa y el

contexto que estn dentro de los lmites de la evaluacin.
El alcance define la unidad de anlisis que cubrir la evaluacin y que puede

ser un sistema de programas, polticas o estrategias relacionadas, un simple
programa que incluya un grupo de proyectos, un simple proyecto, o un
componente o proceso dentro del proyecto, el periodo o la fase o fases de la
ejecucin que cubrir la evaluacin.
Responde a preguntas como:
Cul es el alcance de la iniciativa en trminos de lmites geogrficos y

nmero de beneficiarios buscados?
Un primer paso esencial de la preparacin para una evaluacin es establecer

claramente las prioridades y necesidades de informacin del cliente (la
organizacin u organizaciones que encargan la evaluacin) as como de los

otros interesados (las personas interesadas en o afectadas por el proyecto).

El plazo, la focalizacin y el nivel de detalle de la evaluacin dependern de
las necesidades de informacin del cliente y de los tipos de decisiones a los
que ha de contribuir la evaluacin.
El alcance tambin define el enfoque y el modelo terico del programa
Todos los programas se basan en un conjunto de supuestos e hiptesis

respecto de la forma en que las intervenciones del proyecto deberan llevar a
los efectos directos deseados.
Hay oportunidades en que dichos supuestos estn explcitos en la

documentacin del proyecto y ocasiones en que no lo estn, y el evaluador(a)
tiene que ayudar a los interesados a formular la hiptesis a travs de un
marco lgico.
Esta parte est vinculada a la teora del cambio, que constituye las hiptesis
de accin del proyecto y que debe ser explicitada totalmente. A veces, no son
suficientes los documentos de la institucin y, por ello, ser necesario recurrir
a entrevistas a profundidad de los directivos de las instituciones o de aquellos
actores que inspiraron el proyecto. Se trata, entonces, de profundizar la
cadena de resultados y explicitar los supuestos e hiptesis de la teora de
cambio implcita.
b. Definir el Objetivo de la evaluacin
El objetivo define el anlisis de las hiptesis y las variables centrales en el

proyecto o programa. Y est en relacin con el impacto del proyecto a nivel
de los principales beneficios que ha conseguido la poblacin involucrada en el
proyecto.
Idea importante
La evaluacin, en las diferentes definiciones, se reconoce como un proceso

sistemtico de anlisis y reflexin sobre las intervenciones de los programas y
proyectos de desarrollo. Le interesa, entonces, a la evaluacin valorar si los
cambios derivados de las acciones de los proyectos son consistentes con lo que se
haba planeado y si han emergido cambios no previstos; tambin valorar la
estrategia del proyecto, obtener evidencias atribuibles al proyecto que permitan
tomar decisiones sobre la accin presente y futura y producir aprendizajes de la
experiencia.
c. Definir los criterios y preguntas a las que debe responder la evaluacin
Los criterios y las preguntas que usar la evaluacin para evaluar el

desempeo son propios en cada caso.
Los criterios ms aceptados corrientemente son pertinencia, eficacia,

eficiencia, sostenibilidad e impacto; ayudan a asegurar que la evaluacin
cubra las reas ms importantes de la iniciativa. Sin embargo, no todos los
criterios son aplicables a cada evaluacin, o aplicables por igual. Puede ser
necesario aplicar criterios diferentes para casos nicos. Al establecer los
criterios que se deben usar, hay que considerar el tipo de evaluacin y las
contribuciones que hace la informacin al propsito de la evaluacin en
relacin con su coste (uso de los recursos de la evaluacin). Por ejemplo,
evaluaciones de programas humanitarios y de conflictos pueden aplicar
tambin los criterios de conectividad, coherencia, cobertura y coordinacin.
Las preguntas de la evaluacin reflejan la cadena subyacente de supuestos

sobre cmo se espera que funcione la iniciativa dentro de un contexto dado
con arreglo a los productos y efectos esperados. Las preguntas que se eligen
para una evaluacin deben proceder de una comprensin profunda de las
operaciones de la iniciativa, sus intenciones y del contexto, y deberan ser
seleccionadas por su rol en el cumplimiento del propsito de la evaluacin, de
sus objetivos y de los criterios pertinentes de la evaluacin.
Para asegurar que las preguntas clave seleccionadas para la evaluacin son
las ms relevantes y las que tienen ms posibilidades de ofrecer una
informacin significativa a los usuarios, las instituciones ejecutores de los
programas y proyectos deben solicitar insumos de los asociados y otras
partes interesadas, incluido el equipo de evaluacin, y negociar acuerdos con
ellos. La matriz de evaluacin debe establecer lazos claros entre los criterios
de evaluacin, las preguntas y la informacin que necesitan los usuarios a los
que est destinada. (PNUD 2009:. 168-169)
Ejemplos de preguntas de evaluacin
Se han logrado los efectos o productos enunciados?

Qu avances se han realizado para lograr los efectos?
Qu factores han contribuido a lograr o no alcanzar los efectos
buscados?
En qu medida los productos han contribuido a los efectos?
Tiene la unidad ejecutora una estrategia de alianzas apropiada y
eficaz?
Qu factores contribuyeron a la eficacia o ineficacia?

d. Precisar la metodologa de la evaluacin
La metodologa de la evaluacin es el paso que define el tipo de evaluacin si

se trata de una evaluacin inicial, intermedia o final y la metodologa que se
utilizara en el proceso.
La metodologa selecciona los mtodos de evaluacin por su rigor a la hora

de producir evidencias que tengan una base emprica para cumplir los
criterios de la evaluacin y responder a las preguntas de la misma. (PNUD
2009: 170).
El diseo de una evaluacin puede considerar diferentes mtodos, los

experimentales, los cuasi experimentales y los no experimentales.
Como veremos ms adelante los experimentales pueden ser los ms

robustos metodolgicamente en sus conclusiones porque sus mediciones son
ms precisas y trabajan mejor el factor atribucin, pero generalmente son
mtodos muchsimo ms costosos. Los cuasi experimentales requieren de un
grupo control o un grupo espejo que es aquel que se conforma con
caractersticas socio econmico y culturales afines al grupo de beneficiarios
pero que no participa en el programa o proyecto.
Y finalmente se puede elegir tambin un diseo no experimental antes y

despus donde no hay grupo control y las comparaciones se realizan con el
mismo grupo beneficiario antes y despus de la intervencin del programa o
proyecto.
En este paso se describen los mtodos de recopilacin de datos y las fuentes

de informacin que sern utilizados, lo que incluye la razn de su seleccin
(como van a ayudar en la evaluacin) y sus limitaciones; las herramientas, los
instrumentos y protocolos de recoleccin de datos, y un intercambio sobre su
fiabilidad y validez para la evaluacin.
Esta parte del Plan especifique los mtodos que la evaluacin usar para
reunir la informacin que necesita a fin de cumplir los criterios y responder al
objetivo, a las preguntas de la evaluacin, para ello se analizarn los datos,
se interpretarn los hallazgos y se informar sobre los resultados.
d.1 Construir la matriz de evaluacin
Identifica las preguntas clave para la evaluacin y cmo se obtendrn

las respuestas, precisando los mtodos seleccionados.
La matriz de evaluacin es uno de los pasos claves, que permite

conectar los niveles y dimensiones del cambio con el proceso
evaluativo, donde destacan como elementos bsicos los indicadores,
las fuentes, las tcnicas e instrumentos.
d.2 Mtodos de recoleccin de datos
El manejo de los datos en una evaluacin proviene, como en la

investigacin, de fuentes primarias y secundarias. Y el Plan de
evaluacin debe precisar qu tipo de informacin proviene de las

primeras fuentes y cules de las segundas fuentes.
Los datos primarios consisten en informacin que los evaluadores

observan o recaban directamente de las partes interesadas sobre su
experiencia directa con la iniciativa. Estos datos generalmente consisten
en valores, creencias, actitudes, opiniones, comportamientos,
motivaciones y conocimiento de las partes interesadas que se han
observado o comunicado, generalmente obtenidas mediante
cuestionarios, encuestas, entrevistas, grupos focales, informadores
clave, paneles de expertos, la observacin directa y los estudios de
casos.
Estos mtodos permiten una exploracin en profundidad y brindan

informacin que puede facilitar una compresin ms profunda de los
cambios observados en los efectos y productos (tanto intencionados
como inesperados), y de los factores que contribuyeron a esos cambios
al completar el contexto operacional de los productos y efectos.
Los datos secundarios son datos primarios recabados, reunidos y

publicados por otros. Los datos secundarios pueden adoptar muchas
formas, pero generalmente consisten en evidencias documentadas que
tienen pertinencia directa con los propsitos de la evaluacin.
Entre las fuentes de evidencias documentales figuran los datos

demogrficos locales, regionales o nacionales; los informes nacionales
o internacionales que han sido publicados; los indicadores econmicos,
sociales y sanitarios; los planes de proyectos o programas; los informes
de evaluacin; los exmenes previos, las evaluaciones y actas; los
planes estratgicos del pas; y los informes de investigacin que pueden
tener relevancia en la evaluacin.
Se usan evidencias documentales especialmente cuando el proyecto o

programa carece de indicadores y metas de base para evaluar el
progreso para alcanzar los productos y efectos previstos. Aunque no es
el mtodo preferido, se pueden usar los datos secundarios para ayudar
a recrear datos y objetivos bsicos. La informacin secundaria
complementa los datos recabados por mtodos primarios, pero no
sustituye la recopilacin de datos de fuentes primarias. (PNUD 2009:
171)
Los indicadores de desempeo son un medio simple y fiable de

documentar los cambios en las condiciones de desarrollo (efectos), la
produccin o la entrega de los productos y servicios (productos)
relacionados con una iniciativa de desarrollo.
Los indicadores de desempeo son tiles, pero tienen limitaciones. Los

indicadores solo sealan algo; no lo explican. Los indicadores
probablemente no respondern al abanico completo de preguntas a las
que intenta responder la evaluacin. Por ejemplo, los indicadores
proporcionan una medida de los progresos que se han hecho. No

explican por qu se hicieron o qu factores contribuyeron al avance.

(PNUD 2009: 171).
En este paso se encuentra el Trabajo de campo, el cual debe ser

planificado cuidadosamente con los recursos y logstica pertinente.
Los diseos de mtodos mixtos segn Bamberger y Segone (2012)

combinan las ventajas de los mtodos cuantitativos (QUANT) que
permiten generalizaciones la distribucin de las caractersticas de la
muestra y la descomposicin en sub-grupos, as como pruebas de
diferencias estadsticas significativas entre los grupos con la capacidad
de los mtodos cualitativos (QUAL) para describir en profundidad las
experiencias de cada uno de los sujetos, grupos o comunidades.
Los mtodos QUAL tambin pueden examinar relaciones complejas y

explicar la forma en que los programas y los participantes se ven
afectados por el contexto en el que opera el programa.
Los mtodos mixtos para la recoleccin de datos combinan mtodos

cuantitativos, como encuestas, pruebas de aptitud y comportamiento, y
medidas antropomtricas con mtodos QUAL de recopilacin de datos,
como la observacin, entrevistas en profundidad y el anlisis de los
datos.
Los mtodos QUAL tambin se pueden utilizar para el anlisis de procesos

(en el que se observa la forma en que el proyecto se aplica realmente y
cmo esos procesos afectan a la participacin de los diferentes grupos de
la poblacin vulnerable).
Los siguientes son ejemplos de cmo los mtodos mixtos combinan

diferentes mtodos QUANT y QUAL de recoleccin de datos:
Combinacin de cuestionarios QUANT con entrevistas en

profundidad de seguimiento QUAL o grupos focales.
Combinacin de mtodos de observacin QUANT con entrevistas en
profundidad de seguimiento QUAL.
Combinacin de medidas discretas QUANT con entrevistas en
profundidad QUAL o estudios de casos.
Adems, los mtodos mixtos pueden combinar mtodos de anlisis de

datos QUANT y QUAL de las siguientes maneras:
Anlisis de datos paralelo de QUANT y QUAL: los datos de QUAL y

QUANT se analizan por separado utilizando mtodos de anlisis
convencionales.
Conversin de datos QUAL en un formato numrico o viceversa.
Anlisis secuencial: anlisis de QUANT seguido de un anlisis QUAL
o viceversa.
Anlisis de niveles mltiples.
Integracin completa del anlisis de mtodos mixtos.
Veamos a continuacin las diferentes opciones de trabajar con la

informacin cuantitativa y cualitativa.
Grfico 5.1
Ejemplo de Diseo secuencial de mtodos mixtos de QUAL dominante
Consulta: 3 de octubre de 2013

http://clear-la.cide.edu/sites/default/files/Evaluaciones_centradas_en_la_equidad.pdf

Grfico 5.2
Ejemplo de Diseo de mtodos mixtos paralelo y de nivel mltiple
Fuente: http://clear-la.cide.edu/sites/default/files/Evaluaciones_centradas_en_la_equidad.pdf
d.3. Triangular los datos para verificar su exactitud: usar mltiples

fuentes de informacin
La evidencia evaluativa es buena cuando es coherente y exacta.

Incorporar diferentes estrategias para verificar los datos aumentar la
fiabilidad y asegurar que los resultados sean vlidos.
Es mejor usar una mezcla de mtodos para recabar datos que apoyarse
en una sola fuente o una sola evidencia. Por ejemplo, triangule la
evidencia obtenida de una fuente (como de la entrevista en grupo) con
otra evidencia sobre las experiencias de las personas de reas rurales
(puede ser una evidencia documental de los informes o de entrevistas
de informantes clave con personas crebles y bien informadas de la
situacin). Use expertos para examinar y validar las evidencias. (PNUD
2009: 175)
e. Anlisis y sntesis de datos. Hallazgos y evidencias.
Es muy importante focalizar el anlisis en responder las preguntas clave. En

cualquier evaluacin, un consejo inteligente es concentrarse en las preguntas
clave, es decir, en aquellas que se relacionan con el propsito principal y con
el objetivo de la evaluacin.
La recoleccin de datos implica administrar cuestionarios, realizar entrevistas,

observar operaciones de programa y examinar o introducir datos de fuentes
de informacin existentes, siempre relevantes al propsito de la evaluacin.
El anlisis de datos es un proceso sistemtico que implica organizar y

clasificar la informacin recabada, tabularla, resumirla y comparar los
resultados con otras informaciones apropiadas para extraer informacin til
que responda a las preguntas de la evaluacin y conseguir sus propsitos. Es
el proceso de descifrar los hechos de un conjunto de evidencias codificando y
reuniendo sistemticamente los datos recopilados, asegurando su exactitud,
realizando un anlisis estadstico y trasladando los datos a formatos o
unidades de anlisis que se puedan usar en relacin con cada pregunta de la
evaluacin.
El anlisis de datos busca detectar patrones en las evidencias, bien aislando

los hallazgos importantes (anlisis) o combinando fuentes de informacin
para obtener una comprensin ms general (sntesis). (PNUD 2009: 176)
Este paso es de vital importancia y en ello se centra la fuerza comparativa de

la evaluacin con referentes clave.
Cuadro 5.1
Ejemplo del anlisis de una matriz de eficacia
AVANCE DE
PROGRAMACIN DE
INDICADORES META
INDICADORES META
AL MES 12
LNEA Cdigo
PROPSITO / LNEA
DE indicador INDICADOR META AL
RESULTADOS FINALIZAR
DE
VALOR VALOR
BASE meta CORTE:
EL ABSOLUTO %
12
PROYECTO
meses
Resultado 1: 120 mujeres lderes y
Mujeres del dirigentes
25 1.1 120 60 65 108
distrito de capacitadas en
intervencin derechos ciudadanos
fortalecen sus 2,720 ciudadanos/as
capacidades (1,904 varones [70%]
0 1.2 2720 1700 1606 94
para ejercer y 816 mujeres [30%])
sus derechos, de las zonas de

AVANCE DE
PROGRAMACIN DE
INDICADORES META
INDICADORES META
AL MES 12
LNEA Cdigo
PROPSITO / LNEA
DE
VALOR VALOR
BASE meta CORTE:
EL ABSOLUTO %
12
PROYECTO
meses
enfrentar la intervencin
violencia y participan en cada
revertir sus una de las charlas
factores de sobre violencia de
riesgo y gnero dirigidas a
vulnerabilidad. varones (6800 = [100
personas x 68
charlas] ndice de
repeticin 60%).
30 Promotoras/es
Comunitarias de los
13 barrios en el
distrito de Laguna
Azul, capacitadas/os
y entrenadas/os
0 1.3 hacen vigilancia 30 30 35 117
social respecto a la
calidad de los
servicios pblicos
(principalmente
salud) en materia de
violencia de gnero.
Al menos 10
Informes de
vigilancia social,
que contienen
propuestas para
0 1.4 10 2 3 150
mejorar los servicios
pblicos son
presentados por las
Promotoras/es
Comunitarias.
Al menos 10
propuestas de
mejora de atencin
en violencia, han
sido presentadas a
0 1.5 las autoridades por 10 0 - N.A
las organizaciones
de mujeres de los 13
barrios o por las
promotoras/es
comunitarias.
Al menos 06
propuestas de
mejora de atencin
en violencia,
presentadas por las
organizaciones de
0 1.6 6 0 - N.A
mujeres de los 13
barrios o
promotoras/es
comunitarias, han
sido implementadas
por los servicios
AVANCE DE
PROGRAMACIN DE
INDICADORES META
INDICADORES META
AL MES 12
LNEA Cdigo
PROPSITO / LNEA
DE
VALOR VALOR
BASE meta CORTE:
EL ABSOLUTO %
12
PROYECTO
meses
pblicos en el distrito
de Laguna Azul.
40 autoridades
pblicas y de Mesa
de Lucha contra la
Pobreza (08
11 1.7 autoridades x 5 40 30 30 100
reuniones) han sido
objeto de incidencia
poltica en temas de
violencia de gnero.
35 mujeres
lideresas o
dirigentes (07
mujeres x 5
0 1.8 reuniones) realizan 35 0 - NA
actividades de
incidencia en temas
de violencia de
gnero.
20% de
promotoras/es y
0 1.9. 12 12 12 100
comunicadores/a
son varones
Fuente: Amalia Cuba Salerno
f. Informar sobre los hallazgos de manera eficiente, prctica y efectiva
Es necesario tener presentes las preguntas clave no solamente durante la

planificacin de la evaluacin o la recoleccin y el anlisis de los datos, sino
tambin durante la redaccin del informe o informes de evaluacin. Una de
las opciones ms eficaces para aumentar la probabilidad de que los hallazgos
de una evaluacin sean efectivamente utilizados es cerciorarse de que
revistan utilidad prctica directa para los diferentes interesados.
Cuando los hallazgos y recomendaciones no llegan a los clientes primarios en

un formato que les sea agradable y entendible, esto reduce el impacto de
muchas evaluaciones. No existe un nico formato que se considere ptimo
para informar sobre los hallazgos de una evaluacin; la decisin sobre el
formato a utilizar depender ms bien de los clientes y la naturaleza de la
evaluacin. Un buen punto de partida es preguntar a los clientes qu informes
previos les resultan especialmente tiles y por qu.
Establecer un calendario de etapas clave, de los entregables y de sus

responsabilidades
Es necesario contar con un cronograma establecido de las etapas claras del

plan de evaluacin que incluya el conjunto de actividades y los productos

entregables, as como la designacin de responsables en cada una de las

actividades a fin de que estn acordados todos los procedimientos.
g. Requisitos de recursos detallados vinculados a las actividades de

evaluacin y los entregables pormenorizados en el plan de trabajo
De manera semejante, los aspectos de carcter ms logstico, trabajo de

campo, realizacin de eventos, talleres, entre otros, y aspectos
presupuestales deben estar previamente definidos.
El plan para llevar a cabo cada evaluacin debe garantizar el proceso debido
a fin de asegurar el cumplimiento oportuno del mandato y la consideracin de
recopilar y analizar la informacin requerida de la manera ms costo-efectiva.
Una vez que hemos diseado el Plan de evaluacin y su respecto

cronograma estamos listos para iniciar el proceso de evaluacin. de un
programa o proyecto, en acuerdo con las partes interesadas.
Idea importante
Una evaluacin es una valoracin, lo ms sistemtica e imparcial posible, de una

actividad, proyecto, programa, estrategia, poltica; incide principalmente sobre los
logros esperados y alcanzados, examinando la cadena de resultados, los procesos,
los factores contextuales y la causalidad a fin de entender los logros o la ausencia
de estos.
Su objetivo es determinar la relevancia, el impacto, la efectividad, la eficiencia y la

sostenibilidad de las intervenciones y contribuciones de las organizaciones del
sistema de las NN. UU.
Tipos de evaluacin de programas y

TEMA 6
proyectos de desarrollo
6.1 Tipos de evaluacin

La construccin de tipologas de evaluacin, seala Cohen y Franco, depende de
criterios variados: tiempo de su realizacin, objetivos que persiguen, quines la
realizan, la escala que asumen y los decisores a las que van dirigidas. Las
disciplinas tambin juegan en la diferenciacin de las evaluaciones; as, por
ejemplo, si estamos en economa, interesa la evaluacin ex ante y ex post de los
proyectos.
Grfico 6.1
Fuente. Implementado en base a Cohen y Franco (1992)
a. En funcin del momento en que se realiza y los objetivos que persigue
i. Evaluaciones ex ante
Es una evaluacin de amplias miras sobre los probables efectos

futuros de nuevos apoyos e iniciativas, tales como las polticas, los
programas y las estrategias. Tiene lugar antes de poner en prctica
una iniciativa (PNUD 2009: 135).
Proporciona criterios para definir si el proyecto se implementa o no. En

economa, hay dos modalidades de este tipo de evaluacin, el costo-
beneficio, ACB; y el costo-efectividad, ACE. El primero est vinculado
a la situacin en la que es posible costear todas las actividades del

proyecto y valorizar monetariamente sus resultados, es vlido en

particular para proyectos econmicos. En el caso del costo-efectividad,
es ms apropiado para proyectos sociales y se utiliza cuando no es
posible valorizar los resultados de la intervencin. Este tipo de
evaluacin (entindase evaluacin ex ante) no la utilizaremos en el
curso en cuanto est referido exclusivamente a proyectos de inversin.
Ejemplos de ACB y ACE
Ejemplos de costo-beneficio ACB
Incremento de los ingresos de las familias por el desarrollo de

actividades agropecuarias, diferenciando jefes de familia varones y
mujeres.
Reduccin del gasto pblico en proyectos de insercin laboral.
Ejemplo de Indicadores costo-efectividad ACE.
Nmero de alumnos y alumnas de los grados de primaria

atendidos.
Incremento en el rendimiento de los alumnos y alumnas en las

reas de comunicacin y matemtica.
Aumento del nmero de consultas de hombres y mujeres

(precisando edades y procedencia) realizadas.
ii. Evaluaciones de medio trmino
Es conveniente distinguir dos momentos en la vida del proyecto: si el

proyecto est en ejecucin y est concluido. En ambos casos, se evala
para obtener elementos de juicio para adoptar decisiones tanto de orden
cualitativo como cuantitativo.
La evaluacin de trmino medio generalmente tiene una naturaleza

formativa en la medida que comienza aproximadamente a mitad del
periodo de ejecucin de la iniciativa. La evaluacin formativa trata de
mejorar el desempeo y, a menudo, se realiza durante la fase de
ejecucin de los proyectos o programas.
En el primer caso, la evaluacin servir para tomar decisiones respecto

a si debe o no continuar el proyecto (decisin cualitativa) sobre la base
de los resultados obtenidos hasta el momento. Si la respuesta es
positiva, se toma una decisin cuantitativa que se refiere a la
programacin establecida del proyecto, se debe o no hacer cambios en

la programacin del mismo.
iii. Evaluacin final
La evaluacin final o terminal normalmente sirve como evaluacin

aditiva, puesto que se realiza hacia el final de la fase de ejecucin de
los proyectos y programas.
La evaluacin aditiva sirve para determinar en qu medida se

produjeron los efectos previstos. Est destinada a proporcionar
informacin sobre el valor del programa.
iv. Evaluaciones ex post
Si el proyecto ha concluido, la evaluacin servir para tomar decisiones

sobre si debe o no replicarse el proyecto en otros mbitos similares, es
decir, el uso futuro de la experiencia. Si la respuesta es positiva, se
decidir si se emplea la misma programacin o se sugieren cambios
para ser ms eficientes.
b. En funcin del nfasis en la eficiencia operacional o en el impacto
i. Evaluacin de procesos
Ayuda a determinar si los componentes de un proyecto son funcionales

o disfuncionales a los objetivos y resultados previstos. Al realizarse
durante la ejecucin e implementacin del proyecto, afecta las
operaciones y la organizacin. Su funcin central es medir la eficiencia
en que opera el proyecto.
La evaluacin de procesos mira hacia adelante y trata de introducir

cambios y mejoras en las decisiones cotidianas y operativas.
ii. Evaluacin de efectos
Identifica sistemticamente las repercusiones positivas o no,

deliberadas o no de las intervenciones realizadas en los programas y
proyectos. Las hay con apoyo de grandes encuestas por muestreo con
grupos control a lo largo del proyecto, hasta evaluaciones rpidas de
pequea escala y evaluaciones participativas con entrevistas,
informantes clave, estudios de caso y datos secundarios disponibles.
iii. Evaluacin de impacto
Trata de apreciar en qu medida el proyecto alcanza sus objetivos y

cules son los efectos secundarios previstos o no previstos.
La evaluacin de impacto mira hacia atrs y se dirige hacia afuera ms

all del proyecto. Puede derivar en ampliaciones del proyecto, rplicas e
incidencia poltica.

La evaluacin de impacto es la evaluacin de los efectos positivos o

negativos, intencionados o no sobre los hogares, las instituciones y el
ambiente generado por un programa o proyecto. Est vinculada al
impacto final de largo plazo, como a los resultados de mediano plazo,
no mide si se han alcanzado los objetivos planeados sino considera un
planteamiento ms integral sobre las familias, las instituciones. En este
tipo de evaluacin la atribucin es un concepto clave.
Una evaluacin de impacto no mide simplemente si se han alcanzado

los objetivos, ni evala los efectos directos en los beneficiarios a los que
se dirige. Engloba un abanico completo de impactos a todos los
niveles de la cadena de resultados, incluido el efecto domin en las
familias, los hogares y las comunidades, en sistemas institucionales,
tcnicos o sociales, y en el medio ambiente.
Esta definicin pone nfasis en la necesidad de entender las

consecuencias de las iniciativas de desarrollo en el largo plazo. Otro
tema importante relacionado con la evaluacin del impacto es la
atribucin, es decir, determinar en qu medida la iniciativa, ms que
cualquier otro factor externo, ha contribuido a los impactos que se han
observado. Se pueden aplicar muchos mtodos para abordar el tema de
la atribucin. Es importante que se tenga en cuenta este tema en el
diseo de la iniciativa, as como en el diseo y los trminos de
referencia de la evaluacin. (PNUD 2009: 134)
c. En funcin de quin realiza la evaluacin
i. Evaluacin externa
Las lleva a cabo un evaluador externo, una persona reconocida en la

prctica de evaluacin y se considera que est en mejores condiciones
para realizar anlisis comparativos con otras experiencias similares,
respecto a criterios como eficacia y eficiencia de las diferentes
soluciones a problemas similares.
Se considera como fortalezas de este tipo de evaluaciones el manejo de

metodologas diversas y, como debilidad, las especificidades del
proyecto.
Estos tipos de evaluacin tambin se conocen con los nombres de la

evaluacin formativa y la sumativa. La primera est orientada a ser utilizada
en la vida til del proyecto y la segunda se refiere a una evaluacin externa y
ex post.
ii. Evaluacin interna. Autoevaluacin
La realiza el propio equipo ejecutor del proyecto y se elimina las

fricciones propias de la evaluacin externa. Se la considera como un
espacio de reflexin del quehacer del equipo, de mutuo intercambio de
experiencias y de aprendizaje.
Se pone nfasis en lo sustantivo, hay debilidad en lo metodolgico.
El constituirse en juez y parte es una de las grandes objeciones a este

tipo de evaluacin.
La autoevaluacin no elimina el conflicto de intereses entre los

miembros del equipo y dificulta, muchas veces, la objetividad necesaria
para reflexionar adecuadamente sobre los xitos y los fracasos.
La evaluacin debe conducirnos al descubrimiento de los mejores

programas para conseguir los objetivos propuestos, pero va ms all
cuestionando, a veces, los propios objetivos y sugiriendo su cambio. Por
ello, muchas veces, puede haber fricciones entre la evaluacin y la
organizacin, porque la organizacin genera y establece relaciones con
grupos de familias y personas, mientras que la evaluacin revisa y
sugiere cambios.
La resistencia al cambio, a veces, se asocia con la conservacin de

ciertos objetivos sociales: los pobres, los que trabajan en la calle,
grupos que son clientes de las organizaciones.
iii. Evaluacin mixta
Es la que combina los dos tipos de evaluacin anteriores y pretende

conseguir una buena sinergia entre el grupo de evaluadores externos y
los equipos internos tratando de potenciar las cualidades de ambos
tipos de evaluacin y reducir sus riesgos.
iv. Evaluacin participativa
Se trata de acortar las distancias entre el evaluador y el grupo evaluado,

considerando que el proceso evaluativo involucre a los usuarios del
proyecto y a otros actores importantes y que su rol no se restringa al ser
informantes clave, sino que su participacin se garantice en los
momentos de toma de decisiones.
La evaluacin participativa es un componente de un ciclo de proyecto

diferente.
d. En funcin de la escala de los proyectos
i. Evaluacin de proyectos grandes

ii. Evaluacin de proyectos pequeos
Existen diversos factores que diferencian las evaluaciones segn la escala y

en la matriz que est. A continuacin, se pueden apreciar las diferencias que
proponen Cohen y Franco.

Cuadro 6.1
Proyectos grandes Proyectos pequeos
Analtica y objetiva Estrategia bsicamente

Se puede descomponer en las cualitativa
Estrategia de evaluacin
dimensiones o componentes del Es integral y el anlisis
proyecto. dimensional no es aplicable.
Inductiva
Deductiva, modelo causal,
Trata de encontrar
hiptesis articuladas.
Lgica de evaluacin convergencias en valores,
Trabaja con variables,
actitudes y comportamientos
indicadores, ndices.
para descubrir las hiptesis.
Realidad global, articulaciones

Diseos propios, experimental,
Diseo de la evaluacin entre los individuos y sus
grupo control
organizaciones
Cuantitativas, complementadas Cualitativas, observacin

Tcnicas de anlisis
por lo cualitativo participante, historias de vida
Resultados de la evaluacin Son ms generales. Son ms especficos.
Centralizada, con contacto Ms comunicativo y

Evaluadores
relativo con las personas descentralizado
Fuente: COHEN Ernesto y Rolando FRANCO
En Evaluacin de proyectos sociales. Mxico DF: Siglo XXI.1992.
e. En funcin de los destinatarios de la evaluacin
Para qu se evala? y para quin se evala?
La utilizacin de los resultados solo puede ser selectiva y se pueden distinguir

tres tipos de usuarios de la evaluacin.
i. Los directivos, con las polticas y la toma de decisiones

ii. Los administradores, preocupados por los modelos ptimos de
asignacin de recursos
iii. Los tcnicos y promotores, preocupados por la implementacin de
acuerdo a las polticas
El uso de las conclusiones y recomendaciones de la evaluacin ser tomado

por cada actor de diferente manera dependiendo de los roles y funciones que
tiene en la implementacin de la iniciativa. De otro lado, nos est faltando, en
esta identificacin de tres actores, a la poblacin misma, pues la evaluacin
en los enfoques actuales no solo reclama su utilizacin, sino el
empoderamiento de las personas que han estado presentes en el proyecto.
En consecuencia, un cuarto personaje central al que van dirigidas las
evaluaciones es la poblacin, la cual puede utilizar las conclusiones y
aprender del proceso.
Ideas bsicas en evaluacin
La evaluacin de un proyecto es un proceso particular; en consecuencia, se deben

tomar todas las consideraciones que permitan generar un proceso que responda a
las expectativas de los diferentes actores. Los resultados de una evaluacin estn
dirigidos a cada actor y cada uno har un uso especfico de ellos.
Sntesis
La evaluacin forma parte del ciclo de planificacin de los programas y

proyectos de desarrollo, por lo que es una de las fases del ciclo.
Los proyectos que han sido diseados con el marco lgico nos dan un gran
referente a nivel del sistema de indicadores para establecer los avances y
emitir un juicio de opinin sobre los logros.
Hay una tipologa amplia de evaluaciones segn estemos refirindonos a los
destinatarios de la evaluacin, la escala de los proyectos, de quin realiza la
evaluacin, al nfasis en la eficiencia operacional o en el impacto, y en
funcin del momento en que se realiza y los objetivos que persigue.
La evaluacin de impacto es diferente a la evaluacin ex post. La evaluacin
de impacto busca acercarse a los efectos o consecuencias observables que
un determinado proyecto transfiere a su poblacin objetivo.
Lectura 1 (en lnea)

VALDES Marcos
1999 La evaluacin de proyectos sociales: Definiciones y tipologas.
mapunet.org. Consulta: 3 de diciembre de 2013.
http://www.mapunet.org/documentos/mapuches/evaluacion_proyectos_soci
ales.pdf

Lectura 2 (en impreso)

COHEN, Ernesto y Rolando FRANCO
1992 Captulo 6 Tipos de evaluacin. En Evaluacin de proyectos sociales.
Mxico D.F.: Siglo XXI Editores, pp. 109-119.
Lectura 3 (en lnea)

VALDS, Marcos
2007 Modelos de evaluacin de proyectos sociales. mapunet.org. Consulta: 3
de diciembre de 2013.
http://www.mapunet.org/documentos/mapuches/modelos_evaluacion.pdf
UNIDAD III: MODELOS, TCNICAS Y MTODOS DE EVALUACIN

DE PROYECTOS Y PROGRAMAS DE DESARROLLO.
TEMA 7 Metodologas de una evaluacin
7.1 Diseos metodolgicos

El contexto de la evaluacin afecta dos conjuntos de factores interrelacionados que
inciden en la exactitud, credibilidad y utilidad de los resultados de evaluacin:
Los factores sociales, polticos, econmicos, demogrficos e institucionales,

tanto internos como externos, tienen relacin con cmo y por qu la iniciativa
produce los resultados (positivos y negativos) que produce, y con la
sostenibilidad de los resultados.
Los factores sociales, polticos, econmicos, demogrficos e institucionales

dentro del entorno y el calendario en el que se desarrolla la evaluacin
inciden sobre la exactitud, imparcialidad y credibilidad de los resultados de la
evaluacin.
Determinar un diseo de evaluacin apropiado y viable
Una vez identificados los requerimientos y exigencias de los solicitantes de la

evaluacin y analizado el proyecto a profundidad, recin se puede proceder a
disear el proceso de evaluacin.
Para ello, se har un breve repaso de aquellas actividades y consideraciones

que se deben tener en cuenta al precisar el alcance y las caractersticas del
plan de evaluacin:
Revisin de diseos de evaluacin experimentales e indagatorios

Definicin de los criterios para elaborar los trminos de referencia
apropiados para evaluar un proyecto, dado su propio diseo de
evaluacin
La perspectiva del diseo de evaluacin debe considerar todo el ciclo de
vida del proyecto.
Existen una variedad de diseos y los elementos que diferencian un diseo

de otro se refieren al tratamiento de los siguientes conceptos: la propia
intervencin del proyecto, los eventos de observacin que pueden ser la lnea
de base y distintas evaluaciones que el programa o proyecto haya realizado,
los grupos de beneficiarios o participantes del proyecto, los grupos de
comparacin y la variable tiempo referidas a las etapas del proyecto.

X = Intervencin del proyecto en una comunidad

O = Evento de observacin: estudio de base, evaluacin de medio trmino,
evaluacin final
P = Participantes del proyecto
C = Grupo de comparacin
T1, T2 = Etapas del proyecto (tiempo)
Cuadro 7.1
Cada uno de los diseos vincula de manera diferente los conceptos

sealados. Estos diseos constituyen mtodos de tipo cuantitativo
preferentemente y utilizan mtodos de mayor grado de elaboracin y relativa
sofisticacin con tcnicas estadsticas y economtricas ms avanzadas que
los mtodos clsicos a fin de conseguir mayor rigurosidad en el anlisis de
resultados. As se trabaja con modelos formalizados y semi formalizados no
experimentales y su eleccin est, en razn, muchas veces, a la data
existente y a las condiciones institucionales para realizarlos.
Segn Bamberger (2012) Estos diseos son los siguientes:
Diseo 1. Diseo longitudinal

Diseo 2. Grupos del proyecto y de comparacin preprueba y
postprueba
Diseo 3. Diseo longitudinal truncado, con grupos del proyecto y de
comparacin preprueba /postprueba
Diseo 4. Grupo del proyecto preprueba/ postprueba combinado con
anlisis postprueba de grupos del proyecto y de comparacin
Diseo 5. Grupos del proyecto y de comparacin postprueba
Diseo 6. Grupo del proyecto preprueba y postprueba

Diseo 7. Grupo del proyecto postprueba nicamente
En el diseo de los instrumentos de recoleccin de la informacin se debe

determinar la frecuencia de la recoleccin. Los experimentos (diseo experimental,
cuasi experimental o no experimental) se pueden desarrollar con una o mltiples
(dos o ms) observaciones de los individuos y hogares en el tiempo. Cuando se
dispone slo de una observacin para el grupo de tratamiento y el grupo de control
(que debe ser ex-post) el diseo de evaluacin se denomina cross - section, y
longitudinal en el caso de mltiples observaciones.
Bamberger y otros (2003), establecen cinco tipos de experimentos de acuerdo al

nmero de observaciones y al momento en el ciclo del proyecto cuando se
recolecta la informacin del grupo de tratamiento y comparacin (cuadro 7.1). Estos
autores afirman que el ms robusto es el longitudinal (nmero 1). En este diseo se
construye la lnea base y se realizan una serie de mediciones durante la
implementacin del programa, al cierre, y tiempo despus del cierre de
operaciones. Este diseo permite valorar la sostenibilidad de los impactos en el
tiempo y as determinar si los resultados corresponden a impactos transitorios o
permanentes. Otros diseos longitudinales que frecuentemente se utilizan en
evaluacin de impacto slo recolectan informacin en dos momentos en el tiempo.
Bien sea antes que el programa inicia su operacin y al cierre de esta (nmero 2), o
durante la operacin y al cierre del programa (nmero 3). En estos casos es menos
probable obtener informacin relevante acerca de cuando ocurrieron los impactos.
(Navarro, 2005:Pg. 50)
El auge de nuevos mtodos de evaluacin ms rigurosos
Trabajos pioneros de J. Heckman, Premio Nobel de Economa, marcaron la

irrupcin de los mtodos de evaluacin experimentales y cuasiexperimentales, los
cuales se han multiplicado exponencialmente mediante numerosos aportes de otros
investigadores y evaluadores, principalmente en su aplicacin en pases como
Estados Unidos, Canad y Europa desde la dcada del 70 y hoy tambin en
nuestros pases.
Veamos algunos de los diseos de evaluacin:
Longitudinal cuasi experimental
Es uno de los ms robustos desde el punto de vista metodolgico y el de mayor

exigencia. Entre las condiciones preexistentes para llevar a cabo este diseo, se
debe considerar los siguientes elementos:
Se cuenta con estudio de base, la evaluacin de medio trmino, la evaluacin

final del proyecto y la evaluacin ex post del proyecto.
Se cuenta con el grupo del proyecto y el grupo de comparacin.

Se tiene cuatro puntos de comparacin en el tiempo.

Es el ms exigente en recursos financieros y en tiempo.
Se debe iniciar justamente al inicio del proyecto.
Permite evaluar la ejecucin del proyecto y observar los procesos de cambio.
Longitudinal truncada
Realiza observaciones de grupos de proyecto y de control en diversos momentos

durante la ejecucin del proyecto, pero la evaluacin no empieza sino hasta que el
proyecto est en marcha y, por lo tanto, no se dispone de informacin base.
Es un diseo menos robusto pero, con frecuencia, adecuado. Es utilizado en

proyectos que empiezan lentamente.
El proceso evaluativo se empieza hacia el medio trmino; por lo tanto, no se estudia

el perodo de puesta en marcha ni la ejecucin inicial.
Pre y postprueba del proyecto, solo post del grupo de proyecto y el de

comparacin
El estudio base se hace solo con los participantes del proyecto.

La evaluacin final incorpora al grupo de comparacin.
Sirve para evaluar si el enfoque del proyecto funciona y genera productos
deseados.
Sirve para evaluar el potencial de rplica del proyecto.
No evala si las diferencias observadas al final del proyecto entre grupos del
proyecto y de comparacin se deben al proyecto o si se trata de diferencias
preexistentes entre ambos grupos. No incorpora la historia local.
Comparacin preprueba y post del grupo del proyecto y anlisis postprueba

del grupo del proyecto
Son dos diseos dbiles, no experimentales, pero ampliamente utilizados.
i. Comparacin preprueba y post del grupo del proyecto
Ofrece un estimado aproximado de los impactos del proyecto,

especialmente en comunidades pequeas o aisladas.
No estima la magnitud exacta de los impactos del proyecto.
No puede comparar el proyecto con otras comunidades.
ii. Anlisis postprueba del grupo del proyecto
Es til para estudios exploratorios.

Ofrece un primer estimado de resultados.
Es difcil tener certeza de que los cambios observados se deben al
proyecto.
No se obtienen datos comparativos para estimar potencial de rplica.

7.2 Mtodos experimentales, cuasi experimentales y no

experimentales
Evaluadores como Judy Baker, Navarro Hugo, Aedo Christian, entre otros, sealan
el surgimiento de los mtodos experimentales y cuasi experimentales como los ms
rigurosos para las evaluaciones de impacto.
Desde una ptima estadstica, tomando prestadas metodologas utilizadas

principalmente por ciencias fsicas y biolgicas, los mtodos experimentales fueron
utilizados frecuentemente en ciencias sociales como la psicologa o la educacin
desde principios de la dcada de 1930. Es a partir de 1967, con la implementacin
del programa New Jersey Income Maintenance, en Estados Unidos, que se
comienza a utilizar con fines de evaluacin de programas antipobreza o
generadores de empleo. Posteriormente, el Departamento del Trabajo de Estados
Unidos comienza su utilizacin frecuente, pero es la evaluacin del programa de
capacitacin Job Training Partnership Act (JTPA), tambin en ese pas, el que
implementa la metodologa experimental en gran escala para la evaluacin de
programas de entrenamiento y capacitacin. Esta modalidad pronto es introducida
en programas de poltica activa en materia laboral de Canad y Europa.
Judy Baker precisa en su texto clsico, Evaluacin del impacto de los proyectos de
desarrollo en la pobreza. Manual para profesionales, las siguientes interrogantes:
Cmo afect el proyecto a los beneficiarios?

Algn mejoramiento fue el resultado directo del proyecto o se habra
producido de todas formas?
Se podra modificar el diseo del programa para mejorar sus repercusiones?
Se justificaban los costos?
Sin embargo, estas preguntas no se pueden medir simplemente a travs del

resultado de un proyecto. Puede haber otros factores o sucesos que estn
correlacionados con los resultados, sin ser causados por el proyecto. Para asegurar
un rigor metodolgico, una evaluacin del impacto debe estimar el escenario
contrafactual o simulado alternativo, es decir, lo que habra ocurrido si el proyecto
nunca se hubiera realizado o lo que habra ocurrido normalmente.
Como seala opo y Robles 2002, el objetivo de la evaluacin de impacto de un

programa social es determinar cul es la mejora que perciben los individuos que
participan en tal programa, en trminos de algunas variables de inters como por
ejemplo ingresos, empleo, tipo de empleo, etc.
Lo que se busca es responder a la pregunta qu ganan los participantes de un

programa en comparacin a no haber participado en el mismo? Ntese que est
pregunta es distinta a cul es la situacin de un individuo despus del programa
en comparacin a antes del programa? Ello es as porque entre quienes participan
en un programa pueden existir cambios en sus niveles de ingreso, tasas de empleo
u otras variables debido a factores que no son atribuibles al programa. Por lo tanto,
el principal problema de la evaluacin de impacto consiste en averiguar cmo se
encontraran los beneficiarios despus de terminado el programa si en lugar de
haber participado en l no lo hubiesen hecho.

Conceptualmente, puede pensarse en dos estados posibles para un individuo. El

primero sera un estado de tratamiento, el cual reflejara la situacin de ese
individuo en el momento posterior a haber participado en el programa. El segundo
sera un estado de no tratamiento, el cual reflejara la situacin del mismo
individuo, en ese mismo momento, de no haber participado en el programa.
Tpicamente la evaluacin de impacto se concentra en cuantificar la diferencia en la
situacin de los beneficiarios del programa (ya sea en una o varias variables) de
pasar de un estado de no tratamiento a uno de tratamiento
Grfico 7.1
Fuente:
http://dide.minedu.gob.pe/xmlui/bitstream/handle/123456789/711/389.%20Una%20medici%
C3%B3n%20del%20impacto%20del%20Programa%20de%20Capacitaci%C3%B3n%20Lab
oral%20Juvenil%20PROJoven.pdf?sequence=1
En trminos de la figura mostrada, lo que se busca determinar en una evaluacin

de impacto es la diferencia A B, es decir cuanto mejor est el beneficiario como
consecuencia del programa en el perodo posterior a la ejecucin del mismo. Sin
embargo no es posible observar B, por lo cual se hace necesario reconstruir dicho
escenario a partir de un grupo de control. D es la situacin de una persona que no
pas por el programa observada en el perodo posterior al mismo. En la medida que
D se parezca a B ser vlido estimar el impacto del programa en los beneficiarios
como la diferencia A D.
Ntese que la situacin C tampoco puede ser observada. En el caso de un

programa como PRO Joven, A es por ejemplo el ingreso medio de un joven
beneficiario luego del programa, B es el ingreso que ganara ese mismo joven en
ese mismo momento -luego del programa- si es que no hubiera participado en el
programa. C es el ingreso que hubieran tenido los que no pasaron por el programa

si es que hubieran pasado por el mismo y D es el ingreso que tuvieron los que no
pasaron por el programa cuando culmin el mismo. En la medida que los controles
sean similares a los beneficiarios, el efecto del programa se puede calcular
comparando el ingreso de los beneficiarios luego del programa (A) con el ingreso
de los no beneficiarios luego del programa (D). Cmo elegir el grupo de control
para lograr que D sea muy similar B?
La respuesta a dicha pregunta es fundamental en los procesos de evaluacin y a

partir de ella se pueden clasificar los diseos de evaluacin en experimentales o no
experimentales.

Cuadro 7.2
Mtodos cuantitativos para evaluar un programa o proyecto
Diseos de control experimental o aleatorio

Aleatorizacin: la seleccin para los grupos de tratamiento y de control es aleatoria
dentro de algn conjunto bien definido de personas. En este caso, no debera haber
diferencia (en el valor esperado) entre los dos grupos, aparte del hecho de que el grupo
de tratamiento tuvo acceso al programa (aunque puede haber diferencias debido a un
error de muestreo; mientras mayor sea el tamao de las muestras de tratamiento y
control, menor ser el error).
Diseos no experimentales o cuasiexperimentales

Mtodos de pareo o controles construidos: en ellos, se intenta obtener una
comparacin ideal que corresponda al grupo de tratamiento de una encuesta ms
amplia.
El tipo de correspondencia de uso ms generalizado es la correspondencia de

puntuacin de la propensin, en la cual el grupo de comparacin se compara con el
grupo de tratamiento sobre la base de un conjunto de caractersticas observadas o bien
usando la puntuacin de la propensin (probabilidad proyectada de participar dadas las
caractersticas observadas); mientras ms precisa sea la puntuacin de la propensin,
mejor ser la correspondencia. Un buen grupo de comparacin proviene del mismo
entorno econmico y se le ha aplicado el mismo cuestionario por parte de
entrevistadores similarmente capacitados que el grupo de tratamiento.
Mtodos de doble diferencia o diferencia en las diferencias: en ellos, se compara un

grupo de tratamiento y uno de comparacin antes (primera diferencia) y despus de un
programa (segunda diferencia). Se deben eliminar los comparadores cuando se utilizan
puntuaciones de la propensin y si tienen puntuaciones fuera del margen observado
para el grupo de tratamiento.
Mtodos de variables instrumentales o control estadstico: en ellos se usa una o

ms variables que influyen en la participacin, pero no en los resultados, dada la
participacin. Esto identifica la variacin exgena en los resultados atribuibles al
programa, reconociendo que su establecimiento no es aleatorio sino intencional. Las
variables instrumentales se usan, primero, para predecir la participacin en el
programa; luego, se observa cmo vara el indicador de resultados con los valores
proyectados.
(Judy Baker 2000: 15)
Mtodos experimentales
Se distinguen por el uso de dos criterios de comparacin: de momentos y de
poblaciones.
Estos mtodos se basan en una seleccin aleatoria del grupo de control. Para ello,
del grupo de individuos que deciden participar en el programa y que son elegibles

se selecciona de manera aleatoria quines sern los beneficiarios y quines sern

los controles.
De esta manera se busca asegurar la igualdad entre el valor medio de D y el valor

medio de B, de manera que pueda estimarse el impacto medio del programa en el
grupo de beneficiarios.
Ntese que bajo este mtodo tanto el grupo de beneficiarios como el grupo de
control comparten la caracterstica de haber sido elegibles y haber decidido
participar en el programa. Esta caracterstica hace muy atractivo este mtodo frente
a otros.
En general, se considera que los diseos experimentales, conocidos tambin como

aleatorizacin, son las metodologas de evaluacin ms slidas. Se trata de un
resultado muy convincente porque, en teora, los grupos de control generados
mediante asignacin aleatoria sirven como un escenario contrafactual perfecto, sin
los dificultosos problemas de sesgo de seleccin que existen en todas las
evaluaciones.
La principal ventaja de esta tcnica es la simplicidad en la interpretacin de los

resultados, puesto que el efecto del programa sobre el resultado que se evala se
puede medir a travs de la diferencia entre las medias de las muestras del grupo de
tratamiento y el grupo de control.
El mtodo experimental para la evaluacin difiere de los no experimentales,

principalmente, por la utilizacin de la asignacin aleatoria de las personas a
diferentes tratamientos.
Es un experimento controlado que se realiza en diferentes momentos. Por ejemplo,

en el caso de un programa de capacitacin, una vez que se presentaron y
aceptaron los futuros participantes, se sortea aleatoriamente un conjunto que no va
a recibir el tratamiento y se estudian sus caractersticas y resultados a posteriori, al
tiempo que el resto se considera grupo de tratamiento. A veces, el objetivo de los
mtodos experimentales es el de estimar los impactos diferenciales entre diferentes
tratamientos.
Algunos conceptos bsicos en la evaluacin de impacto
Contrafactual: simulacin alternativa, lo que habra ocurrido si el proyecto

nunca se hubiera realizado o lo que habra ocurrido normalmente.
Grupo control: grupo no tratado, excluido del tratamiento.
Grupo de tratamiento: un tratamiento nuevo a implementarse (polticas o

intervenciones) que se administra a un grupo de personas.
Aleatorizacin: experimento

Algunos conceptos bsicos en la evaluacin de impacto
El sesgo de seleccin: se relaciona con los elementos no observables que

pueden sesgar los resultados (por ejemplo, capacidad individual, condiciones
preexistentes).
Los experimentos aleatorizados resuelven el problema del sesgo de

seleccin al generar un grupo de control experimental de personas que
habra participado en un programa, pero al que aleatoriamente se le neg el
acceso al programa o tratamiento. La asignacin aleatoria no elimina el
sesgo de seleccin, sino que equilibra el sesgo entre las muestras de
participantes y no participantes.
Aspectos operativos de una evaluacin de impacto.

opo y Robles: 2002
Para realizar la medicin de impacto de un programa cualquiera es necesario

definir cul es la variable o variables sobre las cuales se va a cuantificar dicho
impacto. As, si se piensa que aquellos individuos que participan de un programa
estarn en capacidad de incrementar sus ingresos, entonces ser sta la variable
sobre la cual se medir el impacto.
En general, aquellas variables utilizadas para medir el impacto del programa sern
aquellas que reflejen mejor los objetivos del mismo. En el caso particular de PRO
Joven se han considerado las siguientes variables sobre las cuales se medir el
impacto:
- Insercin laboral:
Se espera que aquellos jvenes que se encontraban desempleados vean
incrementadas sus posibilidades de encontrar trabajo luego de su participacin en
PRO Joven. En particular, se espera que la tasa de desempleo y la tasa de
actividad entre los beneficiarios del programa PRO Joven sean menores.
- Ingreso de los beneficiarios:

Se espera que los jvenes beneficiarios que perciban ingresos antes de
incorporarse al programa logren incrementar sus ingresos luego de haber
participado en el mismo. Para efectos de la presente evaluacin los ingresos sern
medidos en ingreso por hora. Ello se justifica en la medida que cambios en el
nmero de horas trabajadas pueden afectar las medidas de ingresos semanales,
quincenales o mensuales. Esto lleva a estimar por separado el efecto del

Aspectos operativos de una evaluacin de impacto.

opo y Robles: 2002
programa sobre el ingreso por hora y, por otro lado, el efecto sobre nmero de
horas trabajadas a la semana.
- Segregacin ocupacional por gnero:

Esta variable est referida a la mayor concentracin de las mujeres en
ocupaciones especficas respecto de los hombres. En el caso particular de PRO
Joven se estimar hasta qu punto el programa ayuda a disminuir tal segregacin
ocupacional.
Como ya se afirm anteriormente, si las personas se asignan aleatoriamente a los

dos grupos, luego de que ellas ya haban aplicado y probaron ser elegidas por el
programa para participar en l, el tratamiento se distribuye independientemente de
otros efectos causales del resultado final del tratamiento, eliminando el problema
del sesgo por omisin de variables. Por ejemplo, en un programa de capacitacin
laboral, la experiencia laboral, su educacin previa y los ingresos de la familia
influirn luego en los resultados en trminos de ingresos del programa, pero, en la
medida que el programa se asigne aleatoriamente, la distribucin de la experiencia
laboral, la educacin previa y los ingresos familiares son los mismos en el grupo
que se capacit y en el grupo control que qued sin capacitar.
Los mtodos experimentales pueden tener problemas

ticos y polticos
"Aunque los diseos experimentales se consideran el mtodo ptimo para

estimar el impacto de un proyecto, en la prctica, tienen varios problemas.
Primero, la aleatorizacin podra ser poco tica debido a la negacin de
beneficios o servicios a miembros de la poblacin de por s calificados para el
estudio. Como un ejemplo extremo, se podra citar la negacin de tratamiento
mdico que podra salvar la vida de algunos miembros de la poblacin (Baker
J. 2000: 2).

Mtodos cuasi experimentales

Estos mtodos slo comparan momentos en relacin con una misma poblacin.
Se pueden emplear mtodos cuasi experimentales (no aleatorios) para realizar una
evaluacin cuando es imposible crear grupos de tratamiento y de comparacin a
travs de un diseo experimental. Estas tcnicas generan grupos de comparacin
que se asemejan al grupo de tratamiento, al menos en las caractersticas
observadas, usando metodologas economtricas que incluyen mtodos de pareo,
mtodos de doble diferencia, mtodos de variables instrumentales y comparaciones
reflexivas.
El conjunto de datos disponibles, junto al conocimiento de la teora social y

econmica, tien a los mtodos cuasi experimentales de mayor relevancia, pero
tambin los hace depender crucialmente de la disponibilidad de datos confiables,
con diseos muestrales realizados en forma cientficamente correcta, as como de
la aplicacin de mtodos economtricos especiales que fundamentalmente tratan
de lidiar con el sesgo de seleccin ya estudiado, y tambin con otros aspectos de la
estimacin de los modelos que han motivado toda una vertiente de anlisis, cuyo
exponente mayor es J. Heckman.
Siguiendo a opo y Robles, el requisito central para formar un grupo de control es

lograr que ste sea comparable en un conjunto de caractersticas o atributos al
grupo de beneficiarios. En general, esos atributos deben ser tales que permitan
asegurar que los controles tendrn en promedio una situacin en el estado de no
tratamiento (D) que represente bastante bien la que tendran en ese estado los
beneficiarios (B) si es que no hubieran formado parte del programa. Asegurar que
esto sea as es la principal y ms difcil tarea de la evaluacin.
Existen tres estimadores ampliamente usados en la literatura sobre evaluacin para

medir el impacto de un programa intervencin:
El estimador antes y despus

El estimador de diferencia en diferencias o doble diferencia
El estimador de corte transversal
Como La raz del problema en los mtodos cuasi experimentales es el sesgo de

seleccin, no es de extraar que la mayora del tema se centre en cmo conformar
grupos de control adecuados que no son diseados ad hoc, sino que hay que
conformarlos analticamente.
En los diseos cuasi experimentales, los modelos estadsticos (por ejemplo, de

pareo, dobles diferencias, variables instrumentales) se acercan a esto modelando
los procesos de seleccin para llegar a una estimacin insesgada usando datos no
experimentales. La idea general es comparar los participantes y no participantes del
programa, manteniendo constantes los procesos de seleccin. La validez de este
modelo depende de qu tan bien se especifique el modelo.
Para ello, en la prctica, se cuenta con diferentes tipos de conjuntos de datos:
Cortes transversales o encuestas en diferentes momentos del tiempo

Paneles de individuos a lo largo de uno o varios puntos temporales

Registros administrativos del programa (datos sobre participantes)
Grfico 7.2
Efecto del tratamiento sobre los tratados estimadores de diferencia en diferencias
Resultado
Fuente:
http://dide.minedu.gob.pe/xmlui/bitstream/handle/123456789/711/389.%20Una%20medici%C3%B3n
%20del%20impacto%20del%20Programa%20de%20Capacitaci%C3%B3n%20Laboral%20Juvenil%
20PROJoven.pdf?sequence=1
El efecto del tratamiento bajo el estimador de diferencias en diferencias es: Efecto del Tratamiento
( ) ( )
= YB t 1 YC t 1 YB t 0 YC t 0
Fuente: AEDO Christian Evaluacin de impacto. Pg. 16.
Una vez definido el grupo de control ahora es una aproximacin, al contrario que
en el caso experimental, la estimacin de los parmetros de inters ya
introducidos se hace en forma similar al mtodo experimental, utilizando el
estimador de diferencias en diferencias y los mtodos de estimacin basados en
variables instrumentales. Como se vio anteriormente, los primeros comparan el
grupo de tratamiento y el de control antes y despus de la intervencin, mientras
que el que utiliza variables instrumentales identifica variables que tengan relacin
con la participacin, pero que no influyan los resultados condicionados a esa
participacin.
Mtodos de apareamiento o de matching

Uno de los mtodos crecientemente ms utilizados en este contexto son los
mtodos de apareamiento o de matching que son aquellos que buscan
conformar un grupo de control que sea, en todas sus caractersticas personales,

muy similar al grupo de tratamiento; por ello, controla por el efecto antes discutido y
evala el impacto en trminos de diferencia en el resultado de ambos grupos.
En otras palabras, para cada participante se busca un individuo que tenga las
mismas caractersticas personales X, pero que no haya participado, es decir, que
pertenezca al grupo de control. Dentro de estos mtodos, el llamado propensity
score matching (PSM) aparece como el ms desarrollado y recientemente fue
aplicado para la evaluacin de programas de empleo y pobreza en Argentina (Jalan
y Ravallion 2001). Este mtodo estadstico fue propuesto originalmente por
Rosenbaum y Rubin (1983).
El mtodo de apareamiento, en general, conforma el grupo de control sobre la base

de un conjunto de variables explicativas X de los individuos. Este mtodo requiere
un enorme conjunto de datos que puedan dar lugar a tener un grupo de control con
las mismas caractersticas que el grupo tratado.
Por este aspecto, el PSM vincula el grupo de control y el de tratamiento a travs de

la probabilidad de participar de los individuos Pr (Xi), en funcin de variables
explicativas; define el propensity score como:
1
e(xi ) = Pr Pi =
xi
Segn Rafael Diez de Medina:
En la prctica, la PSM debe ser estimada mediante un modelo logit o probit. El

apareamiento se realiza sobre la base de la cercana de los PSM estimados para
cada individuo del grupo de tratamiento y del grupo de control. La idea es minimizar
las distancias entre ellos para poder luego estimar las diferencias en los resultados.
Hay varias formas de definir estadsticamente esas distancias, pero ello no se
tratar aqu (vase Rosenbaum y Rubin 1983; Wooldridge 2002).
Baker (2000) resume muy bien los pasos a seguir para utilizar la PSM:
Utilizar una muestra representativa de participantes y de no participantes que

pudieran haber sido elegidos para el programa (las muestras deberan ser de la
encuesta ms similar y comparable).
Estimar un modelo logit o probit para explicar la probabilidad de participar utilizando

ambas submuestras de participantes y no participantes elegibles. (Medina. 2004:
140).
Ventajas de los mtodos cuasi experimentales

Son de menor costo que los diseos experimentales, ya que, generalmente,
las muestras proceden de otras fuentes diferentes a las de la administracin
del programa.
Puede dar respuesta a todos los parmetros de inters citados como
necesarios de conocer a la hora de hacer una evaluacin. En particular,
puede dar los indicadores de distribucin del impacto ya citados.

Implica la utilizacin de modelos de comportamiento econmico y social en la

modelizacin, lo que deja de lado el enfoque nicamente estadstico
prevaleciente en los diseos experimentales (considrese la modelizacin de
la probabilidad de participar, por ejemplo). En particular, se trata de incorporar
los avances en la teora de las decisiones y del comportamiento
macroeconmico del individuo en la estimacin de los modelos economtricos
subyacentes.
No hay limitaciones ticas como en la experimentacin social.
Inconvenientes de los mtodos cuasi experimentales

Si no se logra conformar un grupo de tratamiento que se comporte como si
hubiera sido asignado aleatoriamente, el mtodo fracasara, puesto que toda
evaluacin de impacto tendra estimaciones inconsistentes del punto de vista
estadstico. Existen muchas maneras de estimar grupos de control adecuados
y todas descansan en tcnicas economtricas que consideran directa o
indirectamente la manera en que los individuos hacen sus decisiones y
alcanzan resultados.
El conjunto de datos disponible no forzosamente llena los requisitos que el
evaluador necesita que cumpla. Como se necesita que los individuos se
comporten como si fueran participantes o grupo de control, a veces, los datos
no se adecuan a los perfiles de uno u otro grupo.
Se necesita ineludiblemente abordar con rigurosidad la estimacin del sesgo
de seleccin mediante diferentes estrategias que pueden dar diversidad de
resultados.
Es posible que exista sesgo de contaminacin, en el sentido de que, en los
datos como grupo de control, puede haber individuos que hayan pasado por
capacitacin similar a la del programa a evaluar, por ejemplo, pero que no se
explicite por qu el conjunto de datos no contiene esa informacin.
Algunas conclusiones sobre mtodos experimentales y

no experimentales
Los mtodos experimentales son deseables tericamente, son de muy costosa

y difcil conformacin en forma totalmente compatible con los objetivos de
evaluar los resultados.
Su enfoque principalmente estadstico los hace atractivos, pero despojados de

muchos aspectos que hacen a la inclusin de los comportamientos humanos en
la metodologa. Por otra parte, es de destacar la poca utilizacin en la
evaluacin de programas en Amrica Latina y el Caribe, principalmente debido
a sus altos costos y la resistencia de los administradores de los mismos
basndose en razones ticas y polticas.
La utilizacin de mtodos cuasi experimentales es la prctica ms extendida,

aunque el nivel de rigurosidad y exactitud metodolgica vara en forma muy
importante. La necesidad de contar con bases de datos adecuados y
comparables muchas veces limita la validez de los resultados estimados y pone

Algunas conclusiones sobre mtodos experimentales y

no experimentales
en tela de juicio la credibilidad de la metodologa, ya que es fcilmente

debatible en funcin de la opcin economtrica elegida para su modelizacin.
El prever el levantamiento de informacin sobre participantes y no participantes

en un programa debera ser, desde el inicio del mismo, parte integrante de la
presupuestacin de cualquier programa de capacitacin. Ello asegurara una
evaluacin de medio trmino y final compatible metodolgicamente con los
objetivos del programa.
Los diseos previos de los programas deben introducir explcitamente la

conformacin de bases de datos desde el propio inicio del programa.
La aceptacin de la necesidad de evaluar los programas con tcnicas

cientficamente robustas es creciente a nivel de la ejecucin de las polticas
pblicas. De los mtodos revisados se puede inferir que la necesidad de
contrastar los resultados obtenidos de un conjunto de participantes con un
grupo de control es vital para poder llegar a una conclusin sobre la eficiencia
de las intervenciones, pero tambin para monitorear el cumplimiento de las
metas a lo largo de la ejecucin de los programas y no nicamente al final. La
transparencia o accountability de los mismos se logra con evaluaciones
cientficas y robustas desde el punto de vista tcnico.
Rafael Diez de Medina. Introduccin a los mtodos experimentales y cuasi

experimentales para la evaluacin de programas de capacitacin.
Mtodos cualitativos
Baker J. nos recuerda la importancia y vigencia de los mtodos cualitativos en la
evaluacin.
Para realizar una evaluacin del impacto tambin se usan tcnicas cualitativas, en
un intento por determinar el efecto basndose en algo diferente al escenario
contrafactual para realizar una inferencia causal (Mohr, 1995). En su lugar, se trata
de comprender los procesos, comportamientos y condiciones como las perciben los
individuos o grupos estudiados (Valadez y Bamberger, 1994). Por ejemplo, los
mtodos cualitativos y, en particular, la observacin de los participantes, puede
proporcionar informacin sobre las formas en que los hogares y las comunidades
locales perciben un proyecto y cmo se ven afectados por este.
Las ventajas de las evaluaciones cualitativas son su flexibilidad y la posibilidad de

ser adaptadas especficamente a las necesidades de la evaluacin usando
enfoques adaptables, de realizarlas usando tcnicas inmediatas y de mejorar en
forma significativa los resultados de una evaluacin del impacto al proporcionar una
mayor comprensin de las percepciones y prioridades de las partes interesadas y

las condiciones y procesos que pueden haber afectado las repercusiones de un

programa.
Entre las principales desventajas se encuentra la subjetividad involucrada en la

recopilacin de datos, la falta de un grupo de comparacin y la falta de solidez
estadstica dados los tamaos de la muestra en su mayora reducidos, lo que hace
difcil generalizar los resultados para una poblacin representativa y ms numerosa.
La validez y confiabilidad de los datos cualitativos depende en gran medida de la
habilidad metodolgica, sensibilidad y capacitacin del evaluador. Si el personal en
terreno no es sensible a las normas y prcticas sociales y culturales especficas y a
los mensajes no verbales, los datos reunidos pueden ser mal interpretados. Y por
ltimo, sin un grupo de comparacin, es imposible determinar el escenario
contrafactual y, por lo tanto, la causalidad del efecto del proyecto. (Baker 2000: 16)
La integracin de las evaluaciones cuantitativas y cualitativas, con frecuencia,

puede ser el mejor vehculo para satisfacer las necesidades de un proyecto. Al
combinar los dos enfoques, los mtodos cualitativos se pueden usar para informar
las preguntas clave sobre la evaluacin del impacto, examinar el cuestionario o la
estratificacin de la muestra cuantitativa y analizar el marco social, econmico y
poltico dentro del cual se lleva a cabo un proyecto. Los mtodos cuantitativos, en
tanto, se pueden usar para informar las estrategias de recopilacin de datos
cualitativos, disear la muestra para informar la medida en que los resultados
observados en el trabajo cualitativo son aplicables a una poblacin de mayor
tamao al usar una muestra estadsticamente representativa. Finalmente, el anlisis
estadstico se puede usar para controlar por las caractersticas de los hogares y las
condiciones socioeconmicas de diferentes reas de estudio, con lo que se
eliminan las explicaciones alternativas de los resultados observados. (Baker 2000:
17)
Mtodos no experimentales, sin escenario contrafactual
Los estudios cualitativos que evalan las condiciones de la poblacin antes,

durante y despus de las polticas de ajuste se implementan a travs de
grupos representativos, entrevistas y otras tcnicas cualitativas.
Son enfoques antes y despus, en que se compara el comportamiento de

variables clave durante y despus de un programa con aquel anterior al
programa.
En este caso, se emplean mtodos estadsticos para evaluar si existe algn

cambio significativo en algunas variables esenciales en el tiempo. Este
enfoque, con frecuencia, entrega resultados sesgados, porque se supone
que, de no mediar el programa, los indicadores de comportamiento habran
retomado sus valores del perodo anterior a la crisis.
7.3 Las fortalezas y debilidades del diseo de evaluacin
Es conveniente evaluar las fortalezas y debilidades del diseo de evaluacin y

subsanar las debilidades para fortalecer el diseo de la evaluacin. Es altamente

probable que el proceso evaluativo adolezca de ciertas debilidades que restaran la

validez e importancia a las conclusiones y recomendaciones, por lo que es
necesario proteger y fortalecer el diseo de evaluacin.
Las debilidades generan,
Amenazas a la validez de la conclusin estadstica (causalidad)

Amenaza a la validez interna ( supuestos-impactos incorrectos)
Amenazas a la validez externa (supuestos-generalizacin)
Cuadro 7.3
Algunas amenazas que afectan la validez incluso de los diseos cuantitativos
ms robustos
Amenazas a la validez
F. Amenazas a la validez de la conclusin estadstica
1. Bajo poder estadstico La muestra es muy pequea como para poder
detectar efectos estadsticamente significativos
4. Poca confiabilidad de Los indicadores no miden adecuadamente variables
las medidas clave.
5. Restriccin del rango La muestra no cubre a toda la poblacin. Por
ejemplo, los grupos de menor o mayor ingreso se
encuentran excluidos de la muestra, o sta solo
cubre a las empresas que emplean a ms de 10
personas.
6. Poca confiabilidad de la Los tratamientos no fueron aplicados uniformemente
aplicacin del tratamiento a todos los sujetos, y a menudo las diferencias en la
aplicacin de los mismos no estn documentadas.
Por ejemplo, algunas madres recibieron pastillas
contra la malaria y orientacin de parte del enfermero
o enfermera, mientras que otras solo recibieron las
pastillas.
G. Amenazas a la validez interna
2. Sesgos en la seleccin Diferencias entre los grupos del proyecto y de
comparacin relacionada con factores que afectan
los efectos directos.
6. Atricin Aunque el grupo del proyecto inicialmente haya sido
representativo de la poblacin total, algunos
subgrupos (por ejemplo, los menos educados, las
mujeres con hijos pequeos, los trabajadores/as
independientes) acusan tasas ms altas de
desercin y por lo tanto las personas que realmente
han estado expuestas al proyecto dejan de ser
representativas de toda la poblacin.
H. Amenazas a la validez del marco conceptual
1. Explicacin inadecuada No se explican o definen claramente los conceptos
de los marcos bsicos del modelo.
conceptuales y del
modelo terico del
programa

8. Reactividad ante los Las respuestas pueden verse afectadas por la forma
instrumentos de en que los sujetos reaccionan ante la entrevista u
recoleccin de datos otros mtodos de recoleccin de datos. Por ejemplo,
los entrevistados pueden informar que son ms
pobres de lo que realmente son, o que el proyecto no
ha generado beneficios porque esperan que la
organizacin provea nuevos servicios o reduzca el
costo de los servicios actuales.
I. Amenazas a la validez externa

6. Influencia de quienes El respaldo o la oposicin de quienes disean las
disean las polticas en polticas en determinadas localidades pueden afectar
los efectos directos del los efectos directos del programa de formas que
programa pueden ser difciles de evaluar.
7. Ciclos estacionales Muchas encuestas se llevan a cabo durante una sola
poca del ao y pueden no recoger adecuadamente
variaciones estacionales importantes.
Fuente: MICHAEL BAMBERGER, JIM RUGH Y LINDA MABRY REALWORLD EVALUATION: WORKING UNDER BUDGET, TIME,
DATA AND POLITICAL CONSTRAINTS, SAGE PUBLICATIONS, 2006.
Lectura 1 (en lnea)

BAKER, Judy
2000 Captulo 3 Aplicacin de mtodos analticos para la evaluacin de impacto:
Estudio de caso. En Evaluacin del impacto de los proyectos de desarrollo
en la pobreza. Manual para profesionales. Washington D.C.: Banco
Mundial, pp.38-61. Consulta: 3 de diciembre de 2013.
http://preval.org/files/00900.pdf
Lectura 2 (en lnea)

AEDO Cristian
2005 Captulo I Aspectos introductorios, y Anexo 2 Mtodos no paramtricos.
En Evaluacin del impacto. CEPAL Serie Manuales n 47. Santiago de
Chile: Naciones Unidas, pp. 7-18 y 70-75. Consulta: 3 de diciembre de
2013.
http://www.eclac.org/publicaciones/xml/7/24337/lcl2442e.pdf
Lectura 3 (en lnea)

COHEN Ernesto y Rodrigo MARTNEZ
s/f Captulo VII: Evaluacin ex-post y Anexo 8.5: Tcnicas de estimacin.
En Manual de Formulacin, evaluacin y monitoreo de proyectos sociales.
s/l: CEPAL. Divisin de Desarrollo Social, pp. 103-109 y 124-129. Consulta:

3 de diciembre de 2013.
http://www.eclac.org/dds/noticias/paginas/8/15448/Manual_dds_200408.pdf
Lectura 4 (en lnea)

OPO Hugo, Miguel ROBLES y Jaime SAAVEDRA
2002 2. Evaluacin de impacto: marco terico. 3. Aspectos operativos. 4.
Estadsticas generales. 5. Estimacin del impacto en los usuarios de
ProJoven. En Una medicin del impacto del programa de capacitacin
laboral juvenil PROJoven. Documento de trabajo 36. Lima: GRADE, pp. 9-
46. Consulta: 3 de diciembre de 2013.
http://www.grade.org.pe/download/pubs/ddt/ddt36.pdf
Lectura 5 (en lnea)

NAVARRO, HUGO
2005 Manual para la evaluacin de impacto de proyectos y programas de lucha
contra la pobreza. Santiago de Chile: ILPES/CEPAL, p. 51. Consulta: 3 de
diciembre de 2013.
http://www.eclac.cl/publicaciones/xml/1/21591/manual41.pdf
Lectura 6 (en lnea)

BAMBERGER Y OTROS
2007 Trabajando bajo restricciones presupuestarias, cronolgicas, de
informacin y polticas. Visin General. Sage Publications, 2006. Consulta:
3 de diciembre de 2013.
http://www.realworldevaluation.org/uploads/Evaluacion_en_un_Mundo_Rea
l__vision_general__2010.07.28_.doc
Lectura 7 (en lnea)

NAVARRO, Hugo y otros
2006 Pauta metodolgica de evaluacin de impacto ex ante y ex post de
programas sociales de lucha contra la pobreza. Aplicacin metodolgica.
Santiago de Chile: ILPES/CEPAL. Consulta: 3 de diciembre de 2013.
http://www.eclac.cl/publicaciones/xml/8/24158/manual48.pdf

EJERCICIOS DE EVALUACIN DESARROLLADOS
Caso 1: evaluacin de Costo-impacto (RCI)
En este caso se utiliza el RCI como una herramienta para comparar la eficiencia de
diferentes alternativas en la generacin de un determinado impacto. Este ejercicio implica
simplemente ordenar jerrquicamente las RCI de cada una de las alternativas que se
evalan. La alternativa con menor RCI es la ms eficiente dentro del conjunto de
alternativas que se evalan.
Se toma un ejemplo de Navarro (2005), donde seala que el principal objetivo del electo
Gobernador del Departamento de Latinlandia es reducir la pobreza. Con este propsito
su equipo de gobierno a diseado seis programas que atacan diferentes restricciones
econmicas y sociales que afectan actualmente a los habitantes del Departamento. Sin
embargo, debido a restricciones presupuestales, se podran implementar mximo tres de
estos programas. El problema es que el Gobernador y su equipo de Gobierno no cuentan
con informacin suficiente y confiable acerca de la eficiencia de estos programas en la
reduccin de la pobreza. Dada esta limitacin, el director de la Divisin de Evaluacin de
Impacto propone realizar pruebas pilotos de cada uno de los programas y evaluar el
impacto de cada uno de ellos. Este funcionario explica que el departamento est
conformado por seis municipios, los cuales son muy homogneos, con similares
caractersticas econmicas y socioeconmicas. Ms aun, los niveles de pobreza son casi
iguales. La propuesta metodolgica de este funcionario es:
(1) Implementar aleatoriamente cada programa en un municipio diferente.

(2) Construir grupos de control y tratamiento en cada municipio (diseo experimental).
(3) Recolectar la informacin sobre el nivel de ingreso de los grupos de control y
tratamiento antes y despus de la prueba piloto de cada uno de los programas.
(4) Estimar el impacto sobre la pobreza (variacin de H).
(5) Analizar la eficacia de cada una de las intervenciones.
(6) Construir las RCI y jerarquizar los programas.
El gobernador acepta la propuesta. Los resultados obtenidos se muestran en el tabla 1.

Como se observa, el programa de guarderas escolares es el ms eficiente en reducir la
pobreza, a pesar que no es el ms eficaz entre las alternativas de solucin que existen.
Esto significa que los costos en que incurre el programa por unidad de impacto son
menores en comparacin con el resto de alternativas (U$7.5). As mismo, la segunda
mejor alternativa de inversin es el programa de microcrdito con una RCI de US$9.09.
Ahora la tarea del Gobernador es determinar el presupuesto disponible para invertir en
programas de reduccin de la pobreza, y distribuirlo de acuerdo a la jerarquizacn
definida en la evaluacin.

Tabla 1
Grupo
Programas de Grupo de Grupo de Grupo de Impacto Jerarquizacin VPC* Indicador Jerarquizacin
control tratamiento control tratamiento [(2)-(4)- (miles
(1) (2) (3) (4) (1)-(3)] por eficacia de US$) RCI RCI
1. Becas
escolares 65 64 55 47 7 4 90 12.86 3
2. Guarderas
escolares 64 63 54 45 8 3 60 7.50 1
3. Bonos
alimenticios 63 62 53 49 3 6 50 16.67 6
4. Microcrdito 62 61 52 40 11 1 100 9.09 2
5. Capacitacin
de jovenes
desempleados 61 60 51 45 5 5 80 16.00 5
6. Seguro de
desempleo
para madres
cabeza de
familias 60 59 50 40 9 2 120 13.33 4
*Valor Presente de Costos

Los siguientes casos son tomados de Navarro y otros (2006) donde se analiza un
programa integral que busca principalmente mejorar la salud y nutricin de nios en una
poblacin determinada.
Caso 2: evaluacin de situacin de antes y despus del proyecto
Para el clculo de los indicadores de impacto de este caso se recolect informacin antes
de que los nios ingresaran al programa y un ao despus de haber iniciado su
participacin. Los indicadores de impacto en la situacin con y sin proyecto se calculan
estimando la media de cada indicador en cada momento del tiempo. La frmula para este
clculo se muestra en la ecuacin 1, donde I es el indicador de impacto promedio, P
indica si la medicin corresponde a la situacin con y sin proyecto (0=sin y 1=con), n es el
nmero de individuos que conforman el grupo de tratamiento e Y es la variable de
impacto.
Ecuacin 1
1 1
=0 = =1 , =1 = =1 , [1]

En la tabla 1 se muestra el valor de los indicadores de impacto en la situacin con y sin

proyecto para el grupo tratamiento.
Tabla 1. Tabla de indicadores

Indicadores de impacto Grupo tratamiento
Sin proyecto (a) Con proyecto (b)
Porcentaje de nios que asisten a
78.18 100.00
consultas de crecimiento y desarrollo
Nmero de visitas al mdico 2.05 5.55
Ingreso per cpita del hogar (mensual) 65,419.92 74,101.01
Tasa de incidencia de la diarrea
8.75 10.00
(porcentaje)
Duracin de la diarrea (das) 0.51 0.55
Duracin de la gripa (das) 6.14 5.61
Tasa de inactividad (porcentaje) 22.44 29.26
Porcentaje de nios que tuvieron que 63.63 75.00

permanecer en cama
Porcentaje de nios en riesgo de 10.81 -
desnutricin (peso/edad)
Porcentaje de nios en riesgo de 25.68 1.25
desnutricin (peso/talla)
Fuente: elaborado por los autores
En este diseo, el impacto se calcula comparando la media (promedio) de los indicadores de

impacto para el grupo de tratamiento en la situacin con y sin proyecto (ver ecuacin 2).

Ecuacin 2
= =1 =0 [2]
Los resultados se muestran en la tabla 2. Se indica el impacto absoluto y porcentual

generado por el programa de acuerdo con el diseo con controles reflexivos. Por ejemplo,
el nmero de visitas al mdico aument en 3.5 visitas al ao (impacto absoluto),
representando un aumento de este indicador del 170.14% (impacto porcentual).
Retomando la informacin suministrada en la Tabla 1 este aumento significa que si el
programa no se hubiera implementado, los beneficiarios del programa hubieran visitado
al mdico solo 2.05 veces al ao y que como producto de la implementacin de Programa
visitaron al mdico 5.55 veces al ao.
En la estimacin del impacto del Programa es indispensable que los cambios sean
estadsticamente significativos. Para determinar la significancia estadstica del impacto se
aplic una prueba de diferencia de medias utilizando el t-estadstico. Los resultados
indican que el Programa gener, de acuerdo con el diseo de controles reflexivos, un
impacto significativo en el nmero de visitas al mdico y el porcentaje de nios en riesgo
de desnutricin. En el primer indicador, como se analiz anteriormente, los beneficiarios
incrementaron el nmero de visitas en un 170.1%. Por su parte, el porcentaje de nios en
riesgo de desnutricin disminuy en un 100% utilizando como medida antropomtrica el
peso/edad y 94.74% usando peso/talla. Estos cambios son estadsticamente
significativos a un nivel de confianza del 95%. En el resto de indicadores de impacto no
se observan cambios estadsticamente significativos.
Tabla 2. Resultados de impacto

Indicadores de impacto Grupo tratamiento t- test
Absoluto Porcentual
(b-a) (b/a-1)*100
Porcentaje de nios que asisten a consultas de
crecimiento y desarrollo 21.82 27.91 3.30 ***
Nmero de visitas al mdico 3.50 170.73 6.37 ***
Ingreso per cpita del hogar (mensual) 8,681.09 13.27 0.78
Tasa de incidencia de la diarrea (porcentaje) 1.25 14.29 0.27

Duracin de la diarrea (das) 0.04 7.84 0.11
Duracin de la gripa (das) (0.53) (8.63) 0.64
Tasa de inactividad (porcentaje) 6.82 30.39 0.73
Porcentaje de nios que tuvieron que permanecer
en cama 11.37 17.87 0.57
Porcentaje de nios en riesgo de desnutricin
(peso/edad) (10.81) (100.00) 2.96 ***
(peso/talla) (24.43) (95.13) 4.80 ***
*** valor significativo al 5% (t >1.976)

Caso 3: evaluacin solo despus del proyecto (grupo control y

tratamiento)
En este ejemplo se evala la situacin del proyecto visto anteriormente cuando el mismo
ya culmin y en este caso, solo se cuenta para la evaluacin de impacto con grupo
intervenido y con un grupo control, no se cuenta con una medicin inicial de ambos
grupos.
Para este ejemplo se va a utilizar la ecuacin 3. En donde el subndice T indica el grupo

al que pertenece el nio (1 para los beneficiarios que conforman el grupo de tratamiento y
0 para los miembros del grupo de control).
Ecuacin 3
1 1
=0 = =1 ; =1 = =1 .[3]

En la tabla 3 se muestra el valor de los indicadores de impacto para el grupo de

tratamiento y control en la situacin con proyecto. No se calcularon los indicadores
relacionados con las visitas al mdico porque solo un hogar del grupo de control
suministr esta informacin.
Tabla 3. Indicadores de impacto en la situacin sin y con proyecto
Indicadores de impacto Grupo tratamiento(a) Grupo control (b)
Ingreso per cpita del hogar (mensual) 74,101.0 142385.5
Tasa de incidencia de la diarrea (porcentaje) 10.00 11.11
Duracin de la diarrea (das) 0.55 0.44

Duracin de la gripa (das) 5.61 6.96
Tasa de inactividad (porcentaje) 29.26 38.46
Porcentaje de nios que tuvieron que
75.00 73.33
permanecer en cama
0.00 4.17
(peso/edad)
1.25 6.94
(peso/talla)
En este diseo, el impacto se calcula comparando la media de los indicadores de impacto

para el grupo de tratamiento y control en la situacin con proyecto (ver Ecuacin 4).
Ecuacin 4
= =1 =0 .[4]
Los resultados se muestran en la tabla 4, indicando el impacto absoluto y porcentual

generado por el programa de acuerdo con el diseo de slo despus. La prueba de

significancia de medias indica que el nico impacto significativo del Programa es sobre el
porcentaje de nios en riesgo de desnutricin. Al comparar los resultados obtenidos en
este indicador con el caso de situacin con y sin proyecto se obtuvo una diferencia de
6.64 y 18.73 puntos porcentuales al utilizar el indicador de peso/edad y peso/talla
respectivamente, siendo el impacto menor en el diseo de slo despus.
Tabla 4. Resultados de impacto

Indicadores de impacto Grupo tratamiento t- test
Absoluto Porcentual
(b-a) (b/a-1)*100
Ingreso per cpita del hogar (mensual) -68248.49 -47.96 1.37
Tasa de incidencia de la diarrea (porcentaje) -1.11 -10.00 0.22

Duracin de la diarrea (das) 0.11 23.75 0.35
Duracin de la gripa (das) -1.36 -19.49 1.40
Tasa de inactividad (porcentaje) -9.20 -23.92 0.86
Porcentaje de nios que tuvieron que permanecer en
cama 1.67 2.27 -0.09
(peso/edad) -4.17 -100.00 1.85 **
(peso/talla) -5.69 -82.00 1.80 **
***Valor significativo al 10%)

Material de Estudios.

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Material de Estudios.

Încărcat de

Drepturi de autor:

Formate disponibile

Evaluacin de Programas y Proyectos de Desarrollo

Pontificia Universidad Catlica del Per 1

Evaluacin de Programas y Proyectos de Desarrollo

Primera, segunda y tercera edicin: Amalia Beatriz Cuba Salerno (autora)

Coordinacin de curso: Luis Maldonado Villavicencio

Diagramacin y edicin: PUCP Virtual

Pontificia Universidad Catlica del Per

Derechos reservados, prohibida la reproduccin de este material por cualquier medio,

UNIDAD I: ASPECTOS BSICOS DE LA EVALUACIN DE LOS PROGRAMAS Y

UNIDAD II: LA EVALUACIN EN EL CICLO DEL PROGRAMA Y PROYECTOS: EL

Pontificia Universidad Catlica del Per 3

UNIDAD III: MODELOS, TCNICAS Y MTODOS DE EVALUACIN DE PROYECTOS

EJERCICIOS DE EVALUACIN DESARROLLADOS ................................................. 119

La evaluacin de los programas y proyectos de desarrollo es la apreciacin sistemtica y

La comprensin y aplicacin de la evaluacin es adaptativa y depende del tipo de las

Definitivamente la evaluacin est asociada a conceptos que conocemos y cuyos lmites

La evaluacin es una vocacin y un compromiso por desnudar las experiencias en cuanto

Pontificia Universidad Catlica del Per 5

y donde el personaje que hace la evaluacin se convierte no en juez sino en un personaje

En esa perspectiva, la evaluacin de los programas y proyectos sociales, busca la

La evaluacin es ms, que un concepto amplio, y cuya comprensin y aplicacin

La evaluacin forma parte del ciclo de planificacin de los programas y proyectos y

En 1990 existan en el mundo slo cinco asociaciones de evaluacin reconocidas

As, desde esta perspectiva, los sistemas de seguimiento, monitoreo y evaluacin

Esperamos que el presente curso contribuya slidamente a revisar el estado de la

Criterios y estndares bsicos de la evaluacin: pertinencia, eficacia, eficiencia y

La evaluacin en el ciclo del programa o proyecto.

La evaluabilidad del programa o proyecto y los trminos de referencia.

El diseo de una evaluacin. La elaboracin del plan de evaluacin

La tipologa de las evaluaciones.

Pontificia Universidad Catlica del Per 7

UNIDAD I: ASPECTOS BSICOS DE LA EVALUACIN DE LOS

Conceptos bsicos y el contexto de la

1.1. Qu es evaluacin? Qu se entiende por evaluacin de

El concepto de evaluacin se ha ido modificando y encontramos en varios trabajos,

a. Segn la OECDDAC en el ao 2001 entenda la evaluacin como la

b. Es el medio para comprobar si los proyectos y programas alcanzan sus

c. Es la valoracin de los resultados de un proyecto y del efecto ejercido en la

d. La evaluacin tambin se refiere al proceso de determinar el valor o la

Pontificia Universidad Catlica del Per 9

apreciacin, tan sistemtica y objetiva como sea posible, de una intervencin

e. Para Beltrn A. (2007) es tambin el terminar la rentabilidad de un programa

f. Y Rodrguez y Zeballos (2007f) consideran que La evaluacin es un proceso

Valorar si las acciones ejecutadas (estrategia del proyecto) son las

Obtener elementos de juicio fundamentados para tomar decisiones que

Producir aprendizajes tiles para la evaluacin como tal y para mejorar

La evaluacin concentra su esfuerzo de anlisis en el cambio y en las acciones

Adems podemos mencionar otras definiciones ms, para comprender la evolucin

g. El uso de procedimientos de las ciencias sociales para investigar de manera

h. Es la recoleccin sistemtica de informacin sobre las caractersticas y

La diferente forma de conceptualizar la evaluacin, revelan un conjunto de otros

1.1 Una perspectiva histrica de la evaluacin

Asimismo, se impulsan los sistemas de monitoreo y evaluacin, y la gestin por

Los paradigmas del mundo de los proyectos y programas de desarrollo han

Entre las caractersticas centrales de un proceso evaluativo, podemos mencionar

Transdisciplinaria, utiliza diversas herramientas de las diferentes ciencias

Podemos, en este sentido, mencionar a algunos de ellos. Segone Marcos, tratando

Durante los aos cincuenta se comenz a implementar la evaluacin en agencias

Pontificia Universidad Catlica del Per 11

En el segundo perodo, durante los aos ochenta, tuvo lugar un aumento en el

En el perodo actual, las agencias han internalizado el significado y la necesidad de

Perodo Objetivo Enfoque

El alcance de la evaluacin ha cambiado a travs de los aos y se considera