Documente Academic
Documente Profesional
Documente Cultură
de Polticas Pblicas
Programa de
Presidencia
de la Nacin
Jefatura de
Gabinete de Ministros
Autoridades
Presidenta de la Nacin
Dra. Cristina Fernndez de Kirchner
Jefe de Gabinete de Ministros
Cr. Dr. Anbal Domingo Fernndez
Secretaria de Gabinete
Dra. Silvina Elena Zabala
Subsecretario de Gestin y Empleo Pblico
Lic. Daniel Fihman
Secretario de Coordinacin Administrativa y Evaluacin Presupuestaria
Cr. Jos Lucas Gaincerain
Subsecretaria de Evaluacin del Presupuesto Nacional
Lic. Cristina Crescenzi
Subsecretario de Evaluacin de Proyectos con Financiamiento Externo
Lic. Federico Hernn Bekerman
Para citar este documento: Jefatura de Gabinete de Ministros (2015). Manual de base
para la evaluacin de polticas pblicas en Argentina versin preliminar-. Programa de
Evaluacin de Polticas Pblicas, Jefatura de Gabinete de Ministros de la Nacin.
Buenos Aires, Argentina. 44 p.
Versin web disponible en la pgina de la Jefatura de Gabinete de Ministros | Programa
de Evaluacin de Polticas Pblicas
www.jefatura.gob.ar/servicios_al_ciudadano
NDICE
PRESENTACIN ............................................................................................... 4
CAPTULO 1. CONCEPTO DE EVALUACIN .................................................. 7
1.1. Objetivos de la Evaluacin ........................................................................ 10
1.1.a. Evaluacin como concepto distinto de la auditora, el control y la
investigacin ..................................................................................................... 11
1.2. La Evaluacin en el ciclo de las Polticas Pblicas .................................... 12
1.2.a. Planificacin, monitoreo y evaluacin ..................................................... 13
CAPTULO 2. FUNDAMENTOS DE LA EVALUACIN. PARA QU
EVALUAR? ....................................................................................................... 15
2.1. La toma de decisiones, retroalimentacin y mejora continua de las
intervenciones pblicas .................................................................................... 15
CAPTULO 3. QU EVALUAR? ..................................................................... 16
3.1. Polticas, programas, proyectos y procesos .............................................. 16
3.2. Las preguntas de la evaluacin ................................................................. 17
CAPTULO 4. TIPOS DE EVALUACIN .......................................................... 21
4.1. Quines evalan ........................................................................................ 21
4.2. Perspectiva temporal o momento de la evaluacin ................................... 23
4.3. Contenido de la evaluacin ....................................................................... 24
4.4. Propsito de la evaluacin ......................................................................... 25
CAPTULO 5. METODOLOGAS ...................................................................... 27
5.1. Tcnicas cualitativas.................................................................................. 27
5.2. Tcnicas cuantitativas ............................................................................... 28
5.2.a. Evaluacin de impacto ............................................................................ 28
5.3. Triangulacin ............................................................................................. 33
CAPTULO 6. ETAPAS DE LA EVALUACIN ................................................. 35
6.1. Planificacin de la evaluacin .................................................................... 36
6.2. Implementacin ......................................................................................... 39
6.3. Garantizando la utilizacin de los resultados y difusin ............................. 41
6.4. Comunicacin ............................................................................................ 42
BIBLIOGRAFA ................................................................................................. 44
PRESENTACIN
En esta lnea se ubica la tarea que la Jefatura de Gabinete de Ministros (JGM) viene implementando con
el objetivo de fortalecer y promover la institucionalizacin de la evaluacin de las polticas pblicas. Para
ello, en 2013, se ha creado el Programa de Evaluacin de Polticas Pblicas mediante la Resolucin de
la Jefatura de Gabinete de Ministros 416/2013.
Este programa tiene como finalidad la incorporacin del anlisis y evaluacin de polticas pblicas a la
agenda gubernamental y a los procesos de formacin de polticas pblicas de los organismos de la
Administracin Pblica Nacional con el objeto de generar un proceso de retroalimentacin entre el diseo
e implementacin y los resultados e impactos de las polticas a fin de permitir la obtencin de mejores
resultados en la gestin de los asuntos pblicos.
Sus objetivos especficos refieren a:
Los contenidos han sido realizados desde la Jefatura de Gabinete y fueron validados por diversas reas
Actualmente, esta instancia est integrada por las reas de evaluacin de los Ministerios de Salud; Ciencia y Tecnologa; Trabajo,
Empleo y Seguridad Social; y Educacin.
pueden
clasificarse segn el grado en que se centran en los mtodos, usos o valoracin. Estos tres enfoques
constituyen las principales ramas del rbol de tradiciones en evaluacin y hay diversas definiciones de
evaluacin en relacin con cada una de ellas.
Ilustracin N. 1. Tradiciones en evaluacin
Fuente: Alkin, Marvin C., ed. (2004). Evaluation Roots: Tracing Theorists Views and Influences. Thousand Oaks, California: Sage.
Sin desconocer estos debates, consideramos relevante sentar ciertos marcos bsicos al momento de
evaluar polticas pblicas o programas en el Estado argentino. En trminos generales, evaluar implica
sealar el valor de algo o de alguien, como lo estipula la definicin en el diccionario de la Real Academia
Espaola cuando dice que evaluar es sealar el valor de una cosa.
La OCDE (2002: 21), en el glosario de trminos, seala que la evaluacin es la apreciacin sistemtica y
objetiva de un programa o poltica en curso o concluido, de su diseo, su puesta en prctica y sus
resultados. El objetivo es determinar la pertinencia y el logro de los objetivos, as como la eficiencia, la
eficacia, el impacto y la sostenibilidad para el desarrollo. Una evaluacin deber proporcionar informacin
creble y til, que permita incorporar las enseanzas aprendidas en el proceso de toma de decisiones. La
evaluacin tambin se refiere al proceso de determinar el valor o la significacin de una poltica o
programa. Se trata de una apreciacin, tan sistemtica y objetiva como sea posible, de una intervencin
para el desarrollo, planeada, en curso o concluida.
7
A partir de ello y sobre la base de la bibliografa de referencia en la materia , aqu se entiende que
pblicas
(polticas,
programas
y/o
proyectos),
sustentados
en
En esta definicin se destacan algunos puntos que resulta pertinente precisar, sobre todo atendiendo a
una definicin de la evaluacin de polticas:
nfasis en el entendimiento integral de las intervenciones: resultados, impactos, sin olvidar los
procesos y la teora que sustenta la intervencin.
De carcter pluralista y participativo de los actores implicados, siempre que sea posible.
OCDE (2002); AEVAL (2010); Nirenberg, Brawerman y Ruiz (2000); Tamayo Saez (1997).
Debe incluir siempre recomendaciones para acciones futuras para la mejora de la intervencin pblica,
ya sea fortalecer lneas de accin o introducir cambios, y estas recomendaciones deben estar
fundamentadas y apuntalar procesos de aprendizaje. Para que dichas recomendaciones se conviertan
en mejoras reales en el diseo, la operacin y los resultados de un programa, los hallazgos deben ser
pertinentes, es decir, deben estar conectados con la lgica causal de la poltica pblica y no solo aludir
a aspectos secundarios. Las recomendaciones tienen que ser factibles y tienen que realizarse con
claridad y precisin, no ser genricas.
Comunicables y entendibles para los actores significativos y las audiencias identificadas, pues, de otro
modo, ser difcil que se apropien de las recomendaciones emergentes que permitan modificar la
accin. Involucra tambin considerar un conjunto de dispositivos diversos para comunicar los
resultados: publicaciones, informes, folletos, infografas, reuniones, talleres, medios de comunicacin,
etc.
Doble vertiente de utilidad: para la gestin y poltica para la mejora, y para diseo de acciones futuras.
Finalidad ltima: es la mejora de la calidad de vida de la poblacin a travs del fortalecimiento de las
capacidades de intervencin del Estado. La evaluacin busca promover un mayor conocimiento de las
intervenciones pblicas, ysuscitar un cambio de cultura para mejorar lo pblico. No persigue la
recriminacin o sancin como fin ltimo.
A estos aspectos se adicionan ciertos principios de evaluacin a considerar, los cuales sirven para guiar
los procesos de gestin de las evaluaciones:
Transversalidad
Utilidad
Causalidad
Transparencia
Factibilidad
Tiene que ser factible, es decir, suponer un esfuerzo razonable, debe ser
polticamente viable, como tambin atender a los antecedentes sociales,
polticos, culturales, de gnero, etc. de la situacin estudiada.
Aprendizaje
Participacin
permitan analizar los aspectos mencionados, identificar las fortalezas y las debilidades y mejorar las
intervenciones en trminos de efectividad, eficiencia y sostenibilidad.
2. Rendicin de cuentas: Las evaluaciones permiten estimar la medida en que una intervencin est
logrando los efectos e impactos deseados sobre una poblacin meta. La informacin vlida y confiable
posibilita a las reas estatales contar con evidencia relacionada a la aplicacin de los recursos
pblicos, as como sobre el diseo, el desarrollo y los resultados de sus intervenciones.
Control
Auditora
Inspeccin
Evaluacin
El control consiste
en verificar el
respeto a las
normas. En el
control se miden
las desviaciones
respecto a las
normas y se rinde
cuenta.
La auditora
comprende una
parte del control
de regularidad y
de conformidad y
una parte del
control de eficacia
bajo presupuestos
de mejora.
La inspeccin
engloba varias
actividades,
ejercidas
separada o
conjuntamente,
que van desde el
control y la
supervisin de
actividades
reglamentarias
hasta el anlisis y
cualificacin de
prcticas
individuales o de
funcionamiento de
sistemas.
La evaluacin
busca promover
un mayor
conocimiento de
las intervenciones
pblicas,
suscitando un
cambio de cultura
para mejorar lo
pblico. No
persigue la
recriminacin o
sancin como fin
ltimo. Emite un
juicio de valor
fundamentado
sobre las
intervenciones
pblicas.
11
12
Instalacin en
agenda del
problema
Diseo
Evaluacin
Implementacin
Como se observa, en la ltima fase est la evaluacin. Asimismo, como veremos ms adelante, en cada
fase se desarrollan diversos tipos de evaluacin.
evaluacin no puede concebirse como un hecho aislado y final, sino como una prctica continua que
acompaa a todo el proceso, desde el momento de la planificacin (evaluacin ex ante) hasta la fase de
implementacin (evaluacin de procesos) y a la verificacin de sus resultados y efectos finales (evaluacin
ex post o evaluacin de impacto). Esto se fundamenta en el hecho de que la evaluacin, adems de otras
consideraciones de inters, entraa un tipo de cultura poltico-administrativa que pretende potenciar el
saber en las organizaciones para cambiar, mejorar y resolver de la mejor manera los problemas del futuro.
Si en la planificacin/programacin no se formularon con precisin los objetivos y las metas a las cuales se
desea arribar (estas ltimas cuantificadas para un universo determinado en un perodo de tiempo dado y
en un territorio delimitado), se hace ms difcil evaluar; esta es una de las razones por las cuales se afirma
que los procesos de la planificacin/programacin estn tan estrechamente ligados a los de la evaluacin.
El sistema de monitoreo es un instrumento que acompaa a la gestin para la toma de decisiones
informadas mediante un conjunto de indicadores que permiten verificar el cumplimiento de los objetivos y
de sus expresiones cuantitativas: las metas.
Un esquema de monitoreo de desempeo permite dar cuenta de la medida en que una entidad acta
conforme a criterios, normas y directrices que guan la intervencin de las entidades y/u obtiene resultados
13
de conformidad con las metas o los planes establecidos en la planificacin (los productos, los resultados y
3
los impactos) .
La diferencia fundamental entre el monitoreo y la evaluacin radica en que el monitoreo ofrece informacin
sobre la situacin relativa al cumplimiento de los objetivos y los efectos de una poltica o programa. En
cambio, la evaluacin explica por qu esos objetivos o efectos se estn logrando (o se han logrado) o no,
y expone los cambios que se han producido en los beneficiarios y en la sociedad. La evaluacin, mediante
un proceso sistemtico de recoleccin y anlisis de informacin relevante, emite juicios sobre las causas y
las razones de los resultados, examina resultados no buscados, estudia el proceso seguido para
obtenerlos y proporciona recomendaciones para acciones futuras.
Los procesos de monitoreo y evaluacin son complementarios entre s, ya que el monitoreo permite
describir y calificar el cumplimiento del plan de trabajo y la evaluacin permite ver si dicho cumplimiento, a
su vez, ha conducido al cumplimiento de los objetivos que motivaron el diseo e inicio de la iniciativa. O,
visto al revs, en la medida en que la evaluacin revela un cumplimiento (o incumplimiento) de los
objetivos, el monitoreo genera valiosa informacin para analizar las relaciones causales entre las
actividades de la iniciativa que se evala y dicho cumplimiento (o incumplimiento).
El monitoreo es un elemento necesario del quehacer diario de las reas del Estado. No obstante, el
monitoreo sin la evaluacin solamente nos permitira juzgar la ejecucin de una iniciativa, sin poder
concluir nada al respecto, por ejemplo, de los resultados/impactos de la iniciativa y de la sensatez de
continuarla o suspenderla.
Garca Lpez, Roberto y Mauricio Garca Moreno (2010). La gestin para resultados en el desarrollo: avances y desafos en
Amrica Latina y el Caribe. BID, pg. 74.
14
Ayudar a tomar una decisin: por ejemplo, decisiones claves y/o otras correctivas de la
implementacin de un programa. Tambin pueden contribuir a la eleccin de la mejor versin de un
programa o a la seleccin del mejor diseo de un programa nuevo.
Conocer bsicamente sobre las polticas pblicas: facilitar a las instituciones acadmicas el
conocimiento de las intervenciones pblicas.
Cumplir un requisito normativo: cumplir con la normativa que regula la intervencin pblica (ejemplo,
intervenciones pblicas en materia de subvenciones).
Rendir cuentas a la ciudadana: proporcionar una gestin ms eficaz y eficiente para una ciudadana
que exige cada vez ms transparencia en la gestin de los recursos pblicos.
Funcin de aprendizaje continuo para la mejora del ejercicio del poder y la gestin pblica.
Funcin comunicativa al crear transparencia e infundir confianza respecto la gestin de las polticas
pblicas.
Proporciona informacin sobre actividades pasadas o en curso que pueden ser tiles para el
desarrollo futuro de la planificacin y la formulacin de polticas pblicas.
Facilita la toma de decisiones de inters pblico y sirve para centrar la atencin sobre los objetivos
perseguidos.
15
CAPTULO 3. QU EVALUAR?
3.1. Polticas, programas, proyectos y procesos4
El mtodo y la forma en que se realiza una evaluacin dependern, en primera instancia, de la naturaleza
del objeto de la evaluacin. Por lo tanto, es fundamental reconocer las caractersticas del objeto a evaluar
y basarse en ellas en el momento del diseo del proceso de evaluacin. Esta instancia asegura un diseo
ajustado a las necesidades bsicas que plantea el mismo objeto a evaluar.
Las Polticas Pblicas, los Programas y los Proyectos son algunos de los principales objetos que
componen el universo de la evaluacin. Si bien son conceptos que estn relacionados y se articulan entre
s, es importante reconocerlos e identificarlos como objetos diferenciados.
El Proyecto es la mnima unidad posible de asignacin de recursos que, a travs de un conjunto
articulado de procesos y actividades, se propone uno o varios objetivos especficos orientados a
transformar una situacin de la realidad, disminuyendo o eliminando un dficit, o solucionando un
problema (CEPAL).
Un proyecto debe cumplir las siguientes condiciones:
Los proyectos sociales tienen como finalidad la produccin y/o distribucin de bienes o servicios que
satisfacen necesidades de grupos que no poseen recursos para satisfacerlas en forma autnoma.
El Programa es un conjunto de Proyectos que siguen objetivos comunes y que se distinguen por estar
destinados a diferentes poblaciones y/o utilizar distintas estrategias de intervencin. Un programa es
responsable por la definicin de prioridades de la intervencin, ya que organiza los proyectos, les da
sentido y define el marco institucional y, finalmente, asigna los recursos necesarios para la intervencin.
La Poltica es el conjunto de Programas y Proyectos que se proponen los mismos objetivos. La poltica
pblica se encarna y efectiviza en los Programas y Proyectos a partir de la asignacin de recursos. Es
responsable de dar la orientacin sobre los problemas a priorizar y, a la vez, definir las vas y/o lmites
para la intervencin que la poltica plantea. La poltica pblica es el conjunto de objetivos, decisiones y
4
Las definiciones expresadas en el presente captulo para los conceptos de Proyecto y Programa difieren de las que se utilizan
tcnicamente en materia presupuestaria (Ver: http://www.mecon.gov.ar/onp/html/manuales/el_sistema_presupuestario_publico.pdf).
16
acciones concretas que realiza el Estado con el fin de resolver problemas identificados como prioridades.
Dado que involucra un universo amplio de niveles, agentes, intereses de gobierno, la poltica pblica es el
resultado de un proceso poltico de discusin y formulacin.
Las polticas pblicas son herramientas para transformar la realidad y su mayor sentido se relaciona con
las consecuencias que estas polticas tienen para la sociedad. La evaluacin es una actividad sistemtica,
informada, fundada, socialmente legitimada, que es muy til para que las polticas alcancen los objetivos
que se proponen, para poder medir y comprender los impactos que tienen y para permitir la mejora
constante.
Una vez que el equipo de evaluacin identific los efectos esperados y los supuestos de causalidad que
los vinculan, se puede entonces plantear todo tipo de preguntas del tipo:
En qu medida [las actividades A, B, C...] han contribuido a [generar los efectos X, Y, Z, ...]?
Otras preguntas
La evaluacin podra centrarse en otras preguntas que no requieren un examen previo de la lgica de
intervencin, porque se refieren a efectos no relacionados directamente con la intervencin. Por ejemplo,
las preguntas sobre los impactos inesperados:
Otro ejemplo son las preguntas sobre aspectos transversales, como el gnero, el ambiente, la buena
gobernanza o los derechos humanos:
18
la respuesta permite realizar ajustes en el diseo del programa y/o le interesa a las personas
que deben disear una nueva intervencin para el prximo ciclo,
Las relaciones de causa-efecto no son claras y los expertos no las conocen bien.
Si se debe abandonar una pregunta aunque corresponda a un pedido poltico, entonces conviene
argumentar con precisin las razones por las que es difcil o imposible tratar esta pregunta, lo que
puede formar parte de la utilidad de la evaluacin.
19
El campo, es decir, lo que se juzga, por ejemplo: la intervencin en su conjunto, una actividad,
un instrumento, un procedimiento,
sostenibilidad,
impacto,
valor
agregado
comunitario
coherencia/complementariedad.
En esta etapa, hay que garantizar que la pregunta est redactada de manera clara y concisa.
El redactor puede aadir comentarios a ttulo indicativo sobre todos o algunos de los siguientes puntos:
Quin elige las preguntas? El responsable de la evaluacin define las principales reas
que la evaluacin habr de cubrir, precisa las preguntas y delimita su cantidad mxima.
Cuando son evaluaciones mixtas o externas, estos parmetros pueden figurar en el proyecto
de la evaluacin y/o trminos de referencia provisorios. Las preguntas son validadas en el
proceso de debate inicial y diseo de la evaluacin. Cuando se trata de evaluaciones
externas, adquieren un estatuto contractual y se las anexa a los trminos de referencia fijados
para la realizacin de la evaluacin, ya sea por parte de consultores y/o de instituciones.
20
del proyecto, pero en otros, la decisin es tomada por la agencia que financia o por el organismo del cual
depende jerrquicamente el ejecutor. Segn cul sea la variante, es decir, desde dnde provenga la
decisin de realizar una evaluacin externa, sern la orientacin y la modalidad de la esta.
Asimismo, e independientemente a que sea interna o externa, la evaluacin tambin puede ser
participativa. Esta es una tipologa que apunta a designar un tipo de evaluacin que incluye tanto a los
destinatarios como a otros actores de los proyectos en los distintos momentos del proceso de evaluacin,
no solo como fuente de informacin, sino tambin como partcipes del diseo, ejecucin, conclusiones y
recomendaciones.
Por supuesto, existen diversas opiniones acerca de las ventajas y desventajas de cada tipo de evaluacin
de acuerdo al criterio de quin evala. Por un lado, una visin acuerda con el tipo de evaluacin interna
bajo el argumento de que no existe nadie mejor que el propio personal para conocer y comprender los
objetivos, metodologa, destinatarios y dinmica de la intervencin. Al ser los mismos agentes ejecutores
los que realicen la evaluacin se hace ms fcil el aprovechamiento de las conclusiones y la adopcin de
medidas de mejora. La principal dificultad reside en el riesgo de poca objetividad o sesgo contenido en el
proceso. Los intereses contrapuestos y los compromisos afectan directamente la posibilidad de cierta
imparcialidad requerida al momento de presentarse y evaluar el objeto en cuestin. Por otro lado, un
argumento en favor de la presencia de una institucin, agente o grupo evaluador externo es que permite
contar con mayor distancia del proceso de evaluacin, adems de traer a la organizacin experiencias y
conocimientos nuevos que de algn modo ayudan a crear objetividad. Pero esta condicin no es suficiente
para que la evaluacin externa no presente dificultades. Pueden aparecer ciertas tensiones entre el
evaluador y el evaluado que den lugar a interferencias, por ejemplo, en el acceso a la informacin acerca
del objeto de la evaluacin o en la resistencia del evaluado a aceptar los resultados de una evaluacin
que pudieran cuestionar sus objetivos, metas, procesos, etc. Finalmente, una institucin, agente o grupo
evaluador externo contratado por la organizacin puede incorporar una orientacin propia, ideologa,
teoras, etc.; sin embargo, tambin traen consigo compromisos reales con quienes los han contratado,
algo que puede incidir en la objetividad de la evaluacin.
Una solucin posible es coordinar una evaluacin mixta, armando equipos formados por evaluadores
externos e internos, con tareas independientes y en conjunto.
El problema de la resistencia a la propia prctica de la evaluacin y a las dificultades de aceptacin y uso
de los resultados es un tema central. Es usual que se realicen evaluaciones cuya implementacin y
proceso han sido aceptados por las organizaciones evaluadas, pero que, al momento de analizar los
resultados e implementar las recomendaciones, surjan resistencias y no se tengan en cuenta por parte de
los responsables y ejecutores. Los compromisos que estos tienen con las metas, objetivos o la poblacin
destinataria se presentan como barreras para la aceptacin de recomendaciones o cambios.
La evaluacin, durante del proceso de definiciones, debe incorporar todos los acuerdos y negociaciones
necesarios entre todos los agentes involucrados en el proceso, con relacin a los alcances, propsitos,
22
validez, acceso a la informacin y difusin de la evaluacin. De la misma manera, durante las diferentes
etapas de la evaluacin, se debe prever la incorporacin de mecanismos de discusin y distribucin de la
informacin que surja del proceso. As puede lograrse un cierto consenso previo que permita llevar
adelante una evaluacin participativa.
23
Este criterio prcticamente coincide con la clasificacin en funcin de los momentos de la evaluacin, solo
difiere en que pone el acento en los contenidos y no en el momento en que se evala.
El segundo alude a los componentes relevantes de la medida:
Evaluacin de insumos: tiene por objeto describir y analizar los recursos humanos, materiales y
financieros con que cuenta la intervencin y la forma en que dichos recursos son procesados de
acuerdo con criterios de relevancia, factibilidad y economa en su uso.
Evaluacin
de
procesos:
estudia
los
medios
procesales
(actividades,
procedimientos,
prestaciones) que se utilizan para llevar a cabo la medida, tanto en su diseo como en el modo en
el que este se implementa. Se trata de emitir un juicio acerca de la capacidad y las estrategias de
procesamiento de insumos del sistema.
El tercer criterio pone el nfasis en los atributos de los programas o de sus componentes:
24
Estas clasificaciones y tipos de evaluacin enfocan aspectos similares que interesan al evaluador, pero
desde perspectivas diversas ya que, en realidad, estn iluminando aspectos diferentes y utilizan el
andamiaje metodolgico de la evaluacin para responder preguntas distintas.
Como se ha dicho, las dificultades que plantearon en la prctica de la evaluacin fueron, en definitiva, los
insumos que contribuyeron a la diversificacin de las prcticas y al enriquecimiento mismo de la
evaluacin. Asimismo, la incorporacin de distintas perspectivas y actores, como funcionarios,
legisladores, financiadores, comunidad, ampli el campo de estudio de la evaluacin y de los aspectos a
considerar. Se considera a la evaluacin no como algo dado, sino como algo perfectible, sujeto a la mejora
continua, como un proceso ms y con posibilidad de incorporar actores diversos vinculados al proceso. Si
bien la evaluacin se dispara por ciertas condiciones o exigencias, lo conceptual y lo metodolgico se van
modificando a fin de otorgarle una visin integral.
La evaluacin explicativa se propone identificar los factores que explican situaciones de xito o fracaso de
los objetivos de un programa. Construye esquemas interpretativos de la multiplicidad de causas e
interdependencia de efectos a partir de marcos conceptuales y tericos preexistentes o de la formulacin
de hiptesis a verificar.
26
CAPTULO 5. METODOLOGAS
Uno de los puntos de discusin del abordaje metodolgico se da en torno a la utilizacin de mtodos
cuantitativos o cualitativos. Esta distincin atraviesa el campo de las ciencias sociales y llega al campo de
la evaluacin, tanto en lo conceptual como en la prctica. Es as que los abordajes metodolgicos
utilizados se adjetivan directamente con el mtodo de investigacin aplicado, llamando evaluacin
cualitativa o evaluacin cuantitativa, respectivamente y segn corresponda.
Entrevistas a informantes clave: un informante clave es el que puede hablar por un conjunto de
personas acerca del tema en cuestin. Es el caso de los tomadores de decisiones a nivel poltico,
responsables de programas, lderes, etc. Esta entrevista se realiza cuando se necesita la opinin
de una o pocas personas y no es conveniente su inclusin en una entrevista grupal. Adems, se
utiliza como complemento de la tcnica de encuestas a la poblacin y de datos obtenidos por otras
tcnicas secundarias de recoleccin. Es conveniente, de todas maneras, seguir una gua para
realizar una entrevista estructurada.
27
Entrevista grupal: esta tcnica se utiliza para recolectar distintos puntos de vista de diferentes
actores a partir de una sola entrevista. Los entrevistados dan sus opiniones y juicios valorativos
acerca de los temas propuestos y son orientados por el entrevistador que modera el grupo.
Permite profundizar temas en forma rpida y con bajo costo. Adems permite la expresin de
individuos que no se pronunciaran en forma individual. Tambin puede ser complemento de
informacin obtenida por encuestas a la poblacin o de datos estadsticos del proyecto evaluado.
5.1.b. Observacin en terreno: es la observacin directa del fenmeno y de los aspectos, que permite
conocer, por ejemplo, comportamientos, ejecucin de obras, existencia y adecuacin de equipamiento
adquirido, de procedimientos institucionales e interacciones de los distintos actores. Se utilizan guas
orientadoras y se capacita a los observadores, debido a que los puntos de vista y los intereses modifican
las
percepciones
y conclusiones
conceptuales
sobre
lo
observado.
Esta
tcnica
se
utiliza
investigaciones en el centro del desarrollo e implementacin de las polticas (Davies, 2004: 3). Este
enfoque seala que las decisiones de poltica pblica deben estar basadas en la mejor evidencia
disponible. Es un cambio de perspectiva, de los insumos a los resultados, fundamentado en y orientado a
brindar informacin a los administradores de programas, que cada vez necesitan conocer los resultados
obtenidos para rendir cuentas, corregir u orientar las decisiones.
Usualmente, la evaluacin de polticas pblicas se ha focalizado en los insumos y productos, o sea, en los
recursos y en lo que el programa produce. Sin embargo, y a modo de ejemplo, el incremento en la
cantidad de policas en las calles no brinda demasiada informacin sobre el cambio en la tasa de delito.
Asimismo, la evaluacin de impacto puede presentar evidencias slidas sobre el desempeo del programa
y, lo que es fundamental, explicitar si el programa ha alcanzado los objetivos planteados esperados. Es
una evaluacin que se realiza ex post, es decir, a posteriori de la ejecucin del programa o poltica, debido
a que se necesita un plazo de tiempo determinado para que los impactos sean visibles. Adems, tiene un
alcance ms profundo que la evaluacin de resultados, ya que examina en qu medida la intervencin
gener efectos ms all de los resultados esperados. Busca determinar la capacidad de las medidas
instrumentadas en solucionar los problemas de la sociedad. Por ejemplo, un aumento del impuesto al
consumo de tabaco realmente promueve la disminucin del consumo de cigarrillos? La capacitacin de
posgrado aumenta el salario en el mediano plazo? En otras palabras, la evaluacin de impacto responder
sies un programa efectivo comparado con la ausencia del este.
En trminos ms precisos, y como define la Gua Metodolgica SINERGIA, la evaluacin de impacto
permite:
Comparar el impacto de un mismo proyecto, programa o poltica para diferentes tipos de poblacin
o diferentes contextos.
Cunto de los efectos sobre los beneficiarios se le pueden atribuir a la medida y cunto a otros
factores?
29
Qu tan efectiva fue la intervencin en lograr sus objetivos? Hubo cambios, y de qu magnitud,
en los problemas atacados por la poltica, programa y/o proyecto?
Si suponemos que la poltica, programa o proyecto debe tener un resultado sobre la variable Y, el impacto
de la intervencin puede expresarse en trminos de la diferencia entre dos nmeros:
I = Y1-Y0
donde Y1 es el resultado que se ha logrado con la intervencin, e Y0 es el resultado que se habra dado sin
la intervencin.
En trminos generales, Y1 es un valor relativamente fcil de estimar. Utilizando registros administrativos,
mediante una encuesta o con alguna otra tcnica de observacin, es posible estimar qu pas con el
resultado de la aplicacin de la poltica estudiada. Por ejemplo, en un programa de capacitacin de
jvenes, es sencillo conocer cuntos consiguieron empleo luego de participar en l.
Estimar Y0, en cambio, es ms complejo. Encontrar un contrafactual vlido no es una tarea fcil,
sencillamente porque el mundo no puede encontrarse en dos estados al mismo tiempo. Si el programa
comienza a ejecutarse, nunca se podr saber qu habra pasado si no se ejecutaba. Por lo tanto, si la
estimacin de Y1 surge de medida basada en una observacin de la realidad, Y0 siempre es una
declaracin hipottica de lo que suponemos hubiese ocurrido sin la implementacin de la poltica.
Grfico N 2
hubiese continuado con su crecimiento natural. La lnea punteada indica la evolucin de la tasa de
desempleo del grupo de control luego de iniciarse las actividades del programa en 2013 que, en este caso
y a efectos prcticos, es creciente en el tiempo. Luego de 2013, la tasa de desempleo del grupo de
jvenes que formaron parte del programa, indicada con la lnea de trazo grueso, disminuy
sustancialmente respecto a la presente en 2013 y, lo central en este ejemplo, es menor que la que
presenta el grupo de control. Como se indic anteriormente, el impacto del programa, medido como Y1Y0, en este ejemplo es positivo.
Diseo del modelo de evaluacin
La evaluacin de impacto tiene que estar vinculada al contexto en el cual se desarrolla el programa a
evaluar, la forma de intervencin y los actores involucrados.
Los mtodos que se emplean en la evaluacin de impacto difieren entre s en funcin del procedimiento
utilizado para definir el grupo de individuos, que se denomina contrafactual.
Entre los mtodos cuantitativos, se encuentran los diseos experimentales, que se consideran la solucin
ptima, y los diseos cuasiexperimentales, que brinda resultados confiables dependiendo de la
metodologa aplicada.
Diseos experimentales
Este mtodo asigna aleatoriamente a la poblacin elegible al tratamiento. La asignacin aleatoria del
tratamiento se puede llevar a cabo, por ejemplo, mediante un sorteo en el que se elige quien participa del
programa entre una poblacin de individuos con igual derecho a participar. De esta forma, se logra obtener
una estimacin robusta del contrafactual.
Por medio de la asignacin aleatoria, se generan grupos de tratamiento y grupos de control en los que no
existen diferencias sistemticas en las caractersticas de ambos grupos previamente al inicio del programa
(Walkup, 1979). Por lo tanto, si luego de comenzar a ejecutar el programa se observa algn tipo de
resultado en el grupo de tratamiento, se deduce que solo se puede deber a la exposicin al tratamiento, ya
que los grupos eran idnticos y estaban expuestos a los mismos factores externos. De esta forma, se
puede confiar en que la diferencia en el resultado en ambos grupos se debe a la participacin del grupo de
tratamiento en el programa.
Diseos cuasiexperimentales
Este tipo de diseos de evaluacin de impacto se utiliza cuando no es posible generar un grupo de control
de manera aleatoria. La utilizacin de tcnicas estadsticas permite generar un grupo de control lo ms
similar posible al grupo de tratamiento en trminos de las caractersticas observables.
Por este motivo, los diseos cuasiexperimentales son menos robustos (la seleccin no es aleatoria),
generan sesgos (los grupos podran diferir por caractersticas no observadas), pero son ms flexibles (con
un adecuado diseo y buena informacin se obtienen resultados confiables).
32
Estos diseos son los generalmente usados en las evaluaciones de impacto realizadas en el sector
pblico.
Para el anlisis de datos, en los diseos cuasiexperimentales, se utilizan, principalmente, cuatro
aproximaciones:
5.3. Triangulacin
Una estrategia distinta que asegura el rigor y modera la cuestin de la subjetividad es la triangulacin.
Esta metodologa pretende utilizar distintas tcnicas y fuentes para evaluar los mismos fenmenos a
travs de operaciones convergentes y complementarias metodolgicamente. Una evaluacin por
triangulacin es, por ejemplo, la que pueda realizar un grupo en el que se cruzan los criterios y puntos de
vista de cada uno de los evaluadores. Con esto se adquiere una mayor confiabilidad en los datos
obtenidos, mejor comprensin de los fenmenos evaluados, se mitigan los sesgos y desvos de cada
tcnica independiente y se validan las conclusiones y apreciaciones de la evaluacin.
A modo de conclusin:
El xito y rigurosidad de una evaluacin no se limita a la eleccin de tcnicas o a determinar la
preponderancia de uno u otro mtodo (cualitativo o cuantitativo), sino que es el resultado de la calidad de
las decisiones y conductas que los evaluadores adoptan a lo largo de las diferentes etapas del proceso de
evaluacin:
hiptesis.
tcnicas a utilizar.
trabajo de campo.
33
Todas estas decisiones tienen peso e influyen en la rigurosidad de los juicios realizados, de las
aceptaciones o rechazos de las hiptesis de trabajo, de la comprensin del objeto evaluado y, finalmente,
de las posibilidades reales de intervencin que permita modificar la situacin evaluada.
Evaluacin Cuantitativa
Evaluacin Cualitativa
Paradigma Positivista/Emprico
Paradigma Fenomenolgico/Constructivista
Predominio de la deduccin
Diseos experimentales o
Investigacin naturalista
cuasiexperimentales
Perspectiva desde afuera
Lenguaje numrico
Lenguaje verbal
cuantificables
Anlisis estadstico
Resultados generalizables
34
Etapa I: Planificacin de
la evaluacin
Identificacin de la
intervencin a evaluar y
actores a involucrar. Anlisis
de viabilidad de la evaluacin
Compartir la experiencia
adquirida
Anlisis de resultados
Redaccin de Informes de
avance y finales
Informe de seguimiento de
recomendaciones
Presupuesto y cronograma
Formulacin de Trminos de
Referencia - TdR- (caso de
evaluacin extrena o mixta)
Difusin de resultados
Esta seccin se realiza sobre la base de los siguientes Manuales: Sistema Nacional de Evaluacin-SINE (2012). Manual
Gerencial para el Diseo y Ejecucin de Evaluaciones Estratgicas de Gobierno. -Costa Rica; Gobierno Vasco. (2013). Gua de
Evaluacin de Polticas Pblicas del Gobierno Vasco. Direccin de Coordinacin y Direccin de Innovacin y Administracin
Electrnica de la Presidencia del Gobierno Vasco.
35
6. Definir la logistica,
costos, cronograma y
canales de comunicacin
2. Describir la intervencin
y los propsitos de la
evaluacin
5. Definir procedimientos
ticos y otros que
garanticen la calidad de la
evaluacin
3. Preguntas evaluativas,
abordaje de la evaluacin
y definir patrones de
juzgamiento
Bsicamente, el inicio de todo proceso evaluativo tiene lugar en el momento del diseo de la poltica,
programa o proyecto. No obstante, sabemos bien que no siempre es esta la pauta en las administraciones
pblicas de inicios del siglo XXI. Esto no quita que los procesos evaluativos sean susceptibles de ser
llevados a cabo en cualquier momento del desarrollo de la poltica. Por el contrario, debe promoverse
continuamente su desarrollo, ms all de lo considerado ideal.
En este sentido, el desarrollo de una evaluacin puede iniciarse cuando se avanza en la identificacin de
la intervencin a evaluar en un rea y/o ministerio, sea del mbito nacional, provincial o municipal. En
dicho momento es fundamental considerar la viabilidad de evaluacin de la poltica, programa y/o proyecto
en sus diversos sentidos poltica, presupuestaria, familiarizarse con la intervencin a evaluar,
promover diversas acciones para que sea susceptible de realizarse, identificar los actores a involucrar, as
como definir qu se espera de la evaluacin, entre otras acciones. A partir de all o tambin en el caso que
se est diseando la poltica, programa y/o proyecto, se inicia el proceso de planificacin de la evaluacin.
El diseo de la evaluacin conlleva dar respuesta a una serie de preguntas clave.
36
Identificar los actores clave, aclarar cules son los intereses puestos en la evaluacin y para quin
se evala. Una evaluacin puede tener diversos destinatarios. Este aspecto debe tenerse en
cuenta en el diseo de la evaluacin, conocer las expectativas de los distintos actores implicados
respecto a los futuros resultados de la evaluacin, sus necesidades, as como las diferentes
consideraciones sobre la didctica a emplear para transmitir la informacin generada. Es
importante delimitar formalmente quines son los destinatarios de la evaluacin, establecer en qu
forma es ms adecuada presentar la informacin obtenida y plantear como se va a hacer entrega
de la informacin obtenida.
Definir los objetivos de evaluacin a travs de las motivaciones de los actores clave.
Todos estos aspectos debern definirse entre los distintos actores involucrados. Quienes solicitan la
evaluacin podrn hacer sugerencias para tratar cuestiones o temas de evaluacin de especial inters o
relevancia para ellos.
Cmo se va a evaluar y qu necesitamos? En esta etapa se debe escoger el tipo de evaluacin entre las
posibilidades existentes. La eleccin viene determinada por el contexto, el momento, la disponibilidad
presupuestaria, etc. Tambin es importante tener en cuenta el objeto, los objetivos, los destinatarios y las
preguntas de evaluacin que se hayan establecido.
Esta fase conlleva:
1. Determinar el tipo de evaluacin que se va a ejecutar.
2. Definir quin va a evaluar.
3. Especificar tcnicas, herramientas, etc.
4. Definir los criterios de evaluacin.
5. Realizar un presupuesto del costo estimado de la evaluacin, recursos humanos y logsticos necesarios.
6. Determinar los plazos en los que se va a desarrollar la evaluacin.
Es importante considerar la viabilidad de la evaluacin. Atender a que las limitaciones de informacin,
tiempo y presupuesto pueden influir en la delimitacin del alcance de la evaluacin. En estos casos,
centrar la evaluacin en los aspectos de las polticas pblicas donde existe mayor necesidad de obtencin
de informacin o hacia las intervenciones en las que se prev una necesidad prxima de toma de
decisiones polticas.
38
Quin va a evaluar?
A menudo, se plantea la necesidad de decidir si la evaluacin la realizar
una unidad de evaluacin interna o un evaluador externo. Hay ventajas y
desventajas asociadas a ambos enfoques. En el caso de un equipo externo
es recomendable nombrar un comit de seleccin para analizar y valorar las
diferentes propuestas recibidas. Para su determinacin es conveniente
establecer un catlogo de los recursos propios disponibles, valorar la
necesidad de contar con personal externo, decidir la composicin del equipo
de evaluacin, entre otros aspectos.
Qu tcnicas se adaptan a nuestro modelo de
evaluacin?
En funcin del tipo de evaluacin se definen las tcnicas y herramientas que
van a utilizarse para recoger y analizar la informacin. Para decidir el tipo de
tcnicas y herramientas es necesario plantear las posibles tcnicas a utilizar
segn la disposicin de informacin previa, determinar las tcnicas y
herramientas necesarias para conseguir la informacin esperada, delimitar
las tcnicas y herramientas que se van a utilizar, definir la matriz evaluativa:
dimensiones, indicadores, etc.
Qu recursos econmicos, humanos y logsticos se
requieren?
La planificacin es incompleta si no se detalla y dimensiona el presupuesto
requerido, los perfiles de los recursos humanos necesarios para efectuar la
evaluacin, as como otras necesidades de carcter logstico.
Cundo se evala?
El diseo de la evaluacin debe contemplar una previsin de cundo se van
a realizar las distintas tareas implcitas en la evaluacin. Aunque el
cronograma definitivo se establece en la elaboracin del Plan de Trabajo
junto con el equipo de evaluacin, en esta fase inicial se tendrn en cuenta
los plazos ms relevantes. Hay que establecer un cronograma inicial en el
cual se detecten los principales hitos y el responsable de cada proceso.
6.2. Implementacin
Una vez diseada la evaluacin, la siguiente etapa corresponde al desarrollo del estudio de evaluacin. El
rol y tareas a realizar por la institucin pblica promotora de la evaluacin diferirn segn se trate de una
evaluacin interna, externa o mixta. Ms all de ello, las tareas que debe realizar como gestor de la
evaluacin se pueden dividir en dos etapas: 1) establecer el Plan de Trabajo definitivo; 2) supervisar su
puesta en prctica y/o ejecutarla.
39
En este momento, podr acotarse en mayor grado la planificacin que se va a llevar a cabo para el
desarrollo del estudio de evaluacin.
En caso de ser una evaluacin externa y/o mixta, en esta instancia se incorpora el equipo de evaluacin
seleccionado. Se revisa, de forma conjunta entre los evaluadores seleccionados y funcionarios, el diseo
de la evaluacin, actualizando los aspectos que puedan sufrir alguna variacin o que no tenan el grado de
desarrollo oportuno. Tambin, se revisa el plan de trabajo. Bsicamente, se volvern a considerar los
siguientes aspectos: alcance de la evaluacin, eleccin de tcnicas y herramientas segn el modelo
metodolgico del equipo evaluador, modificacin de la planificacin temporal inicialmente prevista,
determinacin de los entregables y establecimiento de fechas de entrega.
A continuacin, se presenta una propuesta de estructura de un modelo de Plan de Trabajo, en el que se
incluyen ejemplos de los entregables a elaborar:
Texto principal: Anlisis: objetivos principales, herramientas principales a utilizar, actores implicados,
etc. Diseo y elaboracin del Plan. Modelo de ejecucin. Control y seguimiento. Asesoramiento y
apoyo.
Una vez concretado el Plan de Trabajo, se desarrollar el estudio de evaluacin segn el cronograma
previsto y las tareas asignadas a los agentes involucrados en esta etapa. Aqu lo central es gestionar la
evaluacin, lo que implica garantizar que esta se realice bajo los principios de la eficacia y la eficiencia.
Hay funciones de gestin bsicas atribuidas al personal evaluador y al personal gestor de la evaluacin:
Personal evaluador: Anlisis documental anterior al trabajo de campo: anlisis de fuentes primarias y
de fuentes secundarias. Realizacin del sistema de indicadores. Diseo de herramientas y tcnicas
para la recogida de datos. Recogida de datos. Anlisis y tratamiento de la informacin recogida.
Retorno de la informacin recopilada.
40
Premios: algunas instituciones estatales convocan a Premios para los programas comprometidos con
el proceso de evaluacin y apuntan a valorar el compromiso de las reas del Estado con el uso de la
evaluacin.
Planificadores: necesitan informacin general sobre las fortalezas y debilidades del diseo.
41
Informacin a travs de las TIC: las nuevas tecnologas son canales de gran capacidad de
difusin y de costo reducido que pueden servir para informar y comunicar resultados.
6.4. Comunicacin
La comunicacin es transversal a este proceso. El planteamiento de la comunicacin en un proceso
evaluativo es especialmente importante, por lo cual toda evaluacin debe incluir un Plan de Comunicacin
que proporcione la satisfaccin de todas las demandas de informacin surgidas durante el proceso de
evaluacin.
42
municipal.
Seguidamente, segn quines sean los receptores claves de la informacin generada, se definen y eligen
cules sern los soportes y canales a utilizar. La planificacin de este aspecto conlleva identificar los
canales y mensajes necesarios con relacin al pblico objetivo de la evaluacin. A continuacin, se incluye
una breve referencia de posibles soportes y canales para la informacin:
Seminarios o jornadas.
Otro aspecto centrar es planificar qu vamos a comunicar en cada momento. Basado en la informacin
analizada, debe establecerse un plan detallado para cada uno de los mensajes, destinatarios y canales
que se utilizarn en el Plan de Comunicacin. De forma general, se deber elaborar un calendario con las
actividades comunicativas a transmitir en cada una de estas tres fases:
BIBLIOGRAFA
- AEVAL (2010). Fundamentos de evaluacin de polticas pblicas. Madrid: AEVAL. En lnea.
- Alkin, M., (ed.) (2004). Evaluation Roots: Tracing Theorists Views and Influences, Thousand Oaks,
California: Sage.
- Catalunia, Espaa, Institut Catala dAvaluaci de Poltiques Pbliques. (2009). Gua Prctica 5
Evaluacin de Impacto, Coleccin Ivalua de guas prcticas sobre evaluacin de polticas pblicas.
Recuperado de www.observatorio.pt/download.php?id=567 .
- Colombia, Departamento Nacional de Planeamiento (2012). Gua Metodolgica SINERGIA. Gua para
la
evaluacin
de
polticas
pblicas.
Recuperado
de
https://sinergia.dnp.gov.co/Sinergia/Archivos/c40a73d3-baf9-4a26-8aad81e3baa23bf5/Gu%C3%ADas%20Tipos%20de%20Evaluaci%C3%B3n.pdf
- Duflo, E., Glennerster, R., and Kremer, M. (2007). "Using Randomization in Development Economics
Research: A Toolkit." Handbook of Development Economics.
- Gertler, P., Martinez, S., Premand, P., Rawlings, L. y Vermeersch, C. (2011). La evaluacin de impacto
en la prctica. World Bank
- Imbens, G.and Lemieux, T. (2008). "Regression Discontinuity Designs: A Guide to Practice." Journal of
Econometrics.
- Imbens, G., and Wooldridge, J. (2009). "Recent Developments in the Econometrics of Program
Evaluation." Journal of Economic Literature.
- Nirenberg, O.; Brawerman, J. y Ruiz, V. (2000). Evaluar para la Transformacin: innovaciones en la
evaluacin de programas y proyectos sociales. Vol. 8. Buenos Aires: Editorial Paids.
- OCDE (Organizacin para la Cooperacin y el Desarrollo Econmicos) (2002). Glosario de trminos
sobre evaluacin y gestin de la Organizacin para la Cooperacin y el Desarrollo Econmicos. Pars:
OCDE.
- Real Academia de la Lengua (1992). Diccionario de la Lengua Espaola, 21a. edicin, Madrid: Espasa
Calpe, S.A.
- Sistema Nacional de Evaluacin- SINE - Costa Rica (2012). Manual Gerencial para el Diseo y
Ejecucin de Evaluaciones Estratgicas de Gobierno. Sistema Nacional de Evaluacin- SINE - Costa
Rica Ministerio de Planificacin Nacional y Poltica Econmica- rea de Evaluacin y Seguimiento:
Costa Rica.
- Tamayo Saez, M. (1997). El Anlisis de las Polticas Pblicas. En Ban R. y Carrillo E. (comps). La
Nueva Administracin Pblica. Madrid: Alianza Universidad Textos.
- Walkup, D. W. (1979). On the expected value of a random assignment problem. SIAM Journal on
Computing.
44