Evaluaciones de Impacto como instrumento del Presupuesto por Resultados

Introduccin a las Evaluaciones de Impacto

Eval. de Proceso vs. Eval. de Impacto

Evaluacin de procesos: Se describe e interpreta lo que ocurri.

Ello se puede realizar a partir de la lectura de documentos, las entrevistas a personas, los registros del administrador, etc.
Normalmente no requiere un grupo de comparacin.

Evaluacin de impacto:
Responde preguntas de atribucin de los resultados observados. Se compara lo que ocurri respecto a lo que habra ocurrido en la ausencia del programa (contrafactual).

El escenario contrafactual: motivacin

10 das enfermo

30 das enfermo

Impacto = 10 20 = - 20 dias enfermo

4

El escenario contrafactual: motivacin

10 das enfermo

25 das enfermo

Impacto = 25 10 = - 15 dias enfermo?

5

El escenario contrafactual: motivacin

Variable de Resultado Intervencin Impacto

Tiempo
6

El escenario contrafactual: motivacin

Intervencin Variable de Resultado

Impacto

Tiempo
7

El escenario contrafactual: motivacin

Variable de Resultado Intervencin

Impacto

Tiempo
8

Qu es una evaluacin de impacto

La evaluacin de impacto constituye esencialmente el estudio de relaciones causa-efecto.

Pregunta clave: Cul es el impacto (efecto causal) del programa sobre los resultado de inters?
El objetivo es aislar el impacto directamente atribuible al programa de otros factores que afectan los resultados del mismo. Qu no es una evaluacin de impacto? La medicin de la diferencia en los resultados de un grupo que recibe la intervencin y otro que no.

La medicin de la diferencia en los resultados de un grupo que recibe la intervencin antes y despus de haberla recibido.
9

Qu es una evaluacin de impacto

Al aislar los efectos causales del programa, la evaluacin de impacto contribuye a la toma de decisiones de poltica, pues ayuda a dilucidar: Si el programa tuvo los impactos esperados sobre los resultados de inters. La magnitud de dichos impactos.

Los mecanismos a travs de los cuales el programa genera mejoras en los resultados del programa.
Los impactos diferenciales sobre grupos poblacionales distintos.

Los impactos relativos respecto a otras opciones de intervencin.

10

La cadena de resultados (I)

Fuente: Gertler y otros (2011)

La cadena de resultados (II)

Fuente: Gertler y otros (2011)

Evaluaciones de Impacto en el marco del PPR

13

Evaluaciones de impacto PPR

Intervencin
1. Programa Articulado Nutricional (PAN) 2. Piloto Reten- ServicioFranco

Sector
Salud

Estado
Evaluacin finalizada - Direccin de Calidad del Gasto, 2011. Se gener evidencia de efectos positivos y significativos del PAN sobre la reduccin de la desnutricin crnica infantil. Evaluacin finalizada. Documento final en proceso de elaboracin. Direccin de Calidad del Gasto, 2012. No se encontr evidencia que sustente la hiptesis de que el Plan contribuyese a la reduccin de la victimizacin (medida como la incidencia de robos). Evaluacin finalizada. Macroconsult, 2012. Se encuentra evidencia de impactos de corto plazo sobre los ingresos de los beneficiarios que no se sostienen en el mediano plazo. Se concluye que la efectividad de CP como poltica activa de empleo es limitada y debe reorientarse como un programa de alivio temporal para trabajadores vulnerables. En proceso de elaboracin - Direccin de Calidad del Gasto, 2012. Resultados preliminares revelan efectos positivos de la intervencin sobre el rendimiento de los estudiantes de segundo de primaria. Lnea de Base en Proceso de Elaboracin. Primera medicin planificada hacia fines de 2014. Lnea de Base en Proceso de Elaboracin. Primera medicin planificada hacia fines de 2013. Lnea de Base en Proceso de Elaboracin. Primera medicin planificada hacia fines de 2014. Lnea de Base planificada para 2013.

Interior

3. Construyendo Per (CP)

Trabajo

4. Acompaamiento Pedaggico 5. Redes de Educativas Rurales 6. Pensin 65

Educacin

Educacin

Desarrollo e Inclusin Social 7. Cuna Ms - Componente de Desarrollo e Acompaamiento a Familias Inclusin Social (Rural) 8. Beca 18 Educacin

9. Cuna Ms - Componente de Desarrollo e Cuidado Diurno (Urbano) Inclusin Social

Lnea de Base planificada para 2013.

14

Programa Articulado Nutricional (PAN)

El objetivo del PAN es el de reducir la desnutricin crnica en nios menores de 5 aos.

El PAN asigna y prioriza recursos en una serie de productos, entre los que destacan la mejora en la cobertura y calidad de los CRED y la mejora en la oferta y distribucin de las vacunas bsicas (destacan aquellas contra neumococo y rotavirus).
La EI del PAN busca estimar qu parte de la reduccin en la desnutricin (> 6% entre 2007 y 20011) es atribuible a las intervenciones del PAN Fuente de Datos: ENDES (INEI).

Programa Articulado Nutricional (PAN)

Resultados: Efecto significativo de la cohorte de nacimiento en la probabilidad de desnutricin de los nios menores de 5 aos. Para un conjunto de regiones donde se desarroll una mayor profundizacin de la intervencin, el PAN habra logrado reducir significativamente la tasa de DCI (efecto mnimo de entre 1.5 y 3.5 puntos porcentuales). Fortalecer el sustento relativo a los logros del PAN. Elemento adicional en la sustentacin del gasto en el CRED y vacunas de neumococo y rotavirus.

Usos de la evaluacin:

En la implementacin de incentivos a travs de convenios de apoyo presupuestario condicionados al cumplimiento de metas vinculadas a dichos productos.

Reten Servicio Franco (RSF)

Antecedente: Iniciativa del MININTER (2do semestre 2011) destinada a que los efectivos policiales empiecen a prestar servicios bajo la modalidad del retn-servicio-franco Contexto poltico pona al tema de la seguridad ciudadana como prioridad en la agenda de gobierno. Plan piloto RSF en 5 regiones. Continuidad y escalamiento condicionado a resultados de evaluacin de impacto. Fuente de Datos: ENAPRES (INEI). Resultados: No se hayo evidencia que sustente la hiptesis de que el RSF contribuyese a la reduccin de la victimizacin en aquellas regiones donde fue implementado.

Reten Servicio Franco (RSF)

Usos de la evaluacin: Evaluacin fue utilizada en el proceso de formulacin presupuestal 2013 (se propona escalamiento del programa). El programa fue descontinuado. Alta costo efectividad de la evaluacin (presupuesto estimado de la expansin del plan: S/. 1,384 millones) .

Construyendo Per (CP)

CP (antes Trabaja Per) tiene como objetivo la generacin de empleo temporal, favoreciendo aquellos individuos con menores niveles de ingreso econmico, en situacin de pobreza y extrema pobreza. EI elaborada por MACROCONSULT. Resultados:

Impacto positivo del programa en el ingreso de corto plazo de los participantes.

No obstante, no se encontraron diferencias de mediano entre participantes y no participantes.

Limitada efectividad del programa como poltica activa de empleo; CP funciona como programa de alivio temporal para trabajadores vulnerables.

Construyendo Per (CP)

Usos de la evaluacin. Aportaron argumentos para la discusin del Proyecto de Ley de Presupuesto 2013. Se restringi su poblacin objetivo y su mbito de intervencin, lo que signific una notable disminucin de sus pretensiones presupuestales originales.

As, habindose encontrado efectos positivos de CP slo en el corto plazo se descartaron a los subempleados como poblacin objetivo (cuya problemtica obedece ms a factores estructurales de largo plazo) para considerar slo a los desempleados en situacin de pobreza o pobreza extrema (condicin de actividad directamente asociada a los ciclos econmicos).

Construyendo Per (CP)

Usos de la evaluacin. Se recomend en las zonas urbanas, en donde el problema del desempleo es notorio y no en la zonas rurales en donde el problema ms grave es el subempleo o pobreza. Resultados de la evaluacin resaltaron el importante rol anti cclico del programa, caracterstica fundamental de los programas de empleo temporal, y no encontraron evidencia que respalde la capacidad del programa para impactar en forma positiva en el ingreso de mediano o largo plazo.

Avances recientes
Se busca priorizar evaluaciones de carcter prospectivo. Inicio del nuevo gobierno presenta oportunidad para implementar lneas de base y diseos de evaluacin de impacto de programas emblemticos. Cuna Ms, Pensin 65, Beca 18, Redes de Escuelas Rurales.

Trabajo en conjunto con los sectores y el INEI (aporta flexibilidad y calidad tcnica).

Cuna Ms Acompaamiento a familias

Componente del Programa Cuna Ms orientado a zonas rurales.

Consiste en visitas domiciliarias y sesiones de trabajo grupal.

Busca promover el desarrollo infantil (en sus dimensiones motora, lenguaje, cognitiva y socioemocional) de nios pobres de 0 a 3 aos.

Equipo de trabajo MIDIS/BID/MEF, con constante participacin del programa. La EI en si misma ser realizada por el BID.
Primera evaluacin experimental de un programa nacional en el Per. Lnea de base planificada para Abril de 2013.

Pensin 65
Programa de pensiones no contributivas destinado a adultos de 65 aos a ms en situacin de pobreza extrema que no cuentan con pensin alguna. Evaluacin con metodologa de regresin discontinua sobre la base calificacin socioeconmica de los adultos mayores dada por el SISFOH.

Se encontraron inconvenientes asociados al traspaso del SISFOH al MIDIS y la definicin final del algoritmo de clculo de la calificacin socioeconmica.
La lnea de base de esta EI se viene desarrollando. La primera evaluacin de resultados programada para inicios de 2014.

Lecciones Aprendidas
Las EI constituyen un instrumento importante para la mejora de la asignacin presupuestal.

Las EI, en particular aquellas de enfoque prospectivo, requieren contar con esquemas de implementacin flexibles a los procesos de ejecucin de las intervenciones a evaluar.
Se requiere ser flexible tambin metodolgicos en el contexto de intervenciones pblicas. en los enfoques la evaluacin de

El involucramiento y la participacin de los sectores es clave. Existen aspectos relativos a los roles institucionales en seguimiento y evaluacin aun por resolver. Las EI cumplen un rol complementario a las EDEP y el seguimiento en el marco del PpR.

Agenda a futuro
Mayor masa crtica de evaluaciones, con nfasis en evaluaciones prospectivas.

Resolver aspectos institucionales.

Lineamientos EI PPR: Estndar metodolgico Pre-anlisis Peer Reviewers Promover el uso de las EI (publicaciones, ciclo presupuestal). Desarrollo de capacidades:

Capacitaciones
Talleres sobre generacin de evidencias.