Secretara de Desarrollo Social

Meta evaluacin 2007-2012 del

Programa de Desarrollo Humano Oportunidades
Informe Final

Institucin a cargo del proyecto:
Universidad Autnoma de Chiapas
Centro Universidad Empresa

Coordinador General:
Jorge Mario Soto Romero

Responsable Administrativo
Alfredo Martnez de la Torre

Investigadores:
Vctor Aramburu Cano
Ricardo Belman Martnez
Andrs Blancas Martnez
Alida Marcela Gutirrez Landeros
Claudia Snchez Velasco
Tuxtla Gutirrez, Chiapas
23 de octubre de 2012
1


Resumen Ejecutivo

La presente Meta evaluacin 2007-2012 del Programa de Desarrollo Humano Oportunidades
tiene como objetivo analizar los avances y logros en materia de evaluacin y monitoreo durante
el periodo 2007-2012, as como identificar reas de oportunidad que permitan al programa
obtener mejores resultados en prxima administracin federal.

As, los principales resultados del PDHO en materia de evaluacin son los siguientes:

Principales fortalezas y oportunidades:
El PDHO es la poltica social ms evaluada del pas y cuenta con estudios rigurosos, tanto
a nivel cualitativo como cuantitativo.
El PDHO obtiene informacin relevante de sus beneficiarios, a travs de su padrn (el
cual est sistematizado y se actualiza continuamente) y de diversas encuestas diseadas
especficamente para el programa.
Las diversas evaluaciones de impacto han reportado impactos positivos asociados con
variables de educacin, salud, nutricin, entre otrosespecialmente en la poblacin
indgena y las mujeres. Algunos impactos se refieren al logro escolar, al uso de servicios
de salud, al consumo total de alimentos, el desarrollo cognitivo y lingstico, la movilidad
intergeneracional, etc.
Existe correspondencia entre el problema focal (Fin) y los objetivos del programa
(Propsito). En ambos casos, el PDHO documenta los resultados de los indicadores
propuestos.
Amplia cobertura de la poblacin objetivohasta 2010 se contaba con el 100% de la
cobertura, en 2011 con la definicin de la lnea de bienestar, la cobertura bajo al 58%

Principales debilidades y amenazas:
El PDHO excluye a los hogares en extrema pobreza que viven en localidades que no
tienen acceso a las unidades de salud y centros educativosque son estructuralmente
las ms necesitadas.
El diagnstico del PDHO no es vigente y se considera inadecuado, ya que no se hace
explcito el conjunto de relaciones causales, asociaciones y supuestos que justifican la
intervencin.
Existen problemas estructurales asociados a los servicios de los centros de salud y a las
escuelas, a las que acuden los beneficiarios del PDHO, ya que son de baja calidad.
El PDHO no cuenta con planes estratgicos de mediano y largo plazo, y no utiliza en
buena medida las recomendaciones de las evaluaciones para mejorar su desempeo.

Hallazgos sustantivos y metodolgicos relevantes de otros programas similares.
La evaluacin del programa Bolsa Familia encontr que los beneficiarios tiene efectos
significativos cuando no cumplen con las condicionantes del programa por factores
ajenos a su voluntad (clnicas en mal estado de los servicios de salud). De tal forma, los
2


mayores efectos del PDHO podran darse en la poblacin que atiende actualmente el
Programa de Apoyo Alimentario
Los resultados de la evaluacin Opportunity NYC muestran que los impactos sobre la
educacin a nivel primaria son muy bajos o nulos, lo que puede sugerir que el PDHO
cambie la estrategia del componente de educacin en este nivel de escolaridad.
Los resultados de la evaluacin del Bono destacan la relacin entre el condicionamiento
de las transferencias de ingreso y la infraestructura de servicios disponible. De tal forma,
las condiciones fsicas de las escuelas pueden tener un impacto negativo sobre el
aprendizaje y el logro escolar.

Agenda de evaluacin propuesta:
2013: Diagnostico y propuestas de atencin
2014: Evaluacin de diseo
2015-2016: Evaluacin de impacto
2017: Evaluacin de procesos
2017: Evaluacin estratgica de desempeo de los programas sociales alimentarios
2018: Evaluacin de consistencia y resultados

Sugerencias para la evaluacin de impacto:
Para evaluar el PDHO en dimensiones relacionadas con la educacin, salud y nutricin se
recomienda un modelo mixto (evaluacin cuantitativa y cualitativa)
El modelo cuantitativo que se recomienda es el de regresin discontinua. Este mtodo es
tcnicamente robusto para programas con un ndice continuo de elegibilidad (una
medida con la cual se puede clasificar a la poblacin de inters) y con una lnea de
puntaje definida para determinar el ingreso al programa.
En el caso del PDHO se puede hacer la medicin tanto en el borde superior (criterio
definido en las ROP como la lnea de bienestar) y en el borde inferior (criterio definido
por la condicionante de vivir en una localidad que tenga un centro escolar y un centro de
salud). La medicin en ambos bordes puede mitigar la debilidad de la regresin
discontinua que calcula el efecto solamente en el margen.
En la parte cualitativa se propone realizar estudios de caso para obtener una visin ms
detallada del impacto del programa, as como de las condiciones que afectan su
desempeo.

Propuesta para mejorar los resmenes narrativos:
Se propone continuar con los resmenes narrativos a nivel de Fin y Propsito:
Fin: Contribuir a la ruptura del ciclo intergeneracional de la pobreza extrema,
favoreciendo el desarrollo de las capacidades en educacin, salud y nutricin de
las familias beneficiarias de Oportunidades.
Propsito: Las familias beneficiarias en condiciones de pobreza desarrollan sus
capacidades de educacin, salud y nutricin.

Propuesta para mejorar los indicadores:
3


Fin:
1. Diferencia en la probabilidad de movilidad ocupacional intergeneracional de los jvenes
de 16 a 24 aos de familias beneficiarias en el umbral de la lnea de puntaje del PDHO,
con respecto de la misma probabilidad en de los jvenes de familias no beneficiarias en
dicho umbral.
Propsito:
Educacin:
1. Diferencia en la escolaridad promedio de los jvenes de 16 a 24 aos de familias
beneficiarias en el umbral de la lnea de puntaje del PDHO, con respecto de la
misma variable de los jvenes de familias no beneficiarias en dicho umbral.
2. Diferencia en la eficiencia terminal en secundaria de los jvenes de familias
beneficiarias en el umbral de la lnea de puntaje del PDHO, con respecto de la
misma variable de los jvenes de familias no beneficiarias en dicho umbral.
3. Diferencia en la matriculacin en el nivel medio superior de los jvenes de 15 a
21 aos de familias beneficiarias en el umbral de la lnea de puntaje del PDHO,
con respecto de la misma variable de los jvenes de familias no beneficiarias en
dicho umbral.
4. Diferencia en los resultados de la prueba Enlace en primaria y secundaria de los
nios y jvenes de familias beneficiarias en el umbral de la lnea de puntaje del
PDHO, con respecto de la misma variable para los nios y jvenes de familias no
beneficiarias en dicho umbral.
Salud:
1. Diferencia en la frecuencia de visitas mdicas preventivas y de control de los
miembros de familias beneficiarias en el umbral de la lnea de puntaje del PDHO,
con respecto de la misma variable para los miembros de familias no beneficiarias
en dicho umbral.
2. Diferencia en el ndice de fecundidad de las mujeres de familias beneficiarias en
el umbral de la lnea de puntaje del PDHO, con respecto de la misma variable
para las mujeres de familias no beneficiarias en dicho umbral.
3. Diferencia en la incidencia de enfermedades diarreicas los nios menores de 5
aos de familias beneficiarias en el umbral de la lnea de puntaje del PDHO, con
respecto de la misma variable para los nios de familias no beneficiarias en dicho
umbral.
Alimentacin y nutricin:
1. Diferencia en el puntaje Z de nios menores de 12 aos de familias beneficiarias
en el umbral de la lnea de puntaje del PDHO, con respecto de la misma variable
para los nios de familias no beneficiarias en dicho umbral.
2. Diferencia en la prevalencia de anemia en mujeres en embarazo o lactancia de
familias beneficiarias en el umbral de la lnea de puntaje del PDHO, con respecto
de la misma variable para las mujeres de familias no beneficiarias en dicho
umbral.
3. Diferencia en los resultados de las pruebas estandarizadas de desarrollo cognitivo
y lingstico en nios de familias beneficiarias en el umbral de la lnea de puntaje
4


del PDHO, con respecto de la misma variable para los nios de familias no
beneficiarias en dicho umbral.

Finalmente, las principales reflexiones sobre la situacin actual del programa y hacia donde
debera dirigirse, derivaron en las siguientes recomendaciones:

Elaborar un diagnstico adecuado y riguroso de la problemtica que sustenta la razn de
ser del programa, as como una serie de propuestas de atencin que sirva como base
para la planeacin estratgica, la mejora y el rediseo del programa.
Elaborar un Programa Especial para el PDHO que tome encuenta el nmero de
beneficiarios que atiende, los apoyos que brinda, los montos financieros que recibe y el
alcance inter-secretarial que comprende.
Valorar la pertinencia y factibilidad de eliminar gradualmente las becas amplias para la
primaria, y centrarse slo en los nios y nias sobre los que se logra impactos en dicho
nivel as como a los otros a los que an no se est llegando.
Valorar la pertinencia de complementar la vertiente de apoyo de Jvenes con
Oportunidades proporcionndoles apoyos para facilitar la transicin de la secundaria a
media superior y de esta al nivel superior.
Revisar y adecuar los criterios para la seleccin de localidades, los requisitos de
corresponsabilidad y los mecanismos de verificacin, o bien desarrollar modalidades
alternativas ms flexibles, con el fin de incorporar a quienes viven en localidades que no
disponen de servicios de salud.
Analizar la factibilidad habilitar intervenciones a travs de Oportunidades, en conjunto
con otras instancias gubernamentales, a efecto de mejorar sustancialmente la calidad de
la educacin en las escuelas del nivel bsico que concentran a sus becarios.
Eliminar la mutua exclusin entre el PASL y Oportunidades, o alternativamente limitarla
solo a aquellos individuos que reciben suplementos alimenticios.
Valorar la pertinencia y factibilidad de crear un mdulo especial para los hogares que
viven en las localidades ms pequeas y dispersas as como en las zonas indgenas, ya
que es donde ms se limita la oferta institucional de servicios de educacin y salud.
Valorar la coordinacin con el Programa de Abasto Rural, para que Oportunidades
otorgue vales canjeables por productos con alto valor nutricional en las tiendas Diconsa.
Realizar un estudio especfico que analice y valore, con responsabilidad y objetividad, la
pertinencia de mantener el enfoque de corresponsabilidad e integralidad de las
intervenciones, que ha estado en la base del programa desde su origen. Dicho estudio
deber valorar las ventajas y desventajas del enfoque actual y explorar las posibles
alternativas para atender el problema focal del programa desde una ptica ms abierta.
Incluir en el estudio antes referido, una valoracin de la pertinencia y factibilidad de que
el programa sea pueda servir como un canal privilegiado de acceso a la poblacin en
pobreza extrema y un mecanismo eficiente y efectivo para articular diversas iniciativas
de combate a la pobreza, distintas y complementarias a la formacin de capacidades
bsicas, incluyendo las dirigidas a la vulnerabilidad, la atencin de grupos prioritarios
5


especficos, y la generacin de ingresos y empleos de la poblacin en pobreza extrema,
entre otras vertientes con posibilidades prometedoras.
Establecer un equipo de trabajo tripartito, integrado por representantes de cada
instancia, para revisar las recomendaciones de la presente metaevaluacin y de las
principales evaluaciones anteriores, a efecto de definir formalmente cules y cmo
debern ser implementadas, a fin de que se pueda mejorar el desempeo del Programa.
La dinmica y la lgica de trabajo se debe de plantear de forma distinta pero
complementaria a lo que se establece en el mecanismo de seguimiento de Coneval.




6


ndice de contenidos
Resumen Ejecutivo ................................................................................................................ 1
1. Introduccin ................................................................................................................... 8
2. Descripcin del Programa ............................................................................................... 10
2.1. Antecedentes y objetivos ................................................................................................... 10
2.2. Problema focal y rbol de problemas .................................................................................. 11
2.3. Poblacin potencial y poblacin objetivo ............................................................................ 11
2.4. Apoyos otorgados .............................................................................................................. 12
2.5. Evolucin de la cobertura ................................................................................................... 12
3. Reporte de evaluacin ................................................................................................... 14
3.1. Principales hallazgos en las evaluaciones 2007-2012 ........................................................... 15
3.1.1. Evaluacin de Consistencia y Resultados (ECR 2007) ......................................................... 15
3.1.2. A diez aos de intervencin: Evaluacin externa del Programa Oportunidades 2008 en
zonas rurales (1997-2007) ............................................................................................................. 18
3.1.3. Evaluacin Especfica de Desempeo 2008 del PDHO (EED 2008) ..................................... 40
3.1.4. Evaluacin Especfica de Desempeo 2009 del PDHO (EED 2009) ..................................... 41
3.1.5. Evaluacin externa del Programa Oportunidades 2010 en zonas urbanas (2002-2009) ..... 43
3.1.6. Evaluacin de Movilidad Social Intergeneracional de los Jvenes Beneficiarios de
Oportunidades Provenientes de Hogares en Zonas Rurales (MS 2010) ........................................... 53
3.1.7. Especfica de Desempeo del PDHO (EED 2011) 2010-2011 .............................................. 55
3.1.8. Evaluacin de consistencia y resultados del PDHO (ECR 2011) 2011 .................................. 56
3.2. Anlisis de evaluaciones de resultados o de impacto en el mbito nacional o internacional de
programas similares ..................................................................................................................... 59
3.2.1. Bolsa Familia, Brasil .......................................................................................................... 59
3.2.2. Experimento de desayunos escolares en zonas rurales, Jamaica ....................................... 62
3.2.3. Opportunity NYC-Familia Rewards .................................................................................... 65
3.2.4. Bono de Desarrollo Humano ............................................................................................. 67
3.2.5. Recomendaciones derivadas de experiencias internacionales ........................................... 69
3.3. Agenda de evaluacin para el perodo 2013-2018................................................................ 72
3.3.1. 2013: Diagnstico y propuestas de atencin ..................................................................... 74
3.3.2. 2014: Evaluacin de Diseo .............................................................................................. 75
3.3.3. 2015-2016: Evaluacin de impacto ................................................................................... 76
3.2.1 2017: Evaluacin estratgica de desempeo de los programas sociales alimentarios ........ 76
3.3.4. 2017: Evaluacin de procesos ........................................................................................... 77
3.3.5. 2018: Evaluacin de consistencia y resultados .................................................................. 78
3.4. Anlisis de viabilidad y pertinencia para las evaluaciones de impacto .................................. 78
3.4.1. Pertinencia de la evaluacin ............................................................................................. 78
3.4.2. Aspectos a evaluar ............................................................................................................ 80
3.4.3. Metodologas y fuentes de informacin ............................................................................ 81
3.4.4. Viabilidad tcnica y financiera .......................................................................................... 85
3.5. Principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones derivadas
de las evaluaciones 2007-2011 y de la meta evaluacin. ................................................................ 86
3.6. Valoracin de las muestras utilizadas y las fuentes de informacin disponibles para las
evaluaciones .............................................................................................................................. 102
3.6.1. Calidad y pertinencia de las muestras utilizadas en evaluaciones anteriores ................... 102
7


3.6.2. Calidad y pertinencia de las fuentes de informacin internas y externas disponibles ...... 106
3.7. Anlisis de la carencia alimenticia ..................................................................................... 108
4. Reporte de monitoreo .................................................................................................. 111
4.1. Introduccin..................................................................................................................... 111
4.2. Anlisis histrico de la Matriz de Indicadores para resultados 2007-2012 ........................... 112
4.2.1. Principales cambios de la Matriz de Indicadores 2007-2012 ............................................ 112
4.2.2. Principales comentarios a la Matriz de Indicadores 2007-2012 ....................................... 122
4.2.3. Anlisis del resumen narrativo de la Matriz de Indicadores para Resultados 2012 .......... 129
4.2.4. Anlisis de los indicadores de Fin y Propsito ................................................................. 131
5. Reflexiones sobre la situacin actual del programa y hacia dnde debera dirigirse ...... 134
5.1. Sobre el diagnstico y las propuestas de atencin ............................................................. 134
5.2. Sobre la planeacin estratgica de mediano plazo ............................................................ 135
5.3. Sobre los apoyos en educacin ......................................................................................... 136
5.4. Sobre el cumplimiento de la corresponsabilidad en salud y la cobertura del programa ....... 142
5.5. Sobre la calidad de la educacin ....................................................................................... 143
5.6. Sobre la mutua exclusin de beneficiarios entre el PASL y Oportunidades ......................... 144
5.7. Sobre el enfoque de corresponsabilidad e integralidad...................................................... 146
5.8. Recomendaciones diversas ............................................................................................... 149
6. Conclusiones generales ................................................................................................ 151
7. Bibliografa .................................................................................................................. 153
7.1. Documentos sobre el programa ........................................................................................ 153
7.2. Documentos de otros programas similares........................................................................ 155
7.3. Documentos normativos y programticos ......................................................................... 155
7.4. Documentos tericos y metodolgicos .............................................................................. 156
8. Anexos ......................................................................................................................... 157
8.1. Anexo 1 Sntesis de Evaluaciones 2007-2012. ................................................................. 157
8.2. Anexo 2 Sntesis de Evaluaciones de programas similares internaciones. ........................ 157
8.3. Anexo 3. Agenda de evaluacin . ................................................................................... 157
8.4. Anexo 4. FODA. ............................................................................................................. 157
8.5. Anexo 5. Anlisis histrico y propuestas de mejora de la MIR ......................................... 157



8


1. Introduccin

Conforme a los Lineamientos Generales para la Evaluacin de los Programas Federales de la
Administracin Pblica Federal (Lineamientos), el numeral vigsimo cuarto, define las
evaluaciones complementarias, como aquellas que no se encuentran previstas en el Programa
Anual de Evaluacin (PAE), y cuya aplicacin est a consideracin de las necesidades que
identifiquen las dependencias o entidades.

En este sentido, al ser inters particular de la Sedesol contar con informacin acerca del
desempeo y resultados de los Programas Sociales, y con base en la informacin disponible de
evaluacin y monitoreo, se plantea una evaluacin complementaria, denominada
Metaevaluacin 2007-2012 para el Programa de Desarrollo Humano Oportunidades (PDHO).

El objetivo general de la evaluacin es analizar los avances y logros en materia de evaluacin y
monitoreo durante el periodo 2007-2012, as como identificar reas de oportunidad en dichos
temas, que permitan al programa obtener mejores resultados en el periodo 2013-2018. Este
objetivo general posteriormente se desarrollar en una serie de objetivo especficos, a los
cuales se les da cumplimiento formal en los diversos apartados de documento.

El desarrollo de la metaevaluacin del PDHO comienza con la descripcin general del programa
a partir de lo establecido en diversos documentos normativos y tcnicos bsicos, as como las
evaluaciones externas recientes. Inicia con una presentacin general, detenindose luego en
aspectos centrales como los objetivos, el problema focal que se busca revertir y las relaciones
de causa y efecto asociadas a dicho problema.

Posteriormente, en el Reporte de evaluacin se presenta una sntesis de cada una de las
evaluaciones externas que se realizaron al programa en el perodo 2007-2012; se analizan
evaluaciones de resultados o impacto de programas similares al PDHO; se propone una agenda
de evaluacin para el periodo 2013-2018; se enuncian principales fortalezas, oportunidades,
debilidades, amenazas y recomendaciones derivadas de las evaluaciones realizadas al
programa, y se exponen las conclusiones y recomendaciones ms relevantes del equipo
metaevaluador.

En el Reporte de monitoreo, se hace un anlisis de la evolucin de la Matriz de Indicadores de
Resultados (MIR) del programa durante el perodo 2007-2012. El anlisis histrico identifica los
principales cambios en los resmenes narrativos y en los indicadores que componen la Matriz,
que surgieron como resultado a las observaciones y recomendaciones de diversas instancias
normativas y fiscalizadoras, as como de evaluaciones externas realizadas al programa. As
mismo, se incluye una serie de recomendaciones del equipo metaevaluador para mejorar la
Matriz hacia el inicio de la prxima administracin federal.

Finalmente, se presentan las conclusiones y recomendaciones resultantes de la metaevaluacin
y se incluyen una serie de anexos que refiere el contenido del documento.
9





10


2. Descripcin del Programa

En este apartado se presenta una descripcin general del programa a partir de lo establecido en
diversos documentos bsicos, tales como las Reglas de Operacin del Programa (ROP), el
Diagnstico de la Problemtica Social Atendida por el Programa Oportunidadesde 2010 y el
Diagnstico Situacional de la Poblacin Potencial del Programa de Desarrollo Humano
Oportunidadesde 2011 (en adelante, el Diagnstico 2010 y Diagnstico 2011), la Nota de
actualizacin de poblacin potencial y objetivo del Programa de Desarrollo Humano
Oportunidades (en adelante, la Nota), as como las evaluaciones externas recientes. Inicia con
una presentacin general, detenindose luego en aspectos centrales como los objetivos, el
problema focal que se busca revertir y las relaciones de causa y efecto asociadas a dicho
problema. Posteriormente, se describen los diferentes apoyos que otorga el programa a sus
beneficiarios, se identifica y cuantifica la poblacin potencial y objetivo, y se da cuenta de la
evolucin de la cobertura durante los aos recientes.


2.1. Antecedentes y objetivos

El Programa de Desarrollo Humano Oportunidades (en adelante, PDHO, u Oportunidades) es el
programa social ms grande de Mxico, en trminos de recursos y beneficiarios. Con clave
programtica S072, est a cargo de la Coordinacin Nacional del Programa Oportunidades,
(CNO) dependiente de la Secretara de Desarrollo Social (SEDESOL).

El primer antecedente de Oportunidades es el Programa Nacional de Solidaridad, (PRONASOL-
1989-1994), el cual buscaba modificar las relaciones entre la sociedad civil y el estado,
priorizando el desarrollo regional en reas marginadas. Posteriormente surgi el Programa de
Educacin, Salud y Alimentacin (PROGRESA, 1997-2001), que pretenda promover la
acumulacin de capital humano y la generacin de capacidades bsicas en los hogares rurales
en condiciones de pobreza extrema. Finalmente, en 2001 surge el Programa de Desarrollo
Humano Oportunidades, que ampla el alcance del PROGRESA, buscando eliminar la transmisin
intergeneracional de la pobreza y focalizando su operacin en hogares en condiciones de
pobreza extrema en el mbito rural y urbano.

De acuerdo con el Diagnstico de la problemtica social atendida por el Programa
Oportunidades, elaborado en 2011, el problema social que atiende el programa se centra en los
hogares que no cuentan con los recursos suficientes para adquirir los bienes y servicios que
requieren para satisfacer sus necesidades (alimentarias y no alimentarias).

En las reglas de operacin (ROP) del programa para el ejercicio 2012, el objetivo general
consiste en favorecer el desarrollo de las capacidades asociadas a la educacin, salud y nutricin
de las familias beneficiarias del programa para contribuir a la ruptura del ciclo intergeneracional
de la pobreza. Los objetivos especficos son los siguientes:

11


otorgar apoyos educativos crecientes en educacin bsica y media superior a los nios,
nias y jvenes de las familias beneficiarias, con el fin de fomentar su inscripcin y
asistencia regular a la escuela, y consecuentemente la terminacin de dichos niveles
educativos;
asegurar el acceso al paquete bsico garantizado de salud a las familias beneficiarias,
con el propsito de impulsar el uso de los servicios de salud preventivos y el autocuidado
de la salud y nutricin de todos sus integrantes;
proporcionar apoyos a las familias beneficiarias para mejorar la alimentacin y nutricin
de todos sus integrantes, con nfasis en la poblacin ms vulnerable como son los nios
y nias, mujeres embarazadas y en periodo de lactancia;
fomentar el compromiso con los objetivos del programa y la participacin activa de
todos los integrantes de las familias beneficiarias mediante el cumplimiento de las
corresponsabilidades asociadas a las intervenciones de programa; y
potenciar los efectos del programa mediante la entrega de otros apoyos monetarios que
establezca el Gobierno Federal para la poblacin beneficiaria del programa.


2.2. Problema focaly rbol de problemas

En el diagnstico 2010 se identific como problema social que se busca atender la condicin de
pobreza extrema, definida como una situacin en que las carencias de ingreso, educacin y
salud de los hogares implican un bajo capital humano de las personas que no les permite
generar un nivel de ingresos suficiente para satisfacer sus necesidades bsicas y por tanto
acceder al pleno desarrollo de sus capacidades bsicas
1
.

En el diagnstico 2011 se identific problema social a ser atendido los hogares que no cuentan
con los recursos suficientes para adquirir los bienes y servicios que requiere para satisfacer sus
necesidades (alimentarias y no alimentarias). Desde su origen, el Programa Oportunidades ha
buscado contribuir a la ruptura del ciclo de transmisin intergeneracional de la pobreza,
favoreciendo el desarrollo de las capacidades de educacin, salud y nutricin
2
.


2.3. Poblacin potencial y poblacin objetivo

La poblacin potencial del programa se define como los hogares que perciben ingresos
inferiores a la Lnea de Bienestar (LB) definida por el Coneval en su metodologa de medicin de



1
Diagnstico de la Problemtica Social Atendida por el Programa Oportunidades. Secretara de Desarrollo Social,
2010. Pp. 3
2
Diagnstico Situacional de la Poblacin Potencial del Programa de Desarrollo Humano Oportunidades. C230
Consultores, Abril 2011. Pp. 7
12


la pobreza multidimensional, sin sumar en su ingreso las transferencias de otros programas
gubernamentales.

De acuerdo con la definicin anterior, la poblacin potencial se constituye de 60.2 millones de
personas, lo cual representa el 53.5% de la poblacin total del pas en el ao 2010. En trminos
de hogares, la poblacin potencial de Oportunidades creci hasta 14.0 millones de hogares, lo
que representa el 48.2% del total de hogares en Mxico en el ao 2010.

Por otra parte, la poblacin objetivo est definida bajo dos conceptos. El primero es una nueva
propuesta de poblacin objetivo con base en las necesidades operativas de Oportunidades, que
a la par de considerar a los hogares que se encuentran por debajo de la lnea de bienestar
mnimo, de acuerdo con los criterios de la medicin multidimensional de la pobreza, considera
una nueva lnea de ingreso llamada lnea monetaria de Verificaciones Permanentes de
Condiciones Socioeconmicas (lnea VPCS) y son elegibles los hogares cuyo ingreso per cpita es
inferior a esta lnea. El segundo concepto fue la definicin del programa en el ao 2011: hogares
cuyas condiciones socioeconmicas y de ingreso impiden desarrollar las capacidades de sus
integrantes en materia de educacin, nutricin y salud, de conformidad con los criterios de
elegibilidad y metodologa de focalizacin.


2.4. Apoyos otorgados

Los apoyos que brinda el programa se encuentran dirigidos a cada una de las necesidades que
se desean fortalecer:

Los apoyos alimentarios (en efectivo, y mediante la entrega de suplementos
alimenticios) contribuyen a mejorar la calidad, cantidad y diversidad de la alimentacin,
para elevar el estado de nutricin de las familias beneficiarias, con nfasis en los nios,
mujeres embarazadas y en periodo de lactancia.
Se otorga acceso garantizado a un Paquete Bsico de Salud con el fin de mejorar la salud
y nutricin de todos los integrantes de las familias beneficiarias mediante la prevencin,
promocin de la salud y deteccin oportuna de enfermedades, as como el cuidado y
control de los principales padecimientos.
Las becas en efectivo para apoyar la inscripcin, permanencia y asistencia regular a la
educacin primaria, secundaria y media superior de los hijos de familias beneficiarias.
De manera complementaria, el programa otorga apoyos para fortalecer el desarrollo de
los nios de 0 a 9 aos, para compensar a las familias por el incremento en el costo de
los alimentos, para mejorar la calidad de vida de los adultos mayores de 70 aos y para
incentivar el estudio y terminacin de educacin media superior.


2.5. Evolucin de la cobertura

13


La cobertura de Oportunidades ha mostrado tendencia histrica creciente, al grado de
sobrepasar el 100%. En los aos 2008 y 2010, la poblacin atendida sobrepasa la poblacin
objetivo, y en 2010, la poblacin atendida supera a la poblacin potencial estimada. En los aos
2011 y 2012 baj el porcentaje de poblacin atendida entre objetivo, como se puede apreciar
en la siguiente tabla:

Tabla 1: Evolucin de la Cobertura
Tipo de
Poblacin
Unidad de
Medida
2000 2002 2004 2006 2008 2010 2011 2012
Potencial
Millones
de
hogares
Sin
dato
5.43 5.43 5.43 5.36 5.36 11.95 14.0
Objetivo
Millones
de
hogares
2.56 4.24 5.00 5.00 5.00 5.80 10.03 12.3
Atendida
Millones
de
hogares
2.47 4.24 5.00 5.00 5.04 5.81 5.82 5.80
Atendidas
/ Objetivo
Porcentaje 96.74 100 100 100 100.8 100.17 58.02 47.15
Fuente: Coordinacin Nacional del Programa de Desarrollo Humano Oportunidades













14


3. Reporte de evaluacin

En este apartado se presenta una sntesis de cada una de las evaluaciones externas que se
realizaron al programa en el perodo 2007-2012. La sntesis se enfoca en la metodologa y los
principales resultados; identifica las fortalezas, oportunidades, debilidades y amenazas ms
relevantes, y enuncia las recomendaciones que los evaluadores derivaron en su momento de las
evaluacionesel Anexo 1 facilita una visin esquemtica de este ejercicio.

Para establecer un punto de referencia con otras experiencias a nivel internacional,
posteriormente se muestra una sntesis de evaluaciones de resultados o impacto aplicadas a
programas, proyectos o intervenciones pblicas que son similares, ya sea por algunos de sus
objetivos, componentes o poblaciones atendidas. Se trata de obtener informacin til para
valorar en qu medida las acciones del programa han obtenido resultados en otras realidades,
as como de analizar y aprovechar aquellos aspectos del esquema metodolgico aplicado en
estos casos para prximas evaluaciones al programa. El Anexo 2 posibilita una visin sinttica de
las evaluaciones a intervenciones similares a la que nos ocupa.

A continuacin, se propone una agenda de evaluacin para el perodo 2013-2018, que pretende
ser una gua para orientar los ejercicios que debern hacerse al programa conforme a la
normatividad en la materia. La agenda propuesta plantea los objetivos para cada evaluacin y el
perodo de duracin, seala los componentes especficos para analizar, hace una justificacin de
cada ejercicio con base en necesidades o recomendaciones identificadas en esta
metaevaluacin, y propone un conjunto de insumos necesarios para llevar a cabo las
evaluaciones durante todo el perodo. La esquematizacin de la propuesta puede observarse en
el Anexo 3.

Dada la importancia de corroborar en los hechos los cambios que las intervenciones pblicas
son capaces de imprimir en la realidad que buscan revertir, este apartado incorpora una
propuesta ms detallada para someter al programa una evaluacin de impacto. Se describen la
metodologa y las fuentes de informacin necesarias para llevar a cabo este tipo de evaluacin,
de acuerdo con la naturaleza de las variables especficas a medir as como de las caractersticas
especficas del programa. La propuesta se acompaa de un anlisis de pertinencia y de
viabilidad tcnica y financiera.

En este apartado se incorpora un resumen de las fortalezas, oportunidades, debilidades y
amenazas (FODA) del programa, identificadas en cada evaluacin analizada, acompaadas de
sus recomendaciones y propuestas asociadas. Cabe sealar que slo se presentan aquellos
elementos que, a juicio del metaevaluador, son relevantes, en trminos de su importancia e
implicaciones para el desempeo del programa, as como vigentes, en el sentido que la
situacin que les dio origen lo sigue siendo en alguna medida. El FODA completo de forma
esquemtica se presenta en el Anexo 4.

15


Finalmente, se incorpora una seccin de conclusiones y recomendaciones del metaevaluador,
que si bien en su mayora construyen sobre el anlisis de las evaluaciones antes revisadas, en
algunos casos llegan a resultados distintos al replicar los ejercicios metodolgicos de forma ms
amplia y rigurosa. Estas conclusiones y recomendaciones se enfocan principalmente en aspectos
asociados al diseo, la cobertura y los impactos del programa, y son responsabilidad exclusiva
del metaevaluador.


3.1. Principales hallazgos en las evaluaciones 2007-2012

En este apartado se presenta una sntesis de cada una de las evaluaciones externas que se
realizaron al programa en el perodo 2007-2012. La sntesis se enfoca en la metodologa y los
principales resultados. El Anexo 1 facilita una visin esquemtica de este ejercicio.

Cabe sealar que los resultados aqu presentados reflejan lo encontrado en cada evaluacin en
el momento en que estas se llevaron a cabo, y no reflejan la opinin del equipo metaevaluador.
Asimismo, es necesario enfatizar que, conforme a la normatividad respectiva, los principales
hallazgos y recomendaciones de las evaluaciones externas se incorporaron en un mecanismo de
seguimiento y derivaron en aspectos susceptibles de mejora, que en su momento fueron
atendidos por los responsables de los programas. Sin embargo, por el diseo del propio
mecanismo de seguimiento y la naturaleza de los problemas que les dieron origen, algunos
hallazgos y recomendaciones importantes pueden seguir siendo vigentes a la fecha en que se
realiza la presente metaevaluacin. En los casos en que esto ocurra, a juicio del metaevaluador,
dichos hallazgos y recomendaciones se retomarn en el anlisis FODA de la seccin 3.4.


3.1.1. Evaluacin de Consistencia y Resultados (ECR 2007)

La presente evaluacin tuvo como objetivo general, evaluar la consistencia y orientacin a
resultados del PDHOcon la finalidad de proveer informacin que retroalimente su diseo,
gestin y resultados. Ms especficamente, se propuso analizar la lgica y congruencia en el
diseo del programa, su vinculacin con la planeacin sectorial y nacional, la consistencia entre
el diseo y la normatividad aplicable, as como las posibles complementariedades y/o
coincidencias con otros programas federales; identificar si el programa cuenta con instrumentos
de planeacin y orientacin hacia resultados; examinar si el programa ha definido una
estrategia de cobertura de mediano y de largo plazo y los avances presentados en el ejercicio
fiscal evaluado; analizar los principales procesos establecidos en las ROP o en la normatividad
aplicable; as como los sistemas de informacin con los que cuenta el programa y sus
mecanismos de rendicin de cuentas; identificar si el programa cuenta con instrumentos que le
permitan recabar informacin para medir el grado de satisfaccin de los beneficiarios del
programa y sus resultados, y examinar los resultados del programa respecto a la atencin del
problema para el que fue creado.

16


La ECR 2007 del PDHOfue parte del Programa Anual de Evaluacin para el Ejercicio Fiscal 2007
de los Programas Federales de la Administracin Pblica Federal, a cargodel Consejo Nacional
de Evaluacin de la Poltica de Desarrollo Social. Para llevarla a cabo, el Coneval realiz un
procedimiento de invitacin a cuando menos tres personas de carcter nacional.

Institucin evaluadora:
Centro de Estudios Estratgicos, Instituto Tecnolgico y de Estudios Superiores de Monterrey,
Campus Ciudad de Mxico.

Coordinador o responsable de la evaluacin:
Jorge Mario Soto Romero.

Metodologas empleadas:
Cien preguntas con respuestas binarias (S/No) sobre los temas a evaluar, conforme a los
Trminos de Referencia elaborados por Coneval. Trabajo de gabinete con base en los
documentos del programa y otras fuentes secundarias, entrevistas a operadores y visitas de
campo para observar el procedimiento de entrega de los apoyos.

Diseo:
El problema est correctamente identificado y claramente definido.
El Fin y Propsito estn claramente definidos y corresponden a la solucin del problema.
No cuenta con un diagnstico propio, actualizado y adecuado sobre el problema.
Las lgicas vertical y horizontal de laMIRson claras.
Los indicadores son adecuados, pero no suficientes a nivel de Propsito, Componentes y
Actividades.

Planeacin estratgica:
El programa recolecta informacin para monitorear su desempeo.
Ha sido ampliamente evaluado, pero con una sola excepcin, ninguna de las
recomendaciones sustantivas se han traducido en modificaciones relevantes al diseo y
operacin del programa.
No cuenta con planes estratgicos de mediano y largo plazo.
Tiene amplias complementariedades y escasas duplicidades con otras acciones y
programas federales.

Cobertura y focalizacin:
No utiliza un mtodo explcito, adecuado y consistente para determinar y cuantificar la
poblacin potencial y poblacin objetivo.
El avance en la cobertura no es suficiente para lograr el Propsito y Fin, porque excluye
de la poblacin objetivo a las familias en localidades sin acceso a servicios de salud y
educacin.

17


Operacin:
La operacin de los aspectos crticos est normada, sistematizada y estandarizada.
El padrn de beneficiarios es actualizado y depurado permanentemente.
La calidad de la educacin se identific como un componente no producido actualmente
que podra mejorar la eficacia del programa, para asegurar que los impactos en
escolaridad se conviertan en capacidades y funcionalidades tiles en los mercados
laborales.

Percepcin de la poblacin objetivo:
Tiene instrumentos adecuados para medir la satisfaccin de los hogares beneficiarios.
La percepcin sobre el programa tiende a ser alta o muy alta.

Resultados:
Progreso adecuado para alcanzar su Propsito y Fin, en los Componentes de educacin,
salud y alimentacin.
Sin embargo, los logros varan ampliamente dependiendo de los indicadores
seleccionados, las caractersticas de los beneficiarios, contexto de localidades, y el
tamao de las brechas iniciales, entre otros factores.
En algunos segmentose.g., primarias, zonas urbanasy en otros indicadores
relevantese.g., desarrollo cognoscitivo, salud reproductivalos impactos tienden a ser
ms pequeos o nulos.

Tabla 2: Resultados selectos de las evaluaciones externas 2000-2007
Indicador Comparacin Tratamiento Impacto
atribuible
Educacin::
Incremento en la probabilidad de inscripcin a
primarias rurales (Schultz 2000).
De 97% a 98% en ambos casos,
aproximadamente
Tasa de continuidad de la primaria a la
secundaria en localidades rurales (Schultz
2000a).
58% 69% 19%
Alumnos matriculados en secundarias rurales
(R), semi-urbanas (SU) y urbanas (U) 1997-2001
(Parker 2002).
R: 71.67
SU: 277.3
R: 88.31
SU: 295.4
R: 23.2%
SU: 6.5%
U: No sig.
Alumnos inscritos al primer ao de educacin
media superior en localidades rurales (R) y
urbanas (U) (Parker 2002).
R: 54.65
U: 154.66
R: 75.29
U: 164.52
R: 37.8%
U: 6.4%
Aos de escolaridad de nias (M) y nios (H) de
localidades rurales 1997-2003 (Parker et al
2005).
M: 7.7
H: 7.4
M: 8.5
H: 8.5
M: 10.38%
H: 14.86%

18


Indicador Comparacin Tratamiento Impacto
atribuible
Salud:
Incidencia de enfermedades de nios de 0 a 2
aos en localidades rurales (Gertler 2000).
40.2 35.5 -12%
Visitas por ao de miembros del hogar a
servicios pblicos de salud de control y
preventivos para localidades rurales al ao
(R,1998-2003) y urbanas (U, 2002-2003)
(Gutirrez et al, 2004a)
R <6 aos: 12% U <6 aos: 1 visita
R 18-49 aos: 12% U 18-49 aos: 19%
R 50+ aos: 18% U 50+ aos: 16%
Das de enfermedad al ao para miembros del
hogar en localidades rurales (R,1998-2003) y
urbanas (U, 2002-2003) (Gutirrez et al,
2004a).
R <6 aos: -20% U <6 aos: No sig.
R 6-15 aos: No sig. U 6-15 aos: 24%
R 16-49 aos: -11% U 16-49 aos: No sig.
R 50+ aos: No sig. U 50+ aos: No. sig.
Alimentacin:
Crecimiento de nios de 12 a 36 meses en
localidades rurales (Behrman y Hoddinott
2000).
6.9 cm/ao 7.9 cm/ao 1 cm/ao
16%
(aprox.)
Talla para la edad y prevalencia de talla baja de
nios entre 24 y 71 meses en localidades
rurales (Neufeld et al 2004).
TE: ND
PTB: 36.9%
TE: ND
PTB: 28.7%
0.67 cm
-17.4% (-
8.2)


Valoracin tcnica

No aplica.


3.1.2. A diez aos de intervencin: Evaluacin externa del Programa Oportunidades 2008 en
zonas rurales (1997-2007)

En 2008, el PDHO encarg al Instituto Nacional de Salud Pblica (INSP) y al Centro de
Investigaciones y Estudios Superiores en Antropologa Social (CIESAS) la coordinacin de la serie
A diez aos de intervencin. Evaluacin externa del Programa Oportunidades 2008 en zonas
rurales (1997-2007). Esta serie incorpora 14 trabajos empricos, tanto cualitativos como
cuantitativos para analizar los efectos e impactos del PDHO sobre sus beneficiarios en diversos
aspectos y dimensiones.

En las evaluaciones cualitativas, las fuentes de informacin se recabaron especficamente para
cada evaluacin. De tal forma, el diseo de las mismas responde a cada uno de los objetivos de
la evaluacin.

19


En lo correspondiente a las evaluaciones cuantitativas, la principal fuente de informacin es la
Encuesta de caractersticas socioeconmicas de los hogares (ENCEL), que levant informacin
de hogares beneficiarios de 1998 a 2007. En trminos generales se puede sealar que la ENCEL
seleccion 506 localidades de forma aleatoria (de 6,396 localidades), de las cuales 320 fueron
seleccionadas como localidades de tratamiento y el resto se incorporaron como localidades de
control. Vale la pena sealar que en el ao del levantamiento la ENCEL tena representatividad
para el conjunto de la entonces poblacin beneficiaria, por lo que la capacidad estadstica de las
evaluaciones que utilizaran esta fuente de informacin se poda considerar pertinente. Sin
embargo, en los aos siguientes, la ENCELsolamente dio seguimiento a los hogares que haban
sido incluidos en la muestra original y que podan ser ubicados debido a que permanecieron en
su localidad de origen. De hecho, dado que en 2006 las 506 localidades ya pertenecan al PDHO,
se incorporaron 151 localidades adicionales para elaborar grupos de controlseleccin que no
se realiz de forma aleatoria, sino mediante un pareo de puntaje por propensin. Finalmente,
en 2003 de las 657 localidades, se excluyeron 103 por diversas razones.Para 2003, la ENCEL
contaba con registro de 34,202 hogares. Finalmente,en 2007 debido a las necesidades de
informacin se incluy en la muestra una fraccin de hogares entrevistados en la ENSANUT
2006 con el objeto de recabar informacin del PDHO en el norte y occidente de Mxico.

Esto trae como consecuencia que,con independencia de la pertinencia de la informacin que
contiene la ENCEL (informacin relevante para capturar los efectos deseados sobre educacin,
salud y nutricin, entre otros aspectos), la representatividad de los levantamientos de los aos
siguientes ha desaparecidosiendo acentuada adems por el incremento de la cobertura del
PDHOal interior de los estados originales; as como de la incorporacin de otros estados. Por
ello, es muy importante sealar que si bien los resultados de estas evaluaciones son ilustrativos,
no pueden hacerse generalizaciones sobre sus efectos.


3.1.2.1. Efectos de Oportunidades a diez aos de intervencin, en el consumo e inversin
de las familias beneficiarias en zonas rurales con base en la encuesta de evaluacin
de los hogares rurales 2007 (C 2008)

Esta evaluacin formaparte de los documentos cuantitativos que se realizaron, y tena como
objetivodeterminar y analizar los efectos de largo plazo que pudiera tener el PHDO sobre las
decisiones de consumo,inversin y ahorro de los beneficiarios que viven en zonas rurales. El
periodo de evaluacin es de 1998 a 2007 y est determinado por la informacin de la ENCEL
2007.

Coordinador o responsable de la evaluacin: Juan Pablo Arroyo Ortiz

Metodologas empleadas

La fuente de informacin principal es la ENCEL 2007, la cual contiene datos para tres grupos de
localidades: las incorporadas en 1998 (283), las incorporadas en el ao 2000 (176) y las
20


incorporadas en 2003 (95). Los primeros dos grupos de localidades fueron constituidos a partir
de una muestra de forma aleatoriael tercer grupo se han ido incorporando paulatinamente.
Aunque la ENCEL tiene informacin de hogares que no fueron beneficiarios y eran elegibles, en
el estudio no se consider como grupo de control por ser un nmero relativamente bajo. Como
alternativa, se consider calcular el efecto de largo plazo como la diferencia entre el resultado
por la exposicin temprana (1998) y la exposicin tarda (>2004).

En la estimacin, el autor utiliz un mtodo desarrollado por Heckman en dos etapas para
corregir el error de autoseleccin, el cual consiste en estimar en una primera regresin la
eleccin del PDHO en un modelo tipo Probit, a partir de la cual se obtienen los trminos de
correccin de autoseleccin de la ecuacin principalcontrola la autoseleccin por medio de
variables observables.

Finalmente para calcular el efecto promedio del tratamiento en los tratados se utiliz el mtodo
de Propensity Score Matching, con cuatro modalidades:vecino ms cercano, por radio, por
kernel y por estratificacin. Con estos mtodos, se esperaba calcular los efectos en el consumo y
la inversin (bienes del hogar, bienes productivos y ahorro).

En la estimacin para obtener el impacto del consumo total (la diferencia entre el consumoper
cpita de hogares con larga exposicin, en comparacin con hogares de corta exposicin) por el
mtodo del Kernel, se utiliz una distribucin normal con un radio de 0.06. La estimacinRadius
Matching se hizo con un radio de 0.1.

Para el impacto en la inversin, se consider el efecto del PDHO en la probabilidad de que los
hogares beneficiarios adquieran determinados activos, a travs de un modelo dicotmico Logit,
para calcular la diferencia entre hogares similares con corta y larga exposicin.

Resultados

Los principales resultados obtenidos de la evaluacin de impacto son los siguientes:

La probabilidad de tener una larga exposicin al PDHO ende a disminuir a mayor es el
nmero de personas en el hogar; cuando el jefe del hogar es hombre; cuando la vivienda
posee agua entubada, electricidad y gas. La probabilidad tiende a aumentar si la vivienda
posee piso de tierra y un mayor nmero de cuartos. Estos resultados sugieren que los
hogares que se incorporaron inicialmente al PDHO eran ms pobres.
En consumo total de largo plazo, el mtodo de estratificacin y radio indican impactos
positivos y significativos de 680 y ms de 1,300 pesos anuales para 20071,000 en
promedio.
En el consumo de alimentos, los mtodos de estratificacin, radius y kernel indican un
efecto entre 384 y 786 pesos anuales en 2007520 en promedio anual para 2007.
21


De los resultados se obtiene que, de no haber ingresado al PDHO, el grupo 1998 tendra
una diferencia en consumo menor a 2,000 pesos, en comparacin al grupo que entro al
PDHO en 2003.
En consumo distinto a alimentos, los mtodos de estratificacin y radius indican un
efecto que vara entre 300 y 550 pesos420 en promedio anual para 2007.
El gasto anualper cpitade las familias ms pobres ha aumentado de la siguiente forma:
60 pesos en educacin; 115 en salud e higiene; 43 en vestido y calzado; 95 en
transporte; y 74 en otros bienes. En energa no se tiene evidencia de impactos, ni en
alcohol y tabaco.
No se encuentran resultados concluyentes que indiquen efectos del PDHO en la
inversin en activos.
El PDHO no parece tener efecto en actividades microempresariales.
La diferencia en la probabilidad de ahorro para grupos de larga y corta exposicin, los
mtodos del vecino ms cercano y Kernel ofrecen resultados significativosen ambos
casos es menor al 1%.
Si la poblacin es indgena el PDHO tiene mayor impacto en elevar el consumo.

Valoracin tcnica

Las fuentes de informacin se consideran pertinentes, ya que la encuesta ENCEL 2007 contiene
mdulos que permiten realizar las estimaciones planteadas. Aunque varias estimaciones tienen
significancia estadstica, no se hace explcito el tamao de la muestra, lo cual se considera
informacin relevante. Ver Apndice A para revisar la calidad de las fuentes de informacin.

El modelo se considera adecuado, de acuerdo con los objetivos planteados en la evaluacin. De
hecho, los modelos y mtodos empleados en esta evaluacin son ampliamente utilizados en la
literatura para realizar mediciones de impactoincluyendo evaluaciones previas del PDHO.
Sobre el uso de estas metodologas en estudios similares se puede mencionar que los autores
justifican su uso al mencionar que en Colombia y Nicaragua se han estudiado los efectos de las
transferencias condicionadas en el consumo. En Colombia Attanasio et. al. (2005) calcul los
efectos del Programa Familias en Accin; y en Nicaragua se calcularon los efectos del Programa
de Red de Proteccin Socialen ambos casos con metodologas diferentes. Por otro lado,
Attanasio y Mesnard (2005) comparan los resultados de la metodologa de diferencias en
diferencias, contra los de la de emparejamiento por puntajes de propensin.

En cada captulo se considera que las conclusiones son adecuadas en alcance y dimensin, de
acuerdo con la metodologa empleada.


3.1.2.2. Evaluacin de los efectos de Oportunidades en la economa e infraestructura local
en zonas rurales a diez aos de intervencin (IL 2008)

22


El objetivo de esta evaluacin de impacto era llevar a cabo un anlisis exploratorio e inferencial
sobre los posibles efectos del PDHOen la presencia y mejora de infraestructura social pblica,
los servicios bsicosde los hogares y el aumento en el dinamismo de los mercados locales.La
evaluacin de impacto midi los efectos para un periodo que va de 1998 a 2007. La
coordinacin de la evaluacin estuvo a cargo del INSP.

Investigadores: Evelyne Rodrguez Ortega y Mireya Pasilla Torres.

Metodologas empleadas

El anlisis se bas en la informacin de la ENCASEH 1997 y de las ENCEL 1998, 2003 y 2007. La
ENCASEH se aplic antes de iniciar el PDHO, en todos los hogares de las localidades intervenidas
y en las localidades control. La base de datos de localidades de la ENCEL 2007 contiene
informacin de 722 localidades: 270 (37.4%) corresponden a la lnea basal de 1998 (tratamiento
1998); 168 (23.3%) al grupo control de 1998 que fueron incorporadas en el 2000 (control 1998);
80 (11.1%), al grupo control que se incorpor en la encuesta de evaluacin de 2003 (control
2003); y 204 (28.5%) son localidades que ya eran beneficiarios pero que se incorporaron
adicionalmente para esa encuesta (Nuevas 2007).

La ENCEL 2007 contiene informacin de 44,036 hogares ubicados en 808 localidades, que
contiene a los grupos tratamiento y control 1998, control 2003 y nuevas 2007 incorporadas para
esa encuesta de evaluacin. La ENCASEH 1997 presenta informacin de 24,077 hogares en las
506 localidades de los grupos tratamiento y control 1998. La base del anlisis sobre las mejoras
en los hogares (entre 1997 y 2007) se obtuvo mediante la identificacin de aquellos que
estuvieran en ambas encuestas. Se encontraron 26,123 hogares en ambas encuestas
distribuidas en 542 localidades.

Para estimar el efecto del PDHO, se hizo una exploracin de la ENCEL 2007 para analizar el
estatus en materia de infraestructura social en la localidad (agua, drenaje y electricidad);
infraestructura social en los hogares (agua potable entubada, escusado o letrina y electricidad);
y la actividad econmica principal de la localidad, principales empleadores y lugares de compra.

Posteriormente, se especific una regresin del tipo Logit para estimar la probabilidad, tanto a
nivel de hogar como de localidad, de que localidades o beneficiarios tengan los indicadores de
infraestructura bsica y hayan mejorado de 2003 a 2007. Los indicadores a nivel de localidad
son drenaje, electricidad y agua potable; y a nivel de hogar son agua potable entubada,
sanitario, letrina o excusado. Para el modelo de mejoras en la economa local se consider como
indicador el nmero de tiendas de abarrotes.

En los modelos estimados, las variables dependientes son dicotmicas construidas como
indicadores de mejoravalor de 1 si la localidad ha mejorado en trminos de infraestructura y
el valor de 0 en otro caso. En lo que respecta al anlisis del nmero de negocios nuevos
abiertos, el modelo se estima por mnimos cuadrados ordinarios ya que esta variable no es
23


dicotmica. Para cada estimacin se calculan tres especificaciones, la primera calcula el modelo
con todas las variables que se creen relevantes; en las siguientes se van eliminando las variables
que no salieron significativas en la anterior.

Finalmente, para analizar el aumento si el nmero de negocios nuevos est determinado por el
po de localidad, se esm un modelo de mnimos cuadrados ordinariosla variable endgena
es el nmero de negocios abiertos en los ltimos cuatro aos.

Resultados

Las mejoras en infraestructura bsica fueron similares para todos los grupos de
localidades, por lo que no estn asociadas a la presencia del PDHO ni al tiempo de
exposicin. Los parmetros estimados no fueron significativos.
Se observ una relacin positiva entre la presencia de agua potable en la localidad y el
PDHO, ya que el coeficiente del porcentaje de beneficiarios en la localidad es positivo
(0.003), lo que implica que el nmero de beneficiarios del PDHO en la localidad aumenta
la probabilidad de contar con agua potable entubada.
En la mejora de agua potable, el modelo mostr como variables posivas y signicativas:
hogar beneficiarios del grupo tratamiento 1998 (0.1805), el porcentaje de beneficiarios
en la localidad (0.0083), la jefatura de hogar indgena (0.2260), marginacin de la
localidad (0.2910) y mejoras en el hogar en el mismo periodo de letrina o escusado
(0.1832).
Ser beneficiario no tiene relacin con tener letrina o escusado en 2007. El porcentaje de
beneficiarios en la localidad fue significativa (0.0046).
Sobre la mejora en sanitario, letrina o escusado, se obtuvo que ser beneficiario,
independientemente del tipo de localidad, aumenta la probabilidad de mejora (0.0046
para el grupo de tratamiento), aunque el coeficiente de los beneficiarios del grupo de
tratamiento 1998 result menor al del grupo de control 1998.
Pertenecer a alguna de las localidades estudiadas disminuye el nmero de negocios
abiertos, ya que los coeficientes de las localidades del grupo de tratamiento 1998 y de
control 1998 resultaron significativos y negativos. El porcentaje de hogares beneficiarios
en la localidad tampoco result signicavo.
El incremento en el nmero de tiendas de abarrotes en el periodo 2003-2007 en las
localidades entrevistadas no se explica por la existencia del PDHO.

Valoracin tcnica

Las fuentes de informacin se consideran pertinentes pero limitadas, ya que como lo sealan los
propios autores, los resultados deben tomarse con cautela, entre otras cosas por las
limitaciones de las bases de datos. Incluso, las recomendaciones que se incorporan al
documento refieren a la construccin de informacin que sirva para evaluar infraestructura y
dinamismo econmico derivado de la exposicin al PDHO. Ver Apndice A para revisar la calidad
de las fuentes de informacin.
24



En caso de la estimacin para medir el efecto del PDHO sobre el dinamismo econmico, no se
considera que el modelo sea suficiente para dicho propsito. Es probable que con otras
especificaciones y variables se pudieran tener resultados diferentesadems de resaltar las
limitantes de informacin con las que se contaba para poder medir dicho efecto.

En el modelo que incluye la medicin de posibles efectos en la infraestructura de la localidad, es
probable que la hiptesis este fuera de los mbitos del PDHO, ya que esto sera a travs de un
mecanismo indirecto que influenciaran los beneficiarios o la administracin local. En todo caso,
para probar dicha hiptesis es probable que la especificacin no sea la ms adecuada, as como
las variables seleccionadas.

Las conclusiones que sealan los autores sobre los resultados de los modelos se consideran
pertinentes. No obstante, las recomendaciones que sealan solamente hacen alusin a la falta
de informacin del PDHO para realizar una evaluacin de este tipo.


3.1.2.3. Evaluacin de los efectos a diez aos de Oportunidades en el desarrollo, educacin
y nutricin en nios entre 7 y 10 aos de familias incorporadas desde el inicio del
programa (ENN 2008)

Esta evaluacin se incorpora en el Captulo I delTomo I: Efectos de Oportunidades en reas
rurales a diez aos de intervencin. El objetivo principal era investigar si la exposicin alPDHO
haba incrementado el capital humano de los nios pobres entre 7 y 11 aos de edad, que vivan
en zonas rurales al momento de realizar esta evaluacin. Ms especficamente, se pretenda
averiguar si exista algnefecto del PDHO en:

Educacin: la tasa de progresin escolar, los grados alcanzados, las habilidades de lectura y
escritura reportadas.

Nutricin: el estado nutricional (estatura), el puntaje Z de talla para la edad, el ndicede masa
corporal, el puntaje Z del ndice de masa corporal, la probabilidad de sobrepeso, la anemia, el
desarrollo cognitivo, ylingstico y conductual de los nios.

Coordinador o investigador responsable de la evaluacin: Jere R. Behrman

Metodologas empleadas

La fuente principal de informacin fue la ENCEL 2007, que recolect informacin
socioeconmica y biolgica de localidades con tratamiento temprano (1998) y tardo (1999) con
una asignacin aleatoria entre estos grupos. La muestra para educacin incluye 272 localidades
rurales con una poblacin de menos de 2,500 habitantes, en tratamiento temprano y 168 en
tratamiento tardo con las mismas caractersticas. En el caso de las caractersticas nutricionales,
25


cognitivas, lingsticas y conductuales, se incluy 234 localidades en tratamiento temprano y
152 localidades en tratamiento tardo. La muestra incluy a todos los nios de la ENCEL 2003
que tenan de 0-3 aos al momento de la puesta en marcha del PDHO que fueron 1,887 nios
para indicadores nutricionales y 1,514 para evaluar el desarrollo cognitivo, lingstico y
conductualdescartando los que nunca se incorporaron al PDHO (96), los que estaban en
localidades donde no llego la ENCEL (385) y los que no se encontraron (532). Cabe mencionar
que el desarrollo cognitivo y lingstico de los nios fue evaluado por medio de las pruebas de la
escala de Wechler de Inteligencia (WASI). En el caso de los problemas de desarrollo conductual
se utiliz el Cuestionario de Fuerzas y Dificultades (SDQ) y para los puntajes de la estatura, edad
y masa corporal se basaron en los estndares de OMS.

La estimacin se basa en el diseo experimental de la ENCEL con diferencias bsicas entre nios
de 0 a 3 aos al momento de iniciar el PDHO para una exposicin de tratamiento temprano
contra tratamiento tardo que implica 20 meses de diferencias. El modelo utilizado fue una
regresin logit y probit, en donde la variable dependiente es un vector de resultados infantiles
de la ENCEL, explicada por una variable dicotmica para definir si es del grupo de tratamiento o
de control y una serie de variables de control para refinar las estimaciones.

En caso de un sesgo por perdidas en la muestra durante el seguimiento, se prob si las muestras
de la ENCEL 2007 estaban balanceadas (las caractersticas basales no diferan de manera
significativa entre los nios expuestos a tratamiento temprano contra el tratamiento tardo). Si
una muestra no estaba balanceada, se uliz el pareamiento por puntaje de propensin en el
que se estructuraron pares entre los grupos de tratamiento y control.

Tambin se realizaron estimaciones basadas en la ENNVIH, la cual no tiene una asignacin
aleatoria para el PDHO. En este caso se utiliz un pareamiento por puntaje de propensin (SCM)
para controlar las diferencias. Adems, dado que la ENNVIH no cuenta con informacin basal
previa a la implantacin del PDHO, para el pareamiento slo se emplearon las variables de 2002,
que tienen pocas probabilidades de haber sido alteradas por el PDHO. En la ENNVIH, la ronda de
2002 y 2005 incluy 8,400 hogares en 150 localidades, aunque la muestra solamente utiliza las
localidades consideradas rurales, de los cuales 35% de estos hogares pertenecan al PDHO.

Resultados

Educacin
ENCEL. En grado escolar concluido, progresin a tiempo y capacidad de leer, no se
encuentran impactos significativos ni positivos en nios de 0-36 meses que recibieron los
beneficios hasta 20 meses ms temprano al inicio del PDHO. Los estimados para nios
nacidos con bajo peso (<2.5kg) dentro del PDHO no arrojan impactos estadsticamente
significativos o positivos.
ENNVIH. Ninguna variable educativa registr impactos significativos, (indican el signo
esperado) en el pareo entre hogares de 1998 y 2001.

26


Nutricin
ENCEL. Las estadsticas de nutricin infantil, no indican diferencias significativas entre
nios expuestos a tratamiento temprano y tardo. Puntos de estatura por edad (-1.09 y -
1.10 respectivamente), puntos de IMC por edad (-0.00 y 0.04), estatura (130.7 y 130.6) y
concentracin de hemoglobina(sin diferencias con 14.0). No se encontr impacto en
talla para la edad, puntaje de IMC para la edad o sobrepeso.
ENNVIH. Existe un impacto significativo en la reduccin de la anemia ( =-0.129 g/dL) en
la muestra T1998 frente a la muestra T2001. En ambas comparaciones (T1998 vs T2001 y
T1998 vs la que no reciba el PDHO en 2005), el programa muestra una reduccin de la
obesidad y el sobrepeso proporcional en 2005 y la reduccin de la obesidad y el
sobrepeso proporcional entre 2002 y 2005.

Desarrollo cognitivo, lingstico y conductual
ENCEL. Se observ un impacto significativo en las capacidades lingsticas (2.3) y en
problemas de conducta (-0.15) al incluir edad, sexo y 17 covariantes a nivel de hogar
(ENCASEH 1997).
ENNVIH. Se encontr un impacto positivo en la capacidad cognitiva de 2002 al
pertenecer al grupo T1998, contra el grupo T2001 (0.832). Para 2005 los resultados ya no
son significativos.

Valoracin tcnica

Las fuentes de informacin (ENCEL) son adecuadas y contienen informacin especfica para
capturar los efectos planteados. Sin embargo, debido a que no se contaba con informacin para
construir grupos de control,se decidi realizar comparaciones por el tiempo de exposicin al
PDHO para observar el efecto sobre los beneficiarios. El problema de esta alternativa radica en
que la diferencia de 20 meses deexposicin para cada grupo puede ser un periodo corto de
tiempo, y por esta razn pueden no encontrarse efectos en largo plazo. Ver Apndice A para
revisar la calidad de las fuentes de informacin.

Una aparente limitacin para las estimaciones de variables educativas radica en que los hogares
de la ENNVIH que recibieron beneficios en periodos subsecuentes al inicio del PDHO, tienden a
mantener una condicinsocioeconmicams alta y es menos probable que sean indgenas. Estas
diferencias podran hacer que las estimaciones de diferencias simples subestimen los impactos
del PDHO si los controles no lo hacen adecuadamente.

Las tcnicas utilizadas en el modelo se consideran adecuadas, ya que han sido utilizadas en
otras evaluaciones similares. Por ejemplo, el mtodo de ponderacin aplicado, fue similar al
enfoque de pareamiento con caractersticas observables utilizado en la literatura se us el
teorema de reduccin de dimensionalidad de Rosenbaum y Rubin (1983) para implementar un
estimador de reponderacin. No obstante, los autores encuentran que sus estimaciones de
pareamiento fueron afectadas al incorporar la edad y sexo, probablemente a causa del tamao
de muestra, especialmente en la ENNVIH.
27



Behrman y Hoddinott (2005), Behrman, Sengupta y Todd (2005) y Rivera et.al. (2004) y Schultz
(2004) encontraron impactos en el crecimiento lineal preescolar, en las tasas de progresin
escolar y los logros escolares con exposiciones a los complementos alimenticios durante
tiempos similares.

En Guatemala,Hoddinott M., et.al (2008) encontraron que esdifcil identificar de manera exacta
elperiodo de exposicincritico para encontrar efectos derivados del programa. Sin embargo, en
el periodo que va de los 6 a los 24 meses de edad, se identific que elimpacto es mayor para
algunos resultados a largo plazo.

Las conclusiones son adecuadas en alcance y dimensin, de acuerdo con la metodologa
empleada. Sin embargo no sealan de forma explcita la no representatividad de la muestra.


3.1.2.4. Evaluacin de seguimiento de adultos jvenes en hogares incorporados desde 1998
a Oportunidades: impactos en educacin y pruebas de desempeo (EPD 2008)

El objetivo de esta evaluacin de impacto era investigar por mtodos cuantitativos, si la
exposicin durante una dcada, al Programa Oportunidades, incrementaba el capital humano
de los jvenes entre 19 y 22 aos de edad, provenientes de familias pobres de zonas rurales. En
especfico, se estimaron los impactos a largo plazo del PDHOen logro escolar y logro
cognoscitivo de nios que tenan entre 9 y 12 aos de edad cuando iniciaron como
beneficiarios. Esta evaluacin se incorpora en el Captulo IV del Tomo I: Efectos de
Oportunidades en reas rurales a diez aos de intervencin.La coordinacin de la evaluacin
estuvo a cargo del INSP.

Coordinador o investigador responsable de la evaluacin: Susan Parker

Metodologas empleadas

Se utiliz el mdulo de la ENCEL 2003 para jvenes entre 19 y 22 aos que incluy 506
localidades320 se asignaron aleatoriamente al grupo de tratamiento (T1998) y 186 al grupo
de control, que en T2000 era el grupo de tratamiento. En 2007 se levanto informacin de 278
localidades para T1998 y 172 para T2000. Para la ENCEL 2007, se aplicaron exmenes de lectura
y matemticas a una submuestra de adolescentes de 15 a 25 aos de edad en 2007. La prueba
de matemticas es una versin en espaol de las pruebas Woodcock Johnson, que se aplican en
Estados unidos para medir el logro acadmico. La prueba de lectura forma parte de los
estndares nacionales, desarrollados por el INEE. La lnea de base se tomo de la ENCASEH 1997.

La estimacin utilizada fue el estimador de dobles diferencias, que controla por las
caractersticas fijas, no observadas que pueden afectar la perdida de muestra o el tiempo de
exposicin al PDHO. En parcular, se ulizaron esmadores de pareamiento por puntaje de
28


propensin con dobles diferencias (DiD PSM) que tambin controlan por los efectos jos no
observables. En la esmacin se uliz tanto el pareamiento lineal local como el del vecino ms
cercano aunque slo se reportaron los resultados del pareamiento lineal local, ya que los
resultados son similares.

Resultados

Impacto positivo en la escolaridad de jvenes beneficiarios del PDHO con 0.9 ms grados
escolares que los no beneficiarios de 19-20 aos y de 0.6 grados de 17-18 aos. Los
jvenes de 19-20 aos con una exposicin de 6 aos, muestran un impacto de 0.65
grados, con 10 aos el resultado es de 0.9.
Impacto en la inscripcin y terminacin de la secundaria y bachillerato. En la terminacin
de secundaria, las nias registraron resultados ms altos que los nios (2.7% vs 0.9%). En
preparatoria se invierten los resultados (15.9% en nios vs. 5.4% en nias).
No se encontr impacto en la inscripcin a la universidadla poblacincontina siendo
baja (cerca de 2%).
El impacto de 0.64 grados de escolaridad para mujeres indgenas contra 0.44 grados para
las no indgenas.
Dobles diferencias: El impacto entre T1998 y T2003 es estadsticamente significativo e
implica un incremento de 10% en el puntaje de matemticas para los beneficiarios del
PDHO.
Diferencias simples: Slo el grupo de mujeres muestra un impacto positivo en las
pruebas de rendimiento de matemticas5% preguntas correctas adicionales. En los
hombres, no existe un impacto positivo o importante del PDHO en las pruebas de
matemticas ni en comprensin de lectura. Para el grupo de 21-22 aos de edad, existe
un valor negativo del PDHO en comprensin de lectura, lo que refleja que los
estimadores de diferencias en este contexto tienden a subestimar el impacto.

Valoracin tcnica

Las fuentes de informacin contienen mdulos que permiten realizar las estimaciones
planteadas. Sin embargo, aunque no se hace explcito el tamao de la muestra, se considera
que no es suficientemente amplia para capturar efectos de algunos subgrupos, ya que al
separar resultados significativos por caractersticas del individuo, se obtuvieron resultados sin
significancia estadstica. Una desventaja adicional de la ENCEL es que el mdulo de jvenes,
incluye slo aquellos que permanecieron en el hogar de la familia, sin que exista seguimiento
para migrantes en la misma localidad, mismo estado, para migrantes nacionales o que salieron
del pas. Ver Apndice A para revisar la calidad de las fuentes de informacin.

El modelo se considera adecuado, de acuerdo con los objetivos planteados en la evaluacin. De
hecho, los modelos y mtodos empleados en esta evaluacin son ampliamente utilizados en la
literatura para realizar mediciones de impactoincluyendo evaluaciones previas del PDHO. En
todo caso, solamente se menciona que las estimaciones de LP no se basan en un experimento
29


controlado, sino en mtodosestadsticos para controlar efectos fijos no observables que varan
en el tiempo y podran afectar los resultadosque incluso con mtodos correctivos, los
supuestos pueden cambiar o no ser totalmente correctos.

En cada captulo se considera que las conclusiones son adecuadas en alcance y dimensin, de
acuerdo con la metodologa empleada.


3.1.2.5. Padecer la pobreza: un anlisis de los procesos de salud, enfermedad y atencin en
hogares indgenas y rurales bajo la cobertura del Programa Oportunidades
(APSEAHIR 2008)

Los objetivos de esta evaluacin de impacto cualitativa eran: 1) describir las condiciones de la
atencin a la salud en el primer nivel; 2) determinar si stas, en conjunto con el PDHO estn
incidiendo en las condiciones generales de salud de los beneficiarios y en las pautas de
atencin; 3) caracterizar el impacto de las acciones del paquete bsico garantizado de salud
sobre el desarrollo de capacidades orientadas a la prevencin y el auto cuidado.

Esta evaluacin se incorpora enel Captulo II del Tomo II.El reto de la calidad de los servicios:
resultados en salud y nutricin. La coordinacin de la evaluacin estuvo a cargo del CIESAS.

Coordinador o investigador responsable de la evaluacin: Gabriela Snchez Lpez

Metodologas empleadas

La informacin se levant por medio de los siguientes mtodos:
1. Entrevistas a mdicos, enfermeras y asistentes rurales de CS en 12 microrregiones de los
estados de Oaxaca, Chiapas, Chihuahua y Sonora (3 por cada estado). Las entrevistas se
basaron en una Gua para el Trabajo Etnogrfico de Campo con el fin de estandarizar y
acotar las fuentes de informacin y el universo observable. Las microrregiones donde se
realizaron las entrevistas son por Oaxaca, Mazateca, Mixe y Costa; por Chiapas, las
Margaritas, Tumbal y San Cristbal de las Casas; por Chihuahua, Tepachi-Maycoba,
Samachique y Norogachi; y por Sonora, Yaqui, Mayo y Guarija.
2. Observacin de 47 centros mdicos de primer y segundo nivel (casas de salud, CS,
consultorios mdicos, clnicas y hospitales).
3. Trayectorias de atencin para describir la experiencia del padecimiento y rescatar el
punto de vista de los usuarios sobre:
a. La calidad de la atencin recibida y percibida, asmismo la forma en que influye
en las condiciones de salud de las familias y las pautas de bsqueda de atencin
que manifiestan.
b. El impacto de los procesos de SEA en las economas domesticas y las estrategias
econmicas.
30


c. Las consecuencias sociales propiciadas por los procesos de SEA en los hogares de
estudio.
d. La influencia del PDHO en el acceso a la salud, practicas de auto cuidado y
prevencin.

Para las trayectorias de atencin a hogares se consideraron variables como etnicidad,
exposicin, localidad, sexo, edad, tipo de padecimiento y explicacin del padecimiento,
escenarios y modelos de atencin, costos del tratamiento y bsqueda de atencin, condiciones
de saneamiento bsico y opinin sobre los servicios locales de salud. La poblacin para el
anlisis de trayectorias fue de 183 casos, 104 beneficiarios y 79 no beneficiarios, de los cuales
104 eran indgenas. De los 183 hogares, se documentaron 348 trayectorias de atencin: 98 en
Oaxaca, 85 en Chiapas, 92 en Chihuahua y 73 en Sonora. Los itinerarios fueron protagonizados
principalmente por padres e hijos, y en ocasiones abuelos.

4. Historias reproducvas aplicadas a todas las mujeres de 15-55 aos que habitaban en los
hogares seleccionados. El objevo fue registrar la calidad de los servicios mdicos en
temas de embarazo, parto y planicacin familiar. Con esta informacin se realiz una
base de datos considerando como ejes de anlisis; la atencin materno infantil, la
muerte infantil, el acceso y las percepciones relativas al Papanicolaou y mtodos
anticonceptivos. Las variables incluidas en la base de datos fueron etnicidad, exposicin,
localidad, sexo, edad en 2008, edad en la que tuvo al primer y ltimo hijo, tipo de
atencin recibida durante el embarazo y el parto, nmero de partos (vivos, muertos y
abortos), tipo de anticonceptivos, concepciones y acceso a mtodos anticonceptivos. En
total se documentaron 229 historias: 38 en Oaxaca, 44 en Chiapas, 92 en Chihuahua y 55
en Sonora.

Resultados

Hallazgos en microrregiones
A mayor grado de marginacin, los servicios pblicos de salud son ms deficientes. Los
esfuerzos del PDHO se ven limitados por barreras geogrficas, culturales, tnicas y
prcticas mdicas.
Los centros de salud tienen limitaciones de mobiliario e instrumental mdico.

Casas de salud y auxiliares o asistentes de salud
Infraestructura precaria.
Los encargados enfrentan obstculos que impiden cumplir con sus responsabilidades.
La falta de capacitacin de las asistentes rurales de salud limita las demandas de
atencin.
La falta de salario para las auxiliares de salud determina su desempeo.
Las condiciones de trabajo desincentivan la participacin en este tipo de servicios
voluntarios.
Las casas de salud estn generalmente cerradas o tienen horarios de atencin limitados.
31



Pautas de atencin en hogares indgenas beneficiarios
Los hogares indgenas presentan las condiciones ms desfavorables de acceso a los
servicios de salud y atencin.
Las acciones del Paquete Bsico Garantizado de Salud propician una mayor demanda de
servicios en primer nivel y asistencia de atencin regular.
Los hogares indgenas consideran que el PDHO ha tenido un cambio positivo en sus
hogares y comunidades.

Pautas de atencin en hogares indgenas no beneficiarios
Los hogares indgenas no beneficiarios visitan con menos frecuencia los centros locales
de salud.
Uso limitado de los centros de salud, tendencia a la autoatencin y al uso de medicina
tradicional en enfermedades menores.
Mayores necesidades de atencin mdica en los hijos de familias no beneficiarias.

Pautas de atencin en hogares no indgenas no beneficiarios
Los hogares mestizos no beneficiarios del PDHO prefieren la medicina tradicional que los
servicios de salud del Estado.
La autoatencin, los remedios caseros y las resoluciones religiosas son prcticas
comunesparticularmente en Chiapas.
Desconocimiento las condiciones de salud, menores visitas al mdico en comparacin
con los HINB.

Valoracin tcnica

La metodologa para la seleccin de estados, microrregiones, instituciones y hogares se
considera adecuada. No obstante, el estudio se concentr en estados del norte y sur de Mxico,
sin incluir estados del centro del pas, lo que puede sugerir una debilidad del estudio, al
considerarse que cada regin del pas tiene condiciones y particularidades que son
perfectamente diferenciables. Dado que es una evaluacin cualitativa, el nmero de
trayectorias se considera pertinente y el desarrollo en la exposicin de casos se considera
relevante.

Se considera que los resultados del estudio son adecuados y pertinentes, dada su naturaleza,
salvo en algn caso aislado que se registra ms un resultado cuantitativo que uno cualitativo. En
el anlisis FODA se considera adecuado, aunque hay algunas recomendaciones en las cuales no
se especifica claramente la forma en que dicha recomendacin supera o alivia la debilidad o
amenaza detectada. Por ejemplo, al sealar que el impacto del PDHO est determinado por las
condiciones en que operan los Servicios de Primer Nivel y por ello, el PDHO se debe coordinar
con la capacidad resolutiva de los centros rurales de salud. O cuando se indica que para tener
ms efectividad y confianza por parte de los beneficiarios en los servicios de salud, se debe
incorporar a promotores con un contexto rural o indgena como curanderos, hueseros,
32


hierberos, etc.quienes por el contrario, podran tener incentivos para no fomentar los
servicios de salud.


3.1.2.6. Evaluacin de efectos sobre la utilizacin de servicios y el estado de salud de sus
beneficiarios (EUSESB 2008)

La evaluacin tena como objetivo documentar la tendencia de indicadores de salud entre la
poblacin beneciaria y disnguir las tendencias entre grupos de beneficiarios
(condicinindgena, sexo y ao de incorporacin al PDHO).Esta evaluacin que utiliza mtodos
cuantitativosse incorpora en el Captulo III del Tomo II. El reto de la calidad de los servicios:
resultados en salud y nutricin. La coordinacin de la evaluacin estuvo a cargo del CIESAS.

Investigadores: Sergio Bautista Arredondo, Stefano M Bertozzi, Jef L Leroy, Ruy Lpez Ridaura,
Sandra G Sosa Rub, Martha Mara Tllez Rojo, Dilys Walker

Metodologas empleadas

Las fuentes de informacin son la ENCEL 2003 y 2007. Los grupos de hogares elegidos, a partir
de la ENCEL (2003), estuvieron determinados por su incorporacin al PDHOse identific el
grupo que recibi el apoyo desde su inicio (1998), el grupo que se incorpor en 2000 (ambos
constituyen la muestra original, el primero como grupo tratamiento y el segundo como control)
y el grupo de hogares incorporados en 2003 (grupo de comparacin, una vez que los controles
originales fueron incorporados en 2000). La identificaron de hogares sigui un mtodo cuasi
experimental, mediante una aproximacin de pareo (propensity score matching), que toma en
cuenta caractersticas observables de los hogares.

El anlisis se bas en dos modalidades para determinar la correlacin del PDHO y los niveles de
las variables de inters:

Anlisis multivariado (ENCEL 2007)
Para encontrar la correlacin del PDHO con el estado de salud, la utilizacin de servicios de
salud y las barreras para usar dichos servicios, se utiliz un modelo lineal que incorpora como
variable explicativa, un vector de caractersticas del individuo (sexo, edad, educacin, etc.), un
vector de caractersticas del hogar (nivel socioeconmico, condicin indgena, etc.), un vector de
caractersticas de la localidad (servicios y sus precios), un ndice de la calidad de los servicios por
clnica, un vector de variables de control y una variable para identificar el tratamiento. En
objetivo en esta especificacin es identificar diferencias entre dos caractersticas individuales:
sexo y condicin tnica. Cabe mencionar que en cada seccin de anlisis se utiliz la misma
estructura del modelo aunque con cambios para mejorar el anlisis.

En el anlisis de salud reproducva se uliz un modelo Poisson para revisar los
determinantes del uso de consultas prenatales. Adicionalmente, se ajustaron los errores
33


estndar con conglomerados por localidad para corregir una potencial correlacin
dentro de cada localidad por la presencia de mujeres con caractersticas similares.
El anlisis sobre acceso a servicios obsttricos, la decisin de las mujeres sobre el lugar
donde se atienden su parto, se esm a travs de un modelo logsco con variable
dicotmica sobre atenderse o no con un mdico o enfermera.
En el anlisis sobre el sndrome metablico se incluy la obesidad y otros predictores del
nivel de presin arterial, ascomo un ndice de bienes y el indicador de la calidad de
atencin en la clnica.
En el uso, gasto y el autoreporte del estado de salud, el anlisis tuvo como objetivo
identificar diferencias entre el sexo y su condicin indgena, as como los factores
asociados a dichas diferencias.

Anlisis de las trayectorias (ENCEL)
Para esta seccin se utilizaron diferentes rondas de la ENCEL. El anlisis busc identificar la
trayectoria de diversas variables de inters, as como la heterogeneidad inducida por el PDHO, a
partir de los grupos de incorporacin y caractersticas individuales. El anlisis de esta seccin se
basa en diferencias de promedios (de variables de inters), ya que identificar al mismo individuo
slo se pudo hacer para la ENCEL 2003 y 2007en rondas anteriores slo se pudo identificar
hogares. Este anlisis slo fue posible en las secciones de salud reproductiva y utilizacin de
servicios de salud.

Resultados

Salud Reproductiva
El 36% de las mujeres en edad reproductiva usaron un mtodo anticonceptivo en 1998 y
57% en 2007. El mayor incremento se registr en las mujeres con al menos un hijo, 37%
en 1998 y 56% en 2007.
o Las mujeres que visitaron un mdico o enfermera para atencin prenatal es de
90%. La mayor proporcin de atendidas por una partera con ms frecuencia fue
en indgenas con 5.4%, no indgenas fue de 3.4%.

Acceso a Servicios Obsttricos
El 51% de las mujeres indgenas fueron atendidas por un mdico en su ltimo parto y
39% por una partera. En contraste, 79% de no indgenas fueron atendidas por un mdico
y 14% por una partera.
Se encontr una asociacin de uso de servicios a mayor educacin de las mujeres. En
secundaria hay una relacin de momios de 2.55 y en educacin superior de 5.26 con
respecto a la primaria y la atencin del parto con un mdico o enfermera.
La condicinindgena se asocia con la atencin del alumbramiento con una partera
(relacin de momios=0.43).

Salud (ENCEL)
34


Ser beneficiario del PDHO tuvo un efecto positivo en el uso de servicios pblicos de
salud, controlando por la calidad estructural de la localidad y sin dicho control (0.081 y
0.079). Tener un centro de salud en la localidad increment la probabilidad de acudir con
un proveedor pblico, en 4 diferentes especificaciones (0.112, 0.123, 0.137 y 0.136).
La poblacinindgena tiene un mayor riesgo de descontrol hipertensivo entre
participantes sin diagnostico (relacin de momios=1.74).
No se encontr una relacin significativa entre el descontrol hipertensivo por ser
beneficiarios del PDHO.

Uso de Servicios, Gasto en Servicios y Autor reporte de Estado de Salud
El ao de incorporacin tiene un efecto sobre la utilizacin de servicios (totales y
pblicos).
Controlando por pobreza, educacin y grado de marginacin, ser indgena no implica
una menor utilizacin de servicios.
Ser beneficiario (por auto reporte) no tiene impacto sobre el uso de servicios
ambulatorios. Sin embargo,al incluir la condicin indgena s favorece la utilizacin
60% de los hogares que se autorreportaron como beneficiarios se ubican en localidades
tratamiento 1998 y 2000.


Valoracin tcnica

Una desventajasobre el diseo de la base de datos para este caso en particular, es que al no ser
especfica para esta evaluacin, puede limitarse en trminos del nmero de observaciones para
algunos subconjuntos de individuos, y por lo mismo en la significancia en algunos parmetros.
Ver Apndice A para revisar la calidad de las fuentes de informacin.

Esta desventaja no es tan amplia para explicar el nmero de visitas prenatales, la persona que
atiende el parto o las mediciones biolgicas de las mujeres, ya que se reportaron pocos
parmetros sin significancia estadstica. Para el caso de la ENCEL 2007, que se utiliz para
explicar la bsqueda de un proveedor pblico y para algunas relaciones sobre las condiciones de
salud reportada, hubo parmetros que no se reportaron significativos, lo cual pudo requerir de
sub-muestras ms grandes. El reporte de evaluacin no incluye referencias sobre el tamao de
la muestra, ni de los subgrupos asociados, lo cual representa informacin muy importante.

El modelo utilizado construye a los grupos de tratamiento y de control a partir de una
comparacin de los mismos hogares en diversas rondas de la ENCEL, identificando la antigedad
a la exposicin del programa. Este es un mtodo que ha sido utilizado en la literatura sobre
evaluaciones de impacto e incluso en otras evaluaciones del PDHO. Por tal motivo, se considera
pertinente su utilizacin en cada una de las variables de inters.

El estudio concluye que el PDHO tiene efectos positivos sobre la salud de los beneficiarios. Esta
conclusin se considera pertinente, dados los resultados en cada especificacin y acordes a los
35


alcances del modelo presentado. Sin embargo, como lo indican los autores, una posible
debilidad de los resultados se basa en las respuestas que autoreportan los encuestados, que
pueden tener incentivos para responder con relativo sesgo o no reconocerse dentro de un
grupo socioeconmico o condicin tnica. Por tal motivo es recomendable hacer una evaluacin
con una muestra especfica para las variables de inters y que no fue posible encontrar efectos.


3.1.2.7. Cmo se explica el impacto educativo del Programa Oportunidades? Actores,
factores y procesos (AFP 2008)

La evaluacin sobre actores, factores y procesos tena como principal objetivo explorar si el
PDHO tena un impacto similar al comparar las poblaciones indgenas conlas poblaciones no
indgenas.Esta evaluacin es parte del Tomo III. El reto de la calidad de los servicios: resultados
en educacin. La metodologa para evaluar el impacto en indicadores de educacin, utiliza
mtodos cualitativos para crear escenarios de investigacin en los estados de Chiapas, Oaxaca,
Chihuahua y Sonora.La coordinacin de la evaluacin estuvo a cargo del CIESAS.

Coordinador o investigador principal: Alejandro Agudo Sanchz

Metodologas utilizadas

Los escenarios de invesgacin son los estados de Chiapas, Oaxaca, Chihuahua y Sonora. La
seleccin de las microrregiones y localidades del estudio se realiz para cubrir la muestra
analtica de hogares indgenas y meszos, beneciarios y no beneciarios. Sin embargo, tambin
se busc incluir en el escenario de cada microrregin a localidades con disnto grado de lejana
de los servicios de salud y educacin para contrastar a las localidades apartadas y mal
comunicadas con localidades con relativo acceso a dichos servicios. La muestra se dise a
partir de un total de 16 hogares por municipio estudiado, lo que significa 48 hogares en cada
estado de acuerdo con los siguientes criterios por municipio:

Primaria
Indgenas beneficiarios (n=4): 2 hogares con primognito y 2 con ultimognito entre 2-4
primaria en 1998
Indgenas no beneficiarios (n=4): 2 hogares con primognito y 2 con ultimognito entre
2-4 primaria en 1998
No indgenas beneficiarios (n=4): 2 hogares con primognito y 2 con ultimognito entre
2-4 primaria en 1998
No indgenas no beneficiarios (n=4). 2 hogares con primognito y 2 con ultimognito
entre 2-4 primaria en 1998

La seleccin de los ocho hogares no beneficiarios en cada municipio o microrregin se realiz en
funcin del pareo con los beneficiarios, respecto de los siguientes criterios:
Cabecera vs. perifricos
36


Condicin socioeconmica
Tamao del hogar en 1998/1999.

Secundaria
De la muestra primaria, se obtuvo informacin de todos los hijos sobre escolaridad, ocupacin,
uniones y embarazos de los hogares. Adems, se seleccion para un estudio de caso completo al
hijo(a) sobre trayectorias escolares y laborales y salud reproductiva si los hijos Vivian en el hogar
de origen; cuando Vivian en otro hogar dentro del mismo municipio, se recab informacin
adicional para completar el estudio de caso y se hizo un estudio comparativo intergeneracional;
y si los jvenes vivan fuera del municipio, se obtuvo informacin a travs de sus familiares.

Los instrumentos de evaluacin fueron el Guion para la obtencin y sistematizacin de
informacin sobre grupos domsticos y sus trayectorias educativas, de salud y ocupacionales
para entrevistas informales y semiestructuradas; el Guion para el seguimiento de los ex becarios
indgenas y no indgenas y sus comparables (jvenes no ex becarios); el Guion de entrevista a las
mujeres vocales del Programa; el Guion de entrevista a otros actores relevantes.

Finalmente, los cuatro estudios regionales sumaron 183 estudios de caso de hogares: 60
indgenas beneficiarios, 44 indgenas no beneficiarios, 44 no indgenas beneficiarios y 35 no
indgenas no beneficiarios.

Resultados

Una mayor cobertura de escuelas primarias y la reciente creacin de centros educativos
ayuda a explicar las diferencias generacionales en las carreras escolares en un mismo
ncleo domestico.
Desde la perspectiva de los padres, los problemas socioeconmicos y las estrategias de
supervivencia a corto plazo superan la necesidad de prolongar la educacin de los
hijoslas becas slo constituyen un incentivo que se dispersa ante dichos problemas.
Es comn que los hogares no cuenten con un espacio para hacer las tareas y los padres
tengan baja escolaridad. Esto es una amenaza del PDHO, ya que las trayectorias
educativas y laborales de los padres repercuten en la de los jvenes.
No se reportan las inasistencias de los becarios para no perjudicarlos o no enemistarse
con los padres. De tal forma, el impacto sobre los ndices de reprobacin, podra reflejar
una inclinacin por reprobar menos a los beneficiarios del PDHO.
Las prcticas pedaggicas docentes en indgenas no son suficientes.
En hogares que reciben remesas, contribuciones monetarias y hay presencia o
proximidad de escuelas, la escolaridad alcanzada por los beneficiarios del PDHO
aumenta cuanto ms tarde empiecen a recibirse las becas.
Se recomienda aumentar el personal y la capacitacin en los centros existentes y facilitar
el transporte de los alumnos.
Los grupos de estudiantes constituyen redes sociales donde se transmite informacin
sobre oportunidades de estudio y financiamiento. Se sugiere adoptar a estos jvenes
37


como promotores educativos del PDHO que suplan a las vocalesconstat que estas no
cumplen su funcin como proveedoras de informacin.

Valoracin tcnica

El estudio se concentr en estados del norte y sur de Mxico, lo que puede sugerir una
debilidad porque excluy al centro del pas, que tiene condiciones y particularidades que son
perfectamente diferenciables.

Se considera que los resultados, as como el anlisis FODA del estudio son adecuados y
pertinentes.


3.1.2.8. Evaluacin sobre transferencias condicionales en efectivo y gasto en energticos:
posible impacto del componente energtico de Oportunidades (IECE 2008)

La evaluacin de efectos del programa sobre el gasto de las familias beneficiarias en
energticos, pretenda medir el impacto de un incremento exgeno en el ingreso sobre el
bienestar y en el gasto en energticos.As mismo, el estudio buscaba evidencia del impacto que
puede tener el componente energtico en las decisiones de los hogares de cambiar de fuentes
de energa ms baratas y contaminantes hacia otras ms eficientes, menos contaminantes
aunque ms costosas, con la consecuente repercusin en el mejoramiento de la salud de los
integrantes de los hogares.

Metodologas empleadas

Las estimaciones para medir el impacto del PDHO en el gasto en energticos se basaron en las
encuestas de la Evaluacin del PDHO para Zonas Urbanas (ENCELURB) para los aos 2002, 2003
y 2004 que recogen informacin de 16 mil hogares para cada ao, aunque la asignacin de
grupos de tratamiento y control en dicha encuesta no se llev a cabo aleatoriamente. Tambin
se utilizaron las Encuestas de Evaluacin de los Hogares Rurales (ENCEL) para 1998, 1999,
2000m, 2000n, 2003 y 2007, que recoge informacin de los bienes durables de los hogares para
10,753 hogares en cada ao. Finalmente se utiliz la encuesta de sobre el Consumo de los
Energticos por las Familias de Oportunidades (ECEFO) 2007, que contiene informacin del
gasto en energticosexcluyendo gasolina para el transporte. La ECEFO es representativa a
nivel nacional, por estado y por regin (urbana y rural). La informacin de la ECEFO es reportada
por el titular de los 15,715 hogares encuestados en 3,189 localidades de los 32 estados.

El modelo terico considera los supuestos bsicos de la teora neoclsica sobre racionalidad y
maximizacin de la utilidad a partir de una funcin de demanda de energticos que depende de
los precios y del ingreso. Se incorpora adems, el concepto de elasticidades precio e ingreso
para medir efectos del componente energtico.

38


El modelo emprico est basado en la relacin condicional entre el gasto de los hogares en
energticos y la posesin de activos. Se utiliza esta estrategia porque Dubin y McFadden (1984)
encontraron una interdependencia entre la eleccin de activos y la demanda de energticos,
indicando que es posible obtener resultados sesgados si se modelan de forma separada ambas
decisiones. El modelo, como lo indica Dubin y McFadden (1984) presenta problemas de
endogeneidad por la influencia de los activos en la ecuacin. Una alternativa para eliminar este
problema es utilizar efectos fijos, que adems permite una similitud con la estimacin difference
in differenceel cambio en el logaritmo natural de las transferencias mensuales de los
beneficiarios del PDHO es comparado con el cambio en el logaritmo natural del gasto mensual
en energticos de los hogares que son potenciales beneficiarios pero que decidieron no aplicar
al PDHO o viven en zonas en donde no se tena alcance o cobertura.

Tambin se utiliz un modelo alternativo con variables instrumentales, que en este caso fueron
las transferencias potenciales, calculadas como el monto mximo que un hogar puede recibir,
dada su estructura y la edad de los nios.

La especificacin utilizada incorpora como variable dependiente la proporcin del gasto total
del hogar destinado a la fuente de energa, que puede ser gas o electricidad. Como variables
independientes se incorporan caractersticas observables del hogar en el tiempo, bienes
durables que utilizan energticos.

Resultados

Los principales resultados obtenidos de la evaluacin de impacto son los siguientes:
El gasto promedio mensual en energa, por parte de los hogares beneficiarios es de
aproximadamente 280 pesos, equivalente al 17.8% del gasto en el hogar.
La elasticidades ingreso de la demanda de largo plazo fueron mayores que las de corto
plazo en hogares que no tenan bienes durables en 2002, pero menores que aquellos
que s lo hicieronla probabilidad de tener un refrigerador aumenta en la misma
direccin que las transferencias acumuladas. Las elasticidades ingreso de la demanda
por gas LP y electricidad de largo plazo que encontramos fueron de 0.017 y de 0.005.
Las elasticidades ingreso de la demanda por energticos son cercanas a cero para
hogares que no tienen activos o bienes durables, de 1.6% para hogares que tienen
estufa de gas y 0.9% para los que tienen algn tipo de activo que usa energa elctrica.
Las elasticidades de largo plazo son menores.
Las elasticidades de largo plazo para hogares sin reporte de activos en la lnea basal,
resultaron bajas. En parte, porque se puede suponer que en la poblacin urbana, el
tiempo de exposicin es bajo. Para la poblacin rural, el impacto es positivo y
significativo, por lo cual, si las transferencias tienen un impacto en la adquisicin de
refrigeradores y estufas, indirectamente tendrn un impacto en la demanda de
energticosse encontr que los hogares beneficiarios se vieron afectados, hasta cierto
punto por las transferencias para obtener refrigeradores.
39


En diversas especificaciones que incluyen efectos fijos y variables instrumentales, se
observa que las transferencias del PDHO tienen un efecto positivo (1%-2%) y
estadsticamente significativo sobre el gasto en gas LP, sobre todo si los hogares cuentan
con estufa de gas. Para el caso de la electricidad, los parmetros estn entre 0.9% al
1.2% para especificaciones que condicionan por ao, activos durables e incluyendo
efectos fijos.

Valoracin tcnica

El uso de fuentes de informacin se considera pertinente para realizar una simulacin de una
evaluacin de impacto, ya que no se cuenta con informacin de grupos de tratamiento y control
antes y despus de la exposicin al PDHO. No obstante, las bases de datos permiten un anlisis
del tipo panel con importante valor tcnico. De la informacin de las encuestas para los aos
2002, 2003 y 2004 de la ENCELURB, es posible observar un mismo hogar a lo largo del tiempo,
incluso en periodos posteriores a la pertenencia al PDHO. Para la encuesta ENCEL de los aos
1998, 1999, 2000m, 2000n, 2003 y 2007, es de atencin la seccin sobre los activos del hogar.
La encuesta ECEFO 2007 es un levantamiento especficamente diseado para observar el
consumo de energticos. Finalmente, para el caso de las tres fuentes de informacin, se
considera que el nmero de hogares encuestados es ms que suficiente para obtener resultados
pertinentes.

El modelo utilizado se considera pertinente, de acuerdo con los objetivos planteados en la
evaluacin. El problema ms comn que responde a este tipo de especificacin es la
endogeneidad, que es eliminado manteniendo efectos fijos en la estimacin y por utilizar
variables instrumentales.

El modelo utilizado en la Evaluacin del Componente Energtico, ya haba sido empleado por
Dubin y McFadden, aunque con ligeras diferencias, principalmente en la seleccin de la variable
instrumental. Sin embargo, mientras la variable no est correlacionada con el error y si con las
variables a instrumentar, tcnicamente la estimacin es adecuada.

Por otro lado, Baker et. al. Encontraron que la demanda de energticos puede ser vista como
una funcin de produccin de los hogares, donde la demanda final refiere a los servicios que
proveen los energticos. De tal forma, esta demanda puede ser analizada de forma conjunta,
por el acervo de activos y su tasa de utilizacin.

En trminos generales, se observa que las conclusiones son adecuadas y delimitadas en alcance,
de acuerdo con el modelo utilizado. Aunque el documento es tcnicamente robusto, se
considera que si 94.8% de los beneficiarios del PDHO reportan que cuentan con electricidad y
74% gas LP, aunque 73% de los hogares sealan que utilizan lea como fuente de energa, a
priori se espera difcil que las transferencias del componente energtico tengan incidencia sobre
las decisiones en el consumo de energa. Esto se espera as porque ya son consumidores de
40


electricidad y gas LP y porque para dejar de utilizar lea para cocinar, calentar el hogar o
iluminar es necesaria una inversin en activos que no es cubierta por dicha transferencia.

En el caso del objetivo secundario, si 94.8% de beneficiarios tena electricidad y de ellos, 95.3%
tienen conexiones legales, el impacto del PDHO sobre las conexiones legalmente adquiridas, tal
como lo sealan los propios evaluadores, sera marginal.


3.1.3. Evaluacin Especfica de Desempeo 2008 del PDHO (EED 2008)

La Evaluacin Especfica de Desempeo 2008-2009 muestra el avance en el cumplimiento de los
objetivos y metas del PDHO, a partir de la informacin contenida en el Sistema de Evaluacin
del Desempeo. La evaluacin realiza un anlisis de indicadores estratgicos y de gestin, con el
objetivo de generar informacin para la toma de decisiones. El Coneval coordin esta
evaluacin para valorar el desempeo de los programas federales que operaban durante el
2008. Los datos reportados corresponden al ejercicio fiscal 2008.

Coordinador o investigador responsable: Iliana Yaschine Arroyo

Productos

Entre los resultados ms relevantes de la evaluacin de desempeo se destaca que 5 (de 5)
indicadores estratgicos seleccionados correspondan a Fin y Propsito. De acuerdo con dicho
documento, tres indicadores superaron la meta de 2008 en un rango entre 18 y 112.5 puntos
porcentuales. Sin embargo, no se tiene certeza si la informacin que se indica en la evaluacin
es correcta, dados los valores registradosa nivel de indicador o de meta. Adems, en dos
indicadores no se mostr ni la meta ni el valor del mismo.

De 5 (de 5) indicadores de gestin seleccionados a nivel de Componentes y Actividades: tres se
encontraban por arriba de la meta en un rango entre 8.2 y 9.3 puntos porcentuales; un
indicador no registr su valor, por lo que no se puede conocer su comportamiento respecto a la
meta; y en el restante, no se estableci claramente las unidades de medida, por lo que no se
sabe si el valor (102.5) fue mayor a la meta (25, 700) el primero sugiere que se expresa en
porcentaje y el segundo, en valores absolutos.

Valoracin del evaluador

Los resultados mostraron un buen desempeo en relacin con su Fin, Propsito y
objetivos.
Se evidencian reas crticas que el programa debe atender con el fin de mejorar su
intervencin y los impactos en el desarrollo de capacidades de sus beneficiarios.
41


En lo general, los indicadores de laMIRson pertinentes, relevantes, claros y confiables. Se
hacen comentarios especficos respecto a aspectos que se sugiere revisar de algunos
indicadores.
Puede considerarse la inclusin de indicadores adicionales que amplen las expectativas
respecto a los resultados que podra lograr el programa.

Cobertura

La poblacin potencial, la poblacin objetivo y la poblacin atendida estn definidas
claramente. De 2002 a 2007, la cobertura del programa ha sido del 100%. En 2008 la cobertura
fue del 100.9%, por lo que la poblacin atendida excede a la objetivo.

Aspectos susceptibles de mejora

Los aspectos identificados como susceptibles de mejora fueron: 1) integrar un equipo de trabajo
con expertos, con el objeto de implementar una serie de intervenciones para mejorar la calidad
de la educacin, crear una vertiente que incida en la calidad educativa e introducir cursos de re-
nivelacin en competencias de lectura, escritura y matemticas; 2) realizar una agenda de
evaluacin del impacto en la transmisin intergeneracional de la pobreza; revisar la definicin
de la poblacin potencial y objetivo y hacer un cambio en los criterios y metodologas para la
cuantificacin e identificacin de la poblacin potencial; elaborar un programa estratgico; y
elaborar un diagnstico actualizado y adecuado a la problemtica que sustenta la razn de ser
del programa.

3.1.4. Evaluacin Especfica de Desempeo 2009 del PDHO (EED 2009)

La Evaluacin Especfica de Desempeo 2009-2010 muestra el avance en el cumplimiento de los
objetivos y metas del PDHO, a partir de la informacin contenida en el Sistema de Evaluacin
del Desempeo. El Coneval coordin esta evaluacin para valorar el desempeo de los
programas federales que operaban durante el 2009. Los datos reportados corresponden al
ejercicio fiscal 2009. El Colegio de la Frontera Norte realiz esta evaluacin.

Coordinador o investigador responsable: Gerardo Ordez Barba


Productos

De 5 indicadores estratgicos seleccionados a nivel de Fin y Propsito, dos indicadores no
contaban con informacin sobre el valor y la meta del mismo; dos se encontraban por arriba de
la meta en un rango entre 4.9 y 5.8 puntos porcentuales y restante se encontraba por debajo de
la meta en 1.6 punto porcentual.

42


De 5 indicadores de gestin seleccionados a nivel de Componentes y Actividades, 4 se
encontraban por encima de la meta, rango entre 3.5 y 4.7 puntos porcentuales. El indicador
restante se encontraba por debajo de la meta en cerca de 31 puntos porcentuales.

Valoracin del evaluador

Evaluaciones de impacto en el medio rural muestran efectos positivos en el logro escolar de los
jvenes beneficiarios, as como en la salud y nutricin de la poblacin infantil menor de 2 aos.
El desempeo escolar en espaol de los becarios de educacin bsica se ve afectado por
factores de ndole individual y familiar que requieren de tratamientos alternativos.

En 2009 instrument cambios importantes en su operacin (esquema distinto en el manejo de
Jvenes con Oportunidades, modelo alternativo de focalizacin, gestin y atencin para zonas
urbanas)

En 2008 y 2009 hubo un incremento moderado de cobertura

Cobertura

La poblacin potencial, objetiva y atendida se encontraba claramente definidas. La cobertura
con relacin a la poblacin potencial ha estado por encima del 92% desde 2004, alcanzando en
2009 una proporcin superior al 97%. Para 2008 y 2009, la poblacin atendida superaba la
poblacin objetivo.

Aspectos susceptibles de mejora

Los aspectos identificados son los siguientes: 1) ausencia de mecanismos formales para la
interaccin entre personal de Oportunidades y el sector salud a nivel local impiden el flujo de
informacin sobre la situacin de los beneficiarios; 2) identificar reas de oportunidad para
expandir las becas educativas; 3) las vocales no tienen los incentivos suficientes para su
participacin en la operacin; 4) dado que los encuestadores y el personal del Programa no
hablan la lengua indgena de la zona, el monolingismo y las barreras culturales provocan que
las familias indgenas estn en condiciones de desventaja y sean ms propicias a la exclusin; y
5) ampliar la informacin a la poblacin beneficiaria sobre la disponibilidad de servicios de salud
de segundo y tercer nivel.

Avances

En el seguimiento de los ASM se reportan 4 aspectos: 2 especficos y 2 institucionales.
Especficos: dos cumplidos en fecha (documento para sistematizar los mecanismos para el
establecimiento de indicadores y metas; indicadores de laMIRen temas sobre el mejoramiento
de la salud, el trnsito a la educacin media superior y la recepcin de apoyos alimentarios).
43


Institucionales: uno concluido 6 meses despus de la fecha comprometida (diagnstico
actualizado y adecuado de la problemtica que sustenta la razn de ser del programa); el otro
rebas la fecha de trmino y se encuentra en proceso con un avance del 50% al 31 diciembre
2009 (Programa Estratgico).


3.1.5. Evaluacin externa del Programa Oportunidades 2010 en zonas urbanas (2002-2009)

3.1.5.1. Efectos de Oportunidades en aspectos sociales y educacin. Resultados de
Oportunidades en aspectos sociales(EOASE-2010) 2002-2009

Los autores de la evaluacinResultados de Oportunidades en aspectos sociales: 2002-
2009,utilizaron mtodos cuantitativos para calcularel impacto del programa sobreaspectos
sociales como el consumo, el ingreso, la salud, la educacin, entre otras variables. El periodo de
evaluacin es de 2002 a 2009 y el centro del estudio son las zonas urbanas. La coordinacin de
la evaluacin estuvo a cargo del Instituto Nacional de Salud Pblica (INSP).

Coordinador o investigador principal: Armando Snchez

Metodologas empleadas

La encuesta del PDHO en reas urbanas est compuesta por una lnea basal ENCELURB y tres
encuestas de seguimiento para 2003, 2004 y 2009. En la lnea basal se reporta informacin socio
demogrfica para clasificar a los hogares como beneficiarios o no beneficiarios. La ENCELURB es
una muestra no aleatoria porque a) la asignacin de reas geogrficas se hizo con muestras de
las manzanas en las reas de tratamiento que fueron pareadas con las manzanas por medio de
puntajes de propensin y b) para establecer la elegibilidad de los hogares se instalaron oficinas
en donde los beneficiarios potenciales asistan y contestaban un cuestionario para fijarse un
primer nivel de elegibilidad y posteriormente se les visitaba en el hogar para comprobar los
datos proporcionados. El tamao muestral de las encuestas es de 57,489 hogares de los que
39,164 son hogares tratados y 18,325 eran hogares de control. Para este estudio, la muestra
seleccionada fue de 10,515 hogares tratados y 5,638 hogares de control.

Para examinar las tendencias de mediano plazo en los indicadores de aspectos econmicos y
sociales de los hogares que han sido beneficiarios durante siete aos y contrastar las
tendencias, se realiz un anlisis comparativo entre el grupo de beneficiarios y no beneficiarios.
Debido a que el diseo fue no aleatorio, se esperaban diferencias en las caractersticas de
ambos grupos en la lnea basal, por lo cual se realizaron pruebas de hiptesis para diferencias
de medias del mismo grupo en el tiempo. Estas pruebas permitieron evaluar la significancia del
cambio en la media de los diferentes indicadores en el tiempo para el periodo 2002-2009.

La prueba consiste en una diferencia de medias para el grupo tratado en dos aos distintos, con
lo cual podrverificarse si existe un cambio estadsticamente significativo en las tendencias
44


(heterogeneidad en el tiempo). La hiptesis nula indica que la diferencia de medias no es
estadsticamente significativa, por lo que no existe un cambio en la tendencia del indicador de
bienestar (consumo, inversin, empleo, etc.) para el grupo tratado en el periodo 2002 y 2009. El
no rechazo de la hiptesis alternativa sera interpretado como un cambio en las tendencias en
dicho periodo. Para evitar el sesgo por las caractersticas observables y no observables se
estim la media, en cada momento del tiempo, controlando por las diferentes caractersticas
observables por mtodos de regresin, para que posteriormente se lleven a cabo la pruebas de
diferencias de medias condicionadas.

Resultados

1. Consumo
En 2002, los hogaresbeneficiarios tenan un mayor consumo total ($2,405) que los no
beneficiarios ($2,262).
Entre 2003 y 2009 los beneficiarios aumentan de manera estadsticamente
significativasu probabilidad de aumentar el gasto (9.5%) en alimentos en comparacin
con los no beneficiarios.
En el consumo total alimentario, los beneficiarios gastaron $599 en 2002 y los no
beneficiarios $622; en 2009, los beneficiarios gastaron $602 y los no beneficiarios $469.
En cereales y granos, en 2002 los beneficiarios gastaban $104 y los no beneficiarios
$114; en 2009, los beneficiarios gastaron $146 y los no beneficiarios $128. En el gasto de
otros alimentos, el consumo de los beneficiarios en 2002 fue de $39 y en no
beneficiarios de $41, en 2009 gastaron $55 y $53 respectivamente.
De 2002 a 2009, hay cambios positivos y estadsticamente significativos en el consumo
total alimentario de los beneficiarios (9.4%), en elconsumo de cereales y granos (33.2%)
y otros alimentos (32.7%).
2. Consumo no alimentario
Los beneficiarios gastaron $100 en educacin y los no beneficiarios $109 en 2002; en
2009, $237 y $393. En salud, los beneficiarios gastaron $841 y los no beneficiarios $919
en 2002; para 2009, $1,403 y $1,618. En combustibles, los beneficiarios gastaron en
2002, $177 y los no beneficiarios $175; en 2009, $241 y $242. En transporte, los
beneficiarios gastaron $82 y los no beneficiarios $112 en 2002; en 2009, $113 y $138. En
enseres del hogar para 2002, el gasto de beneficiarios fue de $3,249 y los no
beneficiarios $2,702; en 2009, $2,169 y $2,864. En cultura los beneficiarios gastaron en
2002, $282 y los no beneficiarios $318; en 2009, el gasto es de $376 y $282.
De 2002 a 2009, los beneficiarios incrementaron la probabilidad de aumentar elconsumo
en educacin (6.8%), en salud (6.4%) y combustibles (6.7%). Por el contrario, en
transporte, el cambio es negativo (-10.0%), enseres del hogar (-4.4%) y cultura (-16.7%).

3. Condiciones de vivienda y activos
Las familias beneficiarias aumentaron su probabilidad de reparar su hogar de 2002-2009
(5.8%). Ms familias aumentaron la probabilidad de tener casa propia en 6.9%, piso de
45


concreto en 10.5%, techo firme en 20.9%, paredes slidas en 28.7%, servicio sanitario en
17.6 y bao con conexin de agua en 24.1%

La probabilidad de tener un automvil es baja y decreciente de 2002 a 2009.

Valoracin tcnica

La base de datos se considera pertinente en trminos del tipo de informacin que recaba,
aunque no se considera tcnicamente adecuada, ya que no se levant aleatoriamente. Ver el
Anexo A sobre la calidad de la ENCELURB. Por otro lado, la estimacin de las diferencias con
significancia estadstica se considera adecuada, dada la informacin disponible.


3.1.5.2. Efectos de Oportunidades en aspectos sociales y educacin. Resultados de
Oportunidades en educacin en zonas urbanas(ROEZU) 2002-2009

El objetivo de esta evaluacin de impacto era analizary comparar los resultados a mediano plazo
de un conjunto de indicadores sobre laeducacin(tasa de matriculacin escolar, escolaridad
terminada, abandono escolar y reprobacin escolar) para la poblacin beneficiaria del PDHO
que habitan en zonas urbanas, respecto de hogares no beneficiarios en condiciones
socioeconmicas cercanas. La principal fuente de informacin fue la ENCELURB, que si bien
recoge informacin pertinente en trminos de categoras en las variables, adolece en el diseo
muestral.


Metodologas empleadas

En una primera parte se presentaron tendencias descriptivas sobre escolaridad, reprobacin
escolar y tasa de abandono, y se hace una comparacin de estos indicadores con muestras
representativas a nivel urbano con la ENIGH, rondas 2002, 2004, 2006 y 2008 y con la ENNVIH,
rondas 2002 y 2005. En particular se usa la ENIGH para comparar indicadores de inscripcin
escolar y grados aprobados, y la ENNVIH para el anlisis de las variables reprobacin y
abandono.

En otra parte, se hace una estimacin de impacto sobre indicadores educativos con base en la
ENCELURB. Para ello, se utiliza un mtodo de pareamiento de diferencias en diferencias,
comparando los hogares incorporados desde el 2002 con los hogares nunca incorporados. En
esta estimacin, se incluyen las cuatro rondas de la ENCELURB: 2002, 2003, 2004 y 2009. El
pareamiento se realiza por medio de tcnicas de: 1) vecino ms cercano, 2) pareamiento
regresin lineal local.

46


Con esta metodologa, el anlisis permite observar la evolucin de los impactos desde el
momento de recibir el PDHO. En particular, se realiza el anlisis despus de un ao, dos aos y
siete aos de exposicin. Las estimaciones se realizan por grupo de edad y genero.

El grupo de tratamiento consiste en las personas de los hogares incorporados en 2002, el grupo
de control considera a los individuos de hogares que no han sido beneficiarios. Se identificaron
9,945 personas de 6 a 20 aos en la muestra de 2009, que tambin se encontraban en 2002. De
estos, 8 074 alguna vez haban sido beneficiarios (residieron en un hogar que haba recibido al
menos una transferencia del PDHO), y de estos, 7,216 eran beneficiarios en 2002. El grupo de
no beneficiarios consiste en 1,871 personas, que constituyen el grupo de control. Es importante
sealar que el grupo de no beneficiarios, a pesar de vivir en condiciones precarias, en general su
situacin en la lnea basal (2002) era significativamente mejor que la de los beneficiarios.

Resultados

1. Aos de escolaridad
En los 7 aos del PDHO (2002-2009), las mejoras en la escolaridad son ligeramente ms
grandes para beneficiarios.
Impactos positivo del PDHO en nios que tenan al inicio de la exposicin entre 10 (0.1) y
16 (0.07) aos.

2. Reprobacin
Alto nivel de reprobacin, principalmente en las edades de primaria. No se observa una
tendencia de reduccin en la reprobacinatribuida al PDHO. Para nios de 6 aos (2002-
2003), el porcentaje con al menos un ao reprobado es de 5%; en 2002-2004, 3% y en
2002-2009 8%. Con nios de 12 aos (2002-2003), el resultado es 0%, en 2002-2004 es
3% y en 2002-2009,6%.
3. Abandono
No hay tendencias en el abandono escolar. Con una edad de 6 aos, de 2002-2003 el
abandono temporal es 0%, en 2002-2004, es 0%, y de 2002-2009 -1%. Para 12 aos, de
2002 a 2003 es -3%, en el periodo 2002-2004 -2% y en 2002-2009, 5%.
3. Pareamiento
Los beneficiarios incorporados son sustancialmente ms pobres que los no
beneficiariosel primer grupo tiene valores muy altos en el marcador de propensin
(0.8-1.0) y muy pocos tienen valores debajo de 0.6.
En la inscripcin escolar para nios de 6 a 11 aos en 2002, los coeficientes aumentan
con la exposicin. En el periodo 2001-2003, el impacto es de 0.039 y en 2001-2004 de
0.071. En nias de 15 aos, en el periodo 2001-2003 el coeficiente es de 0.162 y en
2001-2009 de 0.232. En 2001-2004 para nias de 6-11 aos el impacto fue de 0.091. En
otros casos, los valores son positivos pero no significativos.
El nico coeficiente es para nios de 6 a 11 aos en 2002quienes alcanzan un impacto
de casi medio grado de escolaridad en el 2009.
47


El PDHO reduce la probabilidad de reprobar algn grado en 8 puntos porcentuales en
nios(as) de 15 a 18 aos para el periodo 2002-2004. Separando por gnero, el impacto
es de 9 puntos. Los dems parmetros no son significativos.


Valoracin tcnica

La base de datos se considera adecuada, en trminos del tipo de informacin que recolecta. Sin
embargo, no es adecuada en trminos estadsticos. Ver Apndice A para un anlisis de la calidad
de las muestras.

La metodologa para la estimacin de las diferencias se considera adecuada, ya que ha sido
ampliamente utilizada en la literatura de evaluacin de programas sociales y particularmente en
el PDHO. Las conclusiones se consideran adecuadas y pertinentes al modelo empleado.


3.1.5.3. Oportunidades y la salud de la poblacin urbana (2002-2009). Anlisis de
tendencias en indicadores de salud de la poblacin urbana en Oportunidades a
travs del seguimiento a los hogares en zonas de intervencin del panel de
evaluacin urbana (EIZU Salud 2010)

Este trabajo emprico utiliza mtodos cuantitativos para calcular el impacto del programa en la
salud de los beneficiarios que viven en zonas urbanas del pas para el periodo 2002-2009. El
objetivo general de esta evaluacin era mostrar evidencia sobre las tendencias en indicadores
representativos del uso de servicios de salud; as como el estado de salud de la poblacin
beneficiaria que vive en zonas urbanas. As mismo, y a travs de dos alternativas metodolgicas,
se realizaron estimaciones de los efectos del Programa en los mismos indicadores: la primera es
una aproximacin de pareamiento de hogares casi elegibles con hogares que fueron
incorporados en algn momento en las zonas de intervencin del Programa; en el segundo
enfoque se aplica una aproximacin de una regresin discontinua para identificar un grupo de
control.

Investigadores:Gustavo ngeles, Juan Pablo Gutirrez, Fernando Alarid

Metodologas empleadas

Considerando la muestra seleccionada para la ENCELURB 2009, se identificaron 6 534 hogares
alguna vez incorporados, y 1 142 hogares casi elegibles que no se ubicaron entre los alguna vez
incorporados (algunos hogares originalmente identificados como casi elegibles fueron
incorporados al PDHO en algn momento entre 2004 y 2009), para un total de 7 676 hogares,
de los cuales se obtuvo informacin efectiva del 78% (las prdidas de seguimiento entre 2004 y
2009 se deben a la dinmica poblacional).

48


En un primero momento se estimaron los indicadores en las rondas de evaluacin disponibles
(2002, 2004, y 2009), lo que permite examinar los niveles de los indicadores en cada uno de los
aos, as como los cambios ocurridos durante el periodo 2002-2009. Posteriormente se
estimaron las tendencias usando un modelo de regresin simple para calcular la magnitud y
significancia de los cambios de las variables en el tiempo.

Se implementaron dos tipos de anlisis cuasi-experimental; en primer lugar, se utiliz el puntaje
de propensin a ser parte del grupo de los alguna vez incorporados al PDHO para el
pareamiento, con el fin obtener un grupo de individuos semejantes en caractersticas
observables, a los alguna vez incorporados al Programa pero que permanecieron como casi
elegibles; en un segundo momento, se realiz un anlisis de regresin discontinua, basado en
tener un puntaje de pobreza mayor a un punto de corte establecido por los administradores del
Programa. En ambos anlisis, se estim usando un modelo general de diferencias-en-diferencias
con observaciones mltiples.

Resultados

Anlisis:
En 2009, los nios menores de 6 aos del grupo de intervencin (los alguna vez
incorporados), y que se identificaran en adelante como Grupo I, presentaron un menor
nmero de das enfermedad que los del grupo que se utiliza como comparacin (los casi
elegibles), y que se identificaran en adelante como Grupo C. La diferencia en los cambios
de tendencias en el nmero de consultas de nio sano entre 2002 y 2009 mostr un
incremento en la tendencia en el nivel de prevencin infantil en el Grupo I en
comparacin con el Grupo C.
En cuanto al grupo de nios y jvenes de entre 6 a 18 aos, se encontr que aquellos en
el Grupo I fueron atendidos menos veces en servicios ambulatorios de salud privados en
los tres aos de estudio (2002, 2004 y 2009), en comparacin con el Grupo C. Adems,
en 2004, el gasto en hospitalizacin es menor en el Grupo I que en el Grupo C. Asimismo,
el Grupo C mostr un incremento en la asistencia a consultas mdicas preventivas, en
comparacin con el Grupo I,
En el caso de los individuos de 19 a 49 aos, entre 2004 y 2009 el Grupo I present un
aumento en el uso de servicios de salud ambulatorios pblicos, a diferencia del Grupo C.
En el incremento en la asistencia a consultas preventivas, el Grupo C mostr un mayor
nmero que el Grupo I. Por su parte, el Grupo I mostr un mayor nivel de consciencia en
la salud entre 2002 y 2009 con un aumento en la tendencia de realizarse pruebas para
diagnosticar diabetes, as como hipertensin arterial, contraria al Grupo C.
Los resultados muestran que entre 2004 y 2009 las acciones referidas al cumplimiento
de las corresponsabilidades en los hogares adscritos al Programa (asistencia a consultas
preventivas), en general han tendido a decrecer, mostrando as un efecto del
agotamiento en este indicador en los hogares que participan en el PDHO en zonas
urbanas. En este sentido, el agotamiento debe ser entendido como la ausencia de
49


efectos adicionales a los observados en el corto plazo (e incluso la desaparicin de los
mismos).

Valoracin tcnica

Anlisis de Pareamiento: En este caso, la tcnica de pareamiento se us para obtener un grupo
entre los casi elegibles que fuese muy similar a los integrantes del grupo de los individuos
alguna vez incorporados. El criterio de similitud usado fue la probabilidad de pertenecer al
grupo alguna vez incorporado (tambin llamado puntaje de propensin) el cual se estim
usando caractersticas de los individuos y de sus hogares, que fueron medidas en 2002
(encuesta basal). Sin embargo, el pareamiento no resulta completamente significativo,
atribuible a que las condiciones de los beneficiarios no son completamente comparables dadas
las caractersticas de los datos utilizados. No obstante que se utiliz la tcnica Kernel, la relacin
entre la semejanza de las caractersticas usadas para el pareamiento entre ambos grupos y el
tamao de muestra del soporte comn, probablemente se encuentre viciada de origen.

Regresin discontinua: la estimacin se pudo haber realizado con distintos abordajes y
especificaciones; de igual forma, se pudieron haber realizado pruebas estadsticas que
demostraran la confiabilidad de los supuestos en el que se bas el modelo. Ello cuestiona la
robustez de los resultados obtenidos.

Las conclusiones a las que se llegan no reflejan las debilidades metodolgicas que la evaluacin
tiene. Sin embargo, es importante reconocer las limitaciones del abordaje cuasiexperimental, en
el que no es posible asegurar la identidad de los grupos en caractersticas no observables bajo
los supuestos metodolgicos de los mismos, lo que permiten aproximar los efectos de la
intervencin.


3.1.5.4. Oportunidades y nutricin de la poblacin urbana. Situacin nutricional a mediano
plazo de nios y mujeres, beneficiarios de Oportunidades en zonas urbanas 2002-
2009 (EIZU Nutricin 2010)

La evaluacin es parte de la serie Evaluacin Externa del Programa Oportunidades 2010 en
Zonas Urbanas (2002-2009) y utiliza mtodos cuantitativos para calcular el impacto del
programa a mediano plazo, en la situacin nutricional de los beneficiarios que habitan en zonas
urbanas. El objetivo principal de este trabajo era describir la situacin nutricional en nios y
mujeres en zonas urbanas; as como los factores que influyen y analizar su asociacin con el
estado de nutricin, siete aos despus de la implementacin de Oportunidades en zonas
urbanas. La coordinacin de la evaluacin estuvo a cargo del Instituto Nacional de Salud Pblica
(INSP).

Investigadores: Lynnette Neufeld, Armando Garca Guerra, Amado D. Quezada, Ana C.
Fernndez Gaxiola, Fabiola Meja y Frania Pfeffer.
50



Metodologas empleadas

La informacin utilizada para los anlisis presentados aqu fue recolectada como parte de las
Encuestas de Evaluacin de Oportunidades en Zonas Urbanas (ENCELURB) 2002, 2004 y 2009
(ver documento introductorio Aspectos Generales de la Evaluacin de Mediano Plazo de
Oportunidades en Zonas Urbanas para mayor detalles sobre la muestra de 2009). Previo a cada
ronda, el protocolo de investigacin fue revisado y aprobado por las Comisiones de tica,
Bioseguridad e Investigacin del Instituto Nacional de Salud Pblica.

Para 2009, se cont con una muestra de 5,498 hogares que fueron incorporados alguna vez al
Programa, los cuales respondieron a 11 preguntas (8 en caso que no hubiera nios menores de
18 aos en el hogar), sobre la percepcin de inseguridad alimentaria. El mdulo de inseguridad
alimentaria no se haba implementado en las ENCELURBanteriores por lo que la capacidad de
realizar comparaciones en el tiempo es limitado.

Se cont con el seguimiento de un panel longitudinal, participante en las tres Encuestas de
Evaluacin de Hogares Urbanos (ENCELURB2002, 2004 y 2009). Oportunidades inici en las
localidades de intervencin inmediatamente despus del levantamiento de la ENCELURB2002, y
las localidades de no intervencin fueron programadas para ser incorporadas al Programa
despus del levantamiento de la ENCELURB2004. En 2009, se busc especficamente a los
mismos participantes de esa cohorte (i.e. nios que haban participado en la ENCELURB2002 y/o
2004) que residan en las comunidades de intervencin nicamente y que haban sido
incorporados en algn momento al Programa (ver documento introductorio Aspectos Generales
de la Evaluacin de Mediano Plazo de Oportunidades en Zonas Urbanas para mayor informacin
sobre la muestra). En 2002 y 2004 se incluy a todos los nios de 0 hasta 4 aos de edad, por lo
que en el 2009 tenan entre 5 a 10 aos de edad. Para 2009, se reclut nuevamente a todos los
nios que haban sido medidos en 2002 y/o 2004. Se tom una muestra de sangre capilar para
la medicin de la concentracin de hemoglobina utilizando el fotmetro porttil y la misma
metodologa utilizada para las encuestas anteriores. Se les midi el peso y la talla utilizando
bsculas electrnicas y estadimetros porttiles, se utilizaron mtodos antropomtricos
estndares, de la misma manera que para las encuestas previas. Las mediciones fueron hechas
por duplicado y la media entre las dos fue utilizada para el anlisis.

Para analizar la situacin de inseguridad alimentaria, mediante anlisis factorial, los factores
fueron extrados con el mtodo de factor principal iterado. Primero se describi cmo se
distribuyen las respuestas a las preguntas de inseguridad alimentaria en los hogares
beneficiarios que han recibido el Programa en algn momento. El ndice de inseguridad
alimentaria se recalcul tanto para la muestra de nios comopara la muestra de mujeres y se
obtuvieron terciles de inseguridad alimentaria, los cuales se utilizaron para definir las tres
categoras de inseguridad. De esta manera, los que contestaron negativamente a todas las
preguntas se clasificaron sin inseguridad y el resto se clasific en tres categoras con inseguridad
leve, moderada y severa, y se definieron de acuerdo a los terciles del ndice creado.
51



Para estimar la asociacin entre la participacin en el Programa y la situacin de inseguridad
alimentaria en el hogar se utiliz la metodologa de regresin discontinua. Esta metodologa es
apropiada para analizar variables que tienen una clara relacin con los criterios de elegibilidad
para el Programa. En este caso, la inseguridad alimentaria est correlacionada con la pobreza,
es decir, el puntaje de pobreza (2002) define la condicin de elegibilidad para el Programa. Para
este anlisis se centr el puntaje para tener el punto de corte o de elegibilidad en cero. Se
dividi la muestra entre los que fueron elegibles y recibieron el Programa en algn momento
(n=3310) y los que no fueron elegibles y no recibieron el Programa (n=621), de acuerdo con el
puntaje de pobreza en 2002.

Todos los modelos se ajustan por la edad y sexo de los nios para estimar las tendencias en la
situacin nutricional. Debido a que la muestra es una combinacin de cohortes transversales
(muestras de nios distintos en 2002, 2004 y 2009) y panel longitudinal (mediciones de los
mismos nios en 2002 y/o 2004 y/o 2009), la edad representa una combinacin de tendencias
sectoriales (cambios en los indicadores en el tiempo) y cambios debido al avance de la edad en
los individuos.

En el caso de variables de respuesta continua, se ajustaron modelos multinivel de efectos
mixtos. El primer nivel lo constituyen las medidas repetidas en el tiempo; el segundo, los
individuos; y finalmente el tercero, la unidad primaria de muestreo. nicamente fueron
agregados efectos aleatorios de constante. En el caso de variables de respuesta dicotmicas se
utilizaron modelos de ecuaciones estimadoras generalizadas (GEE), y con el logit como funcin
de enlace, se especific una covarianza entre medidas repetidas no estructurada debido a la
separacin en tiempo de las encuestas.

En la especificacin inicial de todos los modelos se incluyeron variables indicadoras de tiempo,
la edad, la variable de pobreza, la variable de transferencias, la interaccin entre pobreza y
transferencias. En los modelos para nios se incluy tambin el sexo y sus respectivas
interacciones. Dado que la relacin entre edad y los desenlaces nutricionales no es lineal en el
intervalo de edad de los nios incluidos en las encuestas, se incluye la edad al cuadrado. Para
algunos modelos (por ejemplo: talla para la edad y riesgo de talla baja) se ajustan por factores
adicionales conocidos por ser fuertes predictores de talla, especficamente, talla de la madre.

Resultados

La prevalencia de talla baja y anemia ha disminuido, y se observa un aumento en la
prevalencia de sobrepeso conforme aumenta la edad de los nios.
Las prevalencias de sobrepeso y obesidad en nios beneficiarios de Oportunidades son
menores a las observadas en la poblacin general urbana y menores a la del primer
quintil socioeconmico urbano.
La prevalencia de obesidad en las mujeres jvenes (20 a 29 aos) es mayor a la de la
poblacin general urbana y mayor a la del primer quintil socioeconmico urbano.
52


La prevalencia de anemia en mujeres ha disminuido de manera importante (i.e. 13.6
puntos porcentuales desde 2002 y 2.3 puntos porcentuales desde 2004). En mujeres
beneficiarias de 30 a 39 aos la prevalencia de anemia es menor que la del primer quintil
socioeconmico urbano.
El 54.2% de los hogares entrevistados fueron clasificados con inseguridad alimentaria.
El nivel de pobreza y las transferencias estn asociados con la talla para la edad; entre
las familias ms pobres se observa un mayor de puntaje Z de talla de 0.1 (equivalente a
0.5 cm en la edad promedio de 5 aos) por cada 100 pesos adicionales de transferencias
recibidas bimestralmente.
El riesgo de obesidad es significativamente mayor en los nios de hogares menos
pobres. Desde 2002 hasta 2009, existe un aumento en la probabilidad de obesidad, la
cual es significativamente mayor en los nios. Asimismo, el riesgo de anemia es mayor
para los nios de hogares con mayor pobreza.
Se observa que conforme aumenta la edad de las mujeres aumenta el riesgo de
sobrepeso u obesidad. Sin embargo, las mujeres de hogares menos pobres tienen un
mayor riesgo de sobrepeso u obesidad.
La probabilidad estimada de anemia baj cerca de la mitad entre 2002 y 2009.


Valoracin tcnica

La muestra que se utiliz para la evaluacin tiene problemas de validez, comparabilidad y
representatividad para medir los efectos del programa.

Los modelos y mtodos de estimacin aplicados en la evaluacin se consideran pertinentes,
dados los objetivos de la misma. Si bien existen otras metodologas para la medicin de
impactos que implican requerimientos de informacin muy diversos as como grados de
robustez distintos, los modelos especificados son utilizados ampliamente en la literatura para
estimar la prevalencia de una condicines este caso, el estado nutricional de los beneficiarios
del programa. Finalmente, el modelo utilizado permite estimaciones robustasconsiderando
que se tengan los datos adecuadosy las conclusiones obtenidas son acordes con la capacidad
de dichos modelos. Sin embargo, dadas las caractersticas de la muestra, los resultados que se
obtienen no son generalizables ni comparables.

En general el diseo metodolgico es adecuado y consistente con el tipo de evaluacin
realizada; sin embargo subsisten limitaciones y posibles efectos con potencial de afectar las
estimaciones, derivados de los datos que se utilizaron. Las conclusiones del evaluador no
contextualiza los hallazgos y no reconoce la incapacidad del levantamiento muestral para ciertos
efectos. Dadas las caractersticas del anlisis realizado, no se considera confiables las inferencias
con relacin a los posibles efectos que tiene el programa.

53


3.1.6. Evaluacin de Movilidad Social Intergeneracional de los Jvenes Beneficiarios de
Oportunidades Provenientes de Hogares en Zonas Rurales (MS 2010)

Esta evaluacin se realiz en 2010 con el objetivo de medir el impacto del PDHO en la movilidad
intergeneracional de los jvenes beneficiarios con respecto al de sus padres. La metodologa
utiliza modelos cuantitativos para realizar sus estimaciones y para basar sus conclusiones. La
Escuela de Graduados en Administracin Pblica y Poltica Pblica (EGAP) del Instituto
Tecnolgico de Estudios Superiores de Monterrey fue institucin encargada de llevar a cabo
dicha evaluacin. El periodo de estudio es de 1998 a 2007.

Coordinador o investigador responsable: Eduardo Rodrguez-Oreggia

Metodologas implementadas

La muestra consiste de 6,983 beneficiarios del Programa(no se incluye la muestra de no
beneficiarios), todos ellos jvenes que tenan alguna ocupacin laboral y ya no estudiaban. La
base de datos es la ENCEL 2007 y una encuesta especial de seguimiento para 2008, con datos
para jvenes entre 14 y 24 aos, levantados en rondas anteriores (1998, 2000 y 2003) as como
un subconjunto de nuevas localidades. La ENCEL incluye un mdulo con preguntas sobre la
insercin laboral de los entrevistados, utilizando un cuestionario muy similar al de la Encuesta
Nacional de Ocupacin y Empleo (ENOE); adicionalmente, se incluyen preguntas acerca de la
ocupacin del jefe del hogar cuando ste tena 15 aos, para analizar el cambio
intergeneracional.

El anlisis de la dinmica laboral entre generaciones se bas en un modelo probabilstico para
determinar el efecto del Programa en la posicin ocupacional de los jvenes beneficiarios con
respecto a la de sus padres, con diferentes versiones en funcin de variables que utiliza como
controles. El modelo busca asociar una probabilidad cuando la ocupacin de los hijos sea
comparativamente ms calificada que la de los padres, de acuerdo con caractersticas
especficas del trabajador, del hogar, de la localidad del hijo, la educacin de los padres y las
condiciones previas al PDHO. La clasificacin de las capacidades laborales utiliza un esquema
piramidal con 8 niveles definido en De la Rocha (2008), que inicia con actividades agrcolas,
hasta llegar a las actividades profesionales. Para capturar el cambio ocupacional se utiliza una
matriz de Markov o matriz de transicin. La especificacin es un modelo dicotmico (ya que la
variable dependiente puede tomar solamente dos valores) del tipo Probit, que utiliza una
funcin de distribucin normal estndar (Cameron y Trivedi, 2005). Adicionalmente, se
incorpora una variable instrumental debido al posible sesgo por las salidas endgenas del
PDHO ya que la posibilidad de ocuparse en una actividad determinada puede inducir a la
salida del Programa, reduciendo el tiempo de exposicin a los beneficios que es el tiempo
planeado de permanencia del beneficiario en el PDHO, a partir de que ste empez a operar en
la localidad.

54


Para capturar el efecto del PDHO sobre los salarios de los individuos dentro de un rango
determinado, se utiliza un modelo probabilstico alternativo que separa los efectos del tiempo
de exposicin al PDHO de los efectos educativos y migratorios. Este es un modelo cuasi-
experimental conocido como regresin discontinua (RDD), mtodo reconoce que existe un
umbral definido de forma exgena que separa a los beneficiarios de los no beneficiariosen
este caso, el puntaje para elegibilidad--pero que ambos grupos comparten caractersticas muy
similares alrededor del umbral. Esta diferencia definida arbitrariamente es utilizada para
estimar los efectos del Programa.

Resultados

En el modelo bsico, el efecto directo del PDHO sobre la movilidad ocupacional es
positivo pero limitado. Los beneficiarios que recibieron los apoyos durante el ciclo
completo del Programa (1997-2007) tienen una mayor probabilidad (4.4%) de encontrar
un mejor empleo que los padres, sobre los que nunca recibieron los beneficios.
En el modelo completo, que controla por nivel del hogar y condiciones iniciales, se
encuentra que el efecto sobre la movilidad laboral se genera a travs de la acumulacin
de aos de escolaridad, de forma que los beneficiarios del Programa tienen mayor
probabilidad (2.7%) de encontrar un mejor empleo que sus padres, porque tienen ms
aos de escolaridad en promedio que los no beneficiarios. El tiempo de exposicin al
Programa de los beneficiarios no tiene efecto significativo sobre la movilidad.
En el modelo completo con la muestra restringida y la simulacin de la escolaridad
adicional imputable al Programa, se encontr que 7.4% de la movilidad ocupacional
observada en los beneficiarios se puede atribuir al efecto del Programa sobre la
educacin.
En general, los mayores efectos significativos del Programa sobre la movilidad laboral
intergeneracional a travs de la educacin, se encontraron en mujeres, jvenes no
migrantes y en los migrantes a otro lugar del pas.
En el modelo de regresin discontinua, los resultados sugieren un impacto significativo y
positivo del Programa sobre los salarios de los beneficiarios, pero la limitacin de
informacin es tal que se deben interpretar con reservas.

Valoracin tcnica

Los datos y la muestra utilizada se consideran pertinentes, aunque tienen limitaciones
importantes. Ver Apndice A sobre la calidad de la ENCEL.

El modelo de estimacin aplicado en la evaluacin se considera pertinente, dados los objetivos
de la misma. Si bien existen otras metodologas para la medicin de impactos que implican
requerimientos de informacin muy diversas as como grados de robustez distintos, los modelos
probabilsticos especificados son utilizados ampliamente en la literatura para estimar la
probabilidad de que un evento se presente bajo ciertas caractersticas predefinidases este
caso, la movilidad laboral de los hijos de las familias beneficiarias. Finalmente, el modelo
55


utilizado permite estimaciones robustasconsiderando que se tengan los datos adecuadosy
las conclusiones obtenidas son acordes con la capacidad predictiva de dichos modelos.

Las metodologas empleadas en esta evaluacin han sido utilizadas en estudios similares. Como
se seala en el propio documento, el esquema piramidal fue utilizado por De la Rocha (2008) en
una evaluacin de impacto del PDHO a 10 aos de su creacin. Los modelos probabilsticos han
sido utilizados por Bladen (2005) para determinar el efecto intergeneracional en el trabajo.
Becker y Tomes (1986) siguieron un modelo que utiliza la educacin de los padres y la
estructura del hogar para calcular la movilidad laboral. Kluve et al (2007) identific las variables
instrumentales que se especifican en este trabajo. Finalmente, Behrman, Parker y Todd (2005)
han utilizado un modelo similar para medir el efecto del PDHO sobre la escolaridad.

Las conclusiones del evaluador son consistentes con los resultados obtenidos. Adems, se
contextualizan adecuadamente los hallazgos y se reconoce la incapacidad de los datos y el
modelo para estimar ciertos efectos e impactos.


3.1.7. Especfica de Desempeo del PDHO(EED 2011) 2010-2011

La Evaluacin Especfica de Desempeo 2010-2011 muestra el avance en el cumplimiento de los
objetivos y metas del PDHO, a partir de la informacin contenida en el Sistema de Evaluacin
del Desempeo. El Coneval coordin esta evaluacin para valorar el desempeo de los
programas federales que operaban durante el 2010. Los datos reportados corresponden al
ejercicio fiscal 2010. El Centro de Estudios Econmicos y Sociales en Salud, Hospital Infantil de
Mxico Federico Gmez fue la institucin responsable de guiar esta evaluacin.

Coordinador o investigador responsable: Evelyne Eugenia Rodrguez Ortega

Productos

De 5 indicadores de resultados seleccionados que correspondan a nivel de Fin y Propsito, tres
no contaban con informacin para observar su desempeo con respecto a la meta, uno se
encontraba1.5 puntos porcentuales por debajo de la meta y el restante, 1.3 puntos
porcentualespor arriba de la meta.

De 5 indicadores de gestin seleccionados que correspondan a nivel de Componentes y
Actividades, tres se encontraban por arriba de la meta en un rango entre 0.33-3.8 puntos
porcentuales; un indicador se encontraba por debajo de la meta en alrededor de un milln de
nios, y el ltimo estabapor arriba de la meta en cerca de 19 mil familias.

En la evaluacin se repostaron los resultados de la Evaluacin Externa 2008, Evaluacin de
Impacto 2008 y la Evaluacin Estratgica 2009.

56


Cobertura

La poblacin potencial, objetivo y atendida se encuentran definidas. No obstante, las
definiciones de la poblacin potencial y objetivo entre 2009 y 2010 no son las mismas, y no se
ha cuantificado la poblacin potencial para 2010.

Aspectos Susceptibles de Mejora

Los aspectos identificados como susceptibles de mejora son: 1) fortalecer los procesos de
formacin pedaggica de los docentes de telesecundaria para contar con mayores recursos y
establecer procesos de enseanza-aprendizaje exitosos; 2)introducir apoyos y compromisos
entre autoridades, escuelas y padres de familia para el buen mantenimiento de la
infraestructura y para la dotacin de equipamiento educativo; 3) priorizar la inversin en las
escuelas primarias indgenas, generales rurales y telesecundarias rurales;4) revertir la cada
presupuestal de los programas compensatorios; as como fortalecer la cobertura de los
programas educativos que refuerzan la calidad; y 5) actualizar la cuantificacin de la PP con la
informacin disponible ms reciente.


3.1.8. Evaluacin de consistencia y resultados del PDHO (ECR 2011) 2011

La Evaluacin de Consistencia y Resultados 2011 del Programa de Desarrollo Humano
Oportunidades constaba de 51 preguntas en 6 apartados: Diseo, Planeacin y Orientacin a
Resultados, Cobertura y Focalizacin, Operacin, Percepcin de la Poblacin Atendida y
Medicin de Resultados. El Colegio de Mxico A.C. fue la institucin responsable de elaborar
dicho trabajo con informacin de gabinete.

Coordinador o investigador responsable: Gerardo Esquivel Hernndez

Metodologas empleadas

Cincuenta y un preguntas a evaluar en seis temas diferentes, conforme a los Trminos de
Referencia elaborados por Coneval. Trabajo de gabinete con base en los documentos del
programa y otras fuentes secundarias, y entrevistas a operadores.

Resultados (generales y por componente)

Generales
Reporta resultados a nivel de Fin y Propsito de la MIR, pero no siempre con
evaluaciones de impacto y periodicidades adecuadas.
Cuenta con estudios y evaluaciones de impacto rigurosas
Impactos positivos relevantes: Pobreza intergeneracional: movilidad laboral. Nutricin:
capacidades verbales y lingsticas; desnutricin (talla y anemia). Educacin: asistencia y
57


trayectoria escolar, escolaridad de las mujeres indgenas. Salud: asistencia a centros de
salud, embarazo temprano, planeacin familiar
Impactos de mayor magnitud tienden a concentrarse en etapas tempranas (nutricin y
cognicin); plazos largos de exposicin (escolaridad); variables con mayores brechas
(media superior); y poblaciones o grupos con mayores carencias (niveles ms bajos de la
escala laboral, mujeres indgenas, localidades de alta y muy alta marginacin)
Las indgenas enfrentan ms dificultades que los mestizos para mantenerse como
beneficiarios

Educacin
Impacto positivo en la reduccin de problemas conductuales y las capacidades verbales
y lingsticas.
No se encontr evidencia de impactos significativos en otros indicadores de capital
humano para nios en edad escolar relacionados con cognicin, estado nutricional y
logros educativos.
Impactos importantes y positivos en la escolaridad de los jvenes. Al diferenciar por sexo
se observan impactos ligeramente ms fuertes en las mujeres.
No se encontr ningn impacto sobre la inscripcin a la universidad.
Hay un impacto en los grados de escolaridad de las mujeres indgenas.
Incremento de las trayectorias educativas de nios y jvenesdicho impacto es mayor
en el caso de los indgenas.
El PDHO incide en la asistencia y prolongacin escolar. Sus ex becarios salen con
relativamente mayores capacidades (y titulacin de estudios) que posibilitan empleos
bajo condiciones ligeramente mejores.
Los jvenes con mayor exposicin al PDHO alcanzan mayores grados de escolaridad.
La brecha entre hijos/hijas y padres/madres en la trayectoria escolar fue dos aos mayor
en los beneficiarios.
Los efectos ms notables en la educacin, se observaron en las mujeres y en los
indgenas.
Para incentivar las trayectorias educativas es necesario tener fcil acceso a los centros
educativos.

Nutricin
Ganancias en estatura al comparar nios que reciben los beneficios desde 1998 contra
nios que no haban recibido los beneficios para 2005.
Reduccin de problemas de conducta en los nios atendidos por el PDHO.
La prevalencia de desnutricin en los beneficiarios se redujo considerablemente en los
ltimos aos.
El PDHO puede lograr que los nios menores de dos aos alcancen una prevalencia de
anemia 10% menor mediante suplementos e ingesta adecuados.
La prevalencia de talla baja cay en las localidades de muy alta marginacin en 4.9
puntos porcentuales y en las localidades de alta marginacin 10.3 puntos porcentuales.

58


Salud
El PDHO ha contribuido al acercamiento de los BDHO con el sistema mdico del Estado.
Sin embargo, los recursos humanos y materiales son insuficientes para atender la
demanda de atencin mdica.
Las zonas con mayores grados de marginacin son tambin aquellas en donde los
servicios pblicos de salud son ms deficientes.
Los beneficiarios tienen una mayor probabilidad de llevar al centro de salud a sus hijos
cuando presentan sntomas de alguna enfermedad.
La probabilidad de embarazo en la adolescencia y juventud temprana es
significativamente mayor en las jvenes con menor tiempo de exposicin al Programa.
Resultados significativos en la mejora de la salud infantil y en mtodos de planeacin
familiar.
La mayora de las unidades de servicios de salud tienen baja capacidad.
Las familias beneficiarias, demostraron mayor conocimiento sobre su estado de salud.

Otros
Efecto en la probabilidad de obtener empleo slo en la medida en que incrementa la
probabilidad de tener mayor escolaridad.
El diseo del PDHO no permite inferir un efecto sobre cuestiones laborales de forma
directa, sino a travs de mejorar los niveles de educacin y de salud.
El PDHO contribuye a disminuir la desigualdad de gnero y la desigualdad tnica.

En beneficiarios hay un 40% de movilidad hacia mejores ocupaciones que el jefe de hogar y
un 47% que sigue en ocupacin de habilidad similar. Para las mujeres y mujeres indgenas
existe una mayor movilidad entre generaciones a mejoras ocupacionales.

Valoracin tcnica

No aplica.


59


3.2. Anlisis de evaluaciones de resultados o de impacto en el mbito nacional o
internacional de programas similares

Para establecer un punto de referencia con otras experiencias a nivel internacional, se muestra
una sntesis de evaluaciones de resultados o impacto aplicadas a programas, proyectos o
intervenciones pblicas que son similares, ya sea por algunos de sus objetivos, componentes o
poblaciones atendidas. Se trata de obtener informacin til para valorar en qu medida las
acciones del programa han obtenidos resultados en otras realidades, as como de analizar y
aprovechar aquellos aspectos del esquema metodolgico aplicado en estos casos para prximas
evaluaciones al programa. El Anexo 2 posibilita una visin sinttica de las evaluaciones a
intervenciones similares a la que nos ocupa.

Los programas que se presentan a detalle son: Bolsa Famlia en Brasil; Breakfast in Rural Primary
School Children en Jamaica; Opportunity NYC-Family Rewards en Nueva York, Estados Unidos; y
Bono de Desarrollo de Desarrollo Humano en Ecuador. Sin embargo, es importante destacar
que a nivel internacional, diversos gobiernos han tomado al PDHO como una referencia para
impulsar sus propias polticas, resultando en un nmero significativo de programas con
objetivos similares, aunque no necesariamente todos han sido evaluados o se han
implementado con tcnicas rigurosas. El modelo del PDHO ha sido replicado en 14 pases y ha
sido analizado en otros 21. Los pases que ya han implementado el modelo son los siguientes:
Colombia con el programa Supermonos, Turqua con Social Risk Mitigation Project, Jamaica
con Programme of Advancement through Health and Education, Brasil con Bolsa
Familia,Repblica Dominicana con Solidaridad, El Salvador con Red Solidaria,Per con Juntos,
Paraguay con Red de Proteccin y Promocin Social, Indonesia con Program Keluarga Harapan,
Nueva York en EU con Opportunity NYC, Honduras con Bono 10 Mil, Filipinas con Pantawid
Pamilyang Pilipino Program,, Nigeria con Kano.

Los pases con los que se ha tenido un intercambio de informacin para replicar el programa
son: Argentina, Bolivia, Chile, Colombia, Guatemala, Nicaragua, Panam, Trinidad y Tobago,
Uruguay, Bangladesh, Burkina Faso, Camboya, Egipto, India, Kenia, Malawi, Marruecos,
Pakistn, Sudfrica, Yemen y Zambia.


3.2.1. Bolsa Familia, Brasil

Nombre de la Evaluacin

First Results of a Preliminary Evaluation of the Bolsa Familia Program


Objetivo de la evaluacin

60


Presentar los primeros resultados de Bolsa Familia en varias dimensiones como resultado de un
relajamiento de las restricciones presupuestales y en la operacin de aspectos de
comportamiento que se relacionan con las condicionalidades del programa.

Caractersticas similares o tipos de apoyo que entrega el programa

El programa otorga transferencias condicionadas de ingreso a familias en condicin de pobreza
con el objetivo de mitigar la pobreza en el presente y de romper con el ciclo de transmisin
intergeneracional de la pobreza mediante la inversin en el desarrollo de capital humano. El
principal criterio de elegibilidad es que la familia se encuentre en condicin de pobreza con
nios menores de 15 aos, madres embarazadas o en periodo de lactancia, as como familias en
pobreza extrema sin nios o madres embarazadas o en periodo de lactancia. Para las familias en
pobreza extrema. Se les otorgan 50 reales y para las que tienen nios, madres embarazadas o
en periodo de lactancia se les otorgan 15 reales extra por cada miembro en esa condicin hasta
un mximo de tres.

Metodologa utilizada

Se levant en el mes de noviembre de 2005 una encuesta diseada ex professo para evaluar el
impacto del programa, denominada Evaluacin de Impacto del Programa Bolsa Familia, con
15,426 cuestionaros. La muestra de hogares se distribuy siguiendo proporciones desiguales de
acuerdo a tres estratos. El primero consisti en hogares beneficiarios; el segundo se construy
con hogares enlistados para ser beneficiarios del programa en un futuro; y el tercer fueron
hogares no beneficiarios ni registrados para ser incorporados en el futuro.

Posteriormente se reclasific a los grupos en trminos de su elegibilidad, tratamiento y
comparacin. Los autores sealan que esta reclasificacin no interfiri con los pesos de la
muestra y la probabilidad de seleccionar a los hogares. La clasificacin de los hogares de
acuerdo a la elegibilidad consider dos niveles de ingreso per cpita de los hogares. El primero
grupo incluy aquellos que tuvieran un ingreso mensual per cpita de 100 reales o menos, que
coincide con el lmite de elegibilidad del programa. El segundo grupo fueron aquellos hogares
cuyo ingreso fuera de 200 reales mensuales per cpita o menos. Dentro de estos subgrupos, se
defini como tratamiento (4,095 hogares) a aquellos que hogares que efectivamente reciben el
programa, as como dos grupos de comparacin. El primer grupo de comparacin (3,210
hogares) fueron aquellos hogares que sealaron haber recibido algn otro apoyo pblico y el
segundo (4,576), aquellos que afirmaron nunca haber recibido alguno. Finalmente, existi un
excedente de hogares que afirm haber recibido algn pasado en el pasado, pero que ya no lo
reciben ms (3,545 hogares).

Se adopt un diseo de evaluacin cuasi-experimental basado en la tcnica de aparejamiento
por puntaje de propensin. Los efectos del tratamiento se estimaron utilizando la diferencia en
los resultados promedios de los grupos de tratamiento y comparacin. El puntaje de propensin
es la probabilidad de que un hogar reciba la transferencia de Bolsa Familia de acuerdo a un
61


conjunto de variables observables o criterios de elegibilidad. Se utilizaron tres tcnicas de
aparejamiento para analizar la robustez de los resultados: la tcnica del vecino ms cercano con
y sin reemplazamiento y el radio de aparejamiento, aunque slo se reportaron los resultados
del vecino ms cercano con reemplazo.

Resultados

Las diferencias en la proporcin de nios vacunados no es favorable para los que viven en
hogares tratados en relacin a los nios que viven en hogares elegibles que son beneficiarios de
otros programas, as como de los que no lo son. Este patrn se repite en todas las regiones
analizadas, excepto en el sureste. La hiptesis que justifica estos resultados es que los
beneficiarios de Bolsa Familia tienden a vivir en zonas con menor densidad demogrfica y con
peores condiciones de acceso a los servicios de salud.

La evaluacin tampoco encontr diferencias estadsticamente significativas entre los grupos de
tratamiento y comparacin en relacin al cumplimiento mnimo de un nmero de consultas
para mujeres embarazadas.

En el caso de la tasa de asistencia escolar, se encontr que existe una diferencia positiva a favor
de los beneficiarios de otros programas en todo Brasil, quiz debido a que otros programas
tambin condicionan su apoyo a la asistencia escolar y a que estos exista antes que Bolsa
Familia por lo que quiz presentan un mayor efecto consistente de largo plazo. Se encontr que
esta diferencia es mayor en los hogares ms pobres.

Por otro lado, se encontr una diferencia favorable en las tasas de asistencia y de desercin a
favor de los nios beneficiarios de Bolsa Familia en relacin a los nios de hogares que no
reciben ningn apoyo. Asimismo, los beneficiarios de Bolsa Familia presentan una diferencia
favorable en relacin al nmero de horas dedicadas al estudio en relacin a ambos grupos de
comparacin.

En relacin a la ocupacin, se encontr que existen diferencias positivas a favor de los hogares
que participan en Bolsa Familia respecto al grupo de comparacin que no recibe ningn tipo de
apoyo, excepto en las regiones ms pobres del norte y centro-occidente. Se encontraron
diferencias significativas en trminos de una menor participacin de las mujeres en la fuerza
laboral si se comparan con el grupo de comparacin que es beneficiario de otros programas. En
este caso, Bolsa Familia s puede tener un efecto ingreso que desincentive la participacin
laboral de las mujeres o a que dedican mayor tiempo a actividades en el hogar. La diferencia
ms grande se encuentra en los hogares ms pobres. Se encontraron diferencias positivas a
favor de Bolsa Familia en la proporcin de personas que buscan un empleo.

Respecto al gasto en salud, educacin y vestimenta para nios, se encontr una diferencia
significativa a favor de los beneficiarios de Bolsa Familia, pero que el grupo de tratamiento tiene
un menor gasto en relacin al que hacen los miembros del grupo de comparacin de
62


beneficiarios de otros programas. Asimismo, para el grupo en pobreza extrema, se encontr que
el grupo de tratamiento tiene un mayor gasto en alimentos.

Valoracin tcnica

El principal problema de esta evaluacin es que no se trat de un diseo de investigacin tipo
panel, sino que slo fue de seccin cruzada, por lo que la validez interna se ve disminuida. La
evaluacin estableci dos grupos de comparacin con el objetivo de obtener resultados puros
cuando la comparacin se hizo con el segundo grupo de comparacin, as como en relacin con
beneficiarios de otros programas cuando la comparacin se hizo con el primer grupo. Sin
embargo, la evaluacin no hizo distincin en la participacin en distintos programas por parte
de este ltimo grupo de comparacin, por lo que no se hizo una estimacin de acuerdo a la
magnitud y tipo de apoyo. Asimismo, se tiene que tener en cuenta que la clasificacin se hizo de
acuerdo a la declaracin de los entrevistados y no necesariamente se verific que
efectivamente recibieran o no los apoyos.

Conclusiones y recomendaciones del evaluador

Dado que se trat de un diseo de investigacin de seccin cruzada, los autores recomiendan
hacer un seguimiento de los hogares participantes a fin de transformarlo en un panel para
obtener impactos ms consistentes, as como que se podran aplicar otras tcnicas de
investigacin con lo que se podran explorar otros resultados.

Los autores concluyen que el programa tiene importantes efectos puros; sin embargo, si se
compara a los beneficiarios con los de otros programas, estos efectos disminuyen o incluso se
tornan negativos debido a, entre otras cosas, que aquellos programas tienen mayor antigedad
y han logrado consolidar sus efectos. Asimismo, el programa presenta efectos diferenciados
dependiendo de las caractersticas de las regiones.


3.2.2. Experimento de desayunos escolares en zonas rurales, Jamaica

Nombre de la Evaluacin

Nutrition and education: a randomized trial of the effects of breakfast in rural primary school
children

Objetivo de la evaluacin

Determinar el efecto de proveer un desayuno escolar sobre la asistencia escolar, estado
nutricional y logro educativo en aritmtica, ortografa y lectura; si el estado nutricional o la edad
del nio modifican el efecto; y si el nio gast menos dinero en la escuela si se le daba el
desayuno.
63



Cabe sealar que en este caso no se trata de la evaluacin de un programa, sino de un
experimento desarrollado en escuelas rurales de Jamaica para valorar los posibles efectos de los
desayunos escolares en la nutricin y la educacin.

Caractersticas similares o tipos de apoyo que entrega el programa

Se otorg un desayuno a nios de entre segundo y quinto grado de primaria que incluye un
sndwich de queso o un pan y leche saborizada equivalentes a entre 576 y 703 kilocaloras y
27.1 gramos de protena. Al grupo de control se le dio un cuarto naranja que sirvi como
placebo ya que provee 18 kilocaloras y 0.4 gramos de protena. Todas las comidas se sirvieron
antes de empezar clases en todos los das de escuela en cuartos o en momentos distintos.

Metodologa utilizada

El experimento se llev a cabo en una zona rural montaosa de Jamaica poblada con familias
pobres y cuyas escuelas estaban lejanas de sus hogares. Se escogieron 16 escuelas primarias y
se pes y se registr la edad de todos los nios de segundo al quinto de primaria. Se
seleccionaron 407 nios cuyo peso para la edad estaba igual o por debajo de una desviacin
estndar de las Estadsticas del Centro Nacional de Salud. Se escogi un grupo de control
compuesto por 407 nios con un rango de edad de ms-menos 3 meses, del mismo sexo,
escuela y clase, pero con pesos para la edad igual o mayor a una desviacin estndar de la
misma referencia. Se excluyeron nios que estaban repitiendo el ao escolar. Se utiliz la
Prueba de Amplio Rango de Logro Educativo que evala lectura, ortografa y aritmtica. La
asistencia escolar se recopil a partir de los registros escolares. Se les administr un
cuestionario para conocer su estatus socioeconmico (calidad de la vivienda y nmero de
posesiones), la cantidad de dinero que llevaban a la escuela y el tipo de desayuno que haban
comido en casa el da de la entrevista. Se les tom medidas de su peso y altura para la edad
tomando como referencia el puntaje z de las Estadsticas del Centro Nacional de Salud, as como
el ndice de masa corporal. Se les asign de manera aleatoria a grupos con desayuno y de
control. Estas medidas se volvieron a tomar al final del ao escolar. Se utilizaron regresiones
mltiples controlando por las mediciones iniciales de los nios, edad, sexo y grupo nutricional.
El puntaje de la casa se introdujo paso a paso para controlar por posibles efectos del estado
socioeconmico, as como efectos de interaccin entre la edad, sexo, estado nutricional y
estado socioeconmico y el grupo de tratamiento. Se hicieron regresiones separadas para la
estatura, peso e ndice de masa corporal.

Resultados

El estado nutricio original del nio no estuvo relacionado al cambio en su logro acadmico.
Hubo un beneficio significativo del desayuno en el logro educativo en aritmtica y la interaccin
entre tratamiento y grado escolar seala que este beneficio se observ principalmente en los
nios ms jvenes (segundo y tercer ao). No hubo resultados significativos en lectura y
64


ortografa. Los nios que recibieron el desayuno tuvieron ms asistencia a la escuela de manera
significativa. Adicionalmente, tambin mejoraron de manera significativa su peso, estatura e
ndice de masa corporal. Los nios en el grupo de tratamiento incrementaron 0.25 centmetros
en promedio su estatura en los ocho meses que dur el periodo de intervencin, equivalente a
un mes de crecimiento para nios en este rango de edad considerando la estadstica de
referencia. Puede afirmarse que de continuar el tratamiento durante toda la primaria creceran
2.4 centmetros adicionales, lo que equivale a un tercio de la desviacin estndar de la estatura
para la edad de un nio de 11 aos. El incremento en peso fue equivalente a entre dos y tres
meses en relacin a la poblacin de referencia. No hubo efectos significativos del desayuno en
la cantidad de dinero que el nio lleva a la escuela (transferencia de ingreso de la familia).
Tampoco hubo una diferencia significativa en la historia de desayunos antes y despus del
programa.

Valoracin tcnica

En general, el diseo metodolgico de dobles diferencias es adecuado y consistente con el tipo
de evaluacin realizada debido a que se cont con una lnea base de las caractersticas
socioeconmicas de los hogares de los nios y de sus medidas antropomtricas, as como con
un grupo de control. La validez interna del estudio es alta debido al diseo experimental
aleatorio y a que se minimizaron las diferencias entre el grupo de tratamiento y de control al
conseguir que los nios pertenecieran a la misma escuela, y tuvieran medidas antropomtricas
iniciales, edad, sexo, grupo nutricional y caractersticas socioeconmicas similares. Si bien el
cuarto de naranja que se le otorg al grupo de control no es un placebo verdadero, la diferencia
en el aporte nutricional respecto al sndwich y al vaso de leche es lo suficientemente amplia
como para poder adjudicar los resultados al efecto del tratamiento. Una ventaja adicional del
estudio es que dur un ao, por lo que, de acuerdo a sus propios autores, se trat de la primera
prueba aleatoria y controlada de largo plazo para medir el efecto de los desayunos escolares.

Sin embargo, dado que no se utiliz un muestreo probabilstico, la validez externa del estudio es
baja, es decir, no es posible generalizar sus resultados a una poblacin.

Conclusiones y recomendaciones del evaluador

Los nios que recibieron los desayunos mostraron mejoras pequeas, pero estadsticamente
significativas en la asistencia escolar, as como en su estado nutricional, en comparacin a los
del grupo de control. Los nios ms pequeo (de segundo y tercer grados de primaria)
mejoraron sus resultados en aritmtica, equivalentes a un 30% del progreso anual promedio.
Dado que los nios que asisten a escuelas en mejores condiciones, tienen resultados superiores,
es de esperar que este resultado, en conjuncin con una mejora en las condiciones de las
escuelas, pudiera ser mayor. Adicionalmente, el efecto positivo en los resultados en aritmtica
pudiera tambin incrementarse como resultado del incremento en la asistencia escolar.

65


Por otra parte, los nios reportaron que continuaron tomando sus desayunos habituales en casa
y trayendo la misma cantidad de dinero, por lo que el desayuno no constituye una transferencia
de ingreso.

Los autores recomendaron focalizar los apoyos en los nios desnutridos con comidas escolares
donde los recursos son tan limitados que no sean suficientes para alimentar a todos los nios.
Los nios ms jvenes son los que se benefician ms de las comidas escolares y tambin pueden
ser considerados como poblacin objetivo. Asimismo, recomiendan la adopcin de
intervenciones integrales que incluyan componentes en salud, nutricin y educacin para que
se maximicen los retornos a la inversin.


3.2.3. Opportunity NYC-Familia Rewards


Nombre de la Evaluacin

Toward Reduced Poverty Across Generations. Early Findings from New York Citys Conditional
Cash Transfer Program

Objetivo de la evaluacin

Mostrar los primeros hallazgos de los efectos del programa en varias medidas de resultados.

Caractersticas similares o tipos de apoyo que entrega el programa

El programa ofrece una serie de incentivos econmicos en funcin de varios objetivos
educativos, de salud y laborales. Por ejemplo, ofrece a las familias hasta 300 dlares al ao por
alumno de escuelas primarias y hasta 350 de escuelas secundarias, si stos obtienen niveles de
suficiencia o mejoran sus resultados en los exmenes estandarizados de matemticas y
lenguaje. A los alumnos de escuelas preparatorias se les dan directamente 50 dlares al mes si
asisten al 95% de los das del calendario escolar; 600 dlares si acumulan 11 crditos por ao;
400 dlares si se gradan; entre otros apoyos. A los padres se les otorgan 25 dlares si asisten a
las juntas de padres y maestros, hasta dos veces al ao. Cabe destacar que algunas o todas
estas recompensas se pagan directamente al estudiante, a diferencia de las recompensas para
nios de primaria y secundaria, debido a que los problemas de desempeo y asistencia escolar
tienden a empeorar con la edad, adems de que los estudiantes de preparatoria tienen mayor
control sobre su esfuerzo educativo.

Se les otorgan a las familias 50 dlares al mes si mantienen su seguro mdico privado (y 20 si es
pblico) por cada uno de los padres e hijos asegurados, y se les dan 200 dlares si asisten a una
revisin anual. Si mantienen un empleo de tiempo completo, se les otorgan 150 dlares al mes y
66


hasta 3,000 dlares en el transcurso de tres aos si se capacitan mientras estn empleados al
menos por 10 horas a la semana.

Para ser elegibles, las familias tienen que tener ingresos iguales o inferiores en un 130 por
ciento de la lnea de pobreza federal y tienen que tener al menos un hijo en el cuarto, sptimo o
noveno grado.

Cabe sealar que slo se analizaron los componentes del programa que tienen relacin o son
similares a los de los programas en Mxico.


Metodologa utilizada

Se utiliz una prueba controlada aleatoria puesto que el programa no pudo atender a todos los
solicitantes, por lo que seleccion a stos al azar. Se realizaron encuestas telefnicas de
seguimiento para medir los impactos del programa en pobreza e ingresos. Se pidi a los
encuestados que enlistaran sus fuentes de ingresos en el mes previo. En el caso de la evaluacin
de educacin, la informacin se obtuvo de los registros administrativos del Departamento de
Educacin de Nueva York y se cruz con la informacin del propio programa y de una encuesta
aleatoria realizada a padres de familia. Para evaluar los resultados en materia de salud, se
consideraron los registros administrativos del programa, as como fuentes oficiales de cobertura
de la Administracin de Recursos Humanos de Nueva York y de la encuesta a padres de familia.

Resultados

El programa redujo la pobreza (incremento promedio en el ingreso de 338 dlares mensuales
equivalente a 21% del grupo de control) y dificultades en asegurar suficiente comida para la
familia, as como algunas dificultades de vivienda y cuidado de la salud. Redujo la proporcin de
familias por debajo de la lnea de pobreza en 11 puntos porcentuales y la proporcin de familias
en pobreza severa a la mitad. Redujo la proporcin de familias con inseguridad alimentaria en
siete puntos porcentuales.

El programa no mejor los resultados escolares para los alumnos de primaria y secundaria. El
programa tuvo pocos efectos en los resultados escolares de los alumnos de preparatoria en
general. Sin embargo, mejor sustancialmente el logro educativo de los alumnos de
preparatoria que estuvieron mejor preparados para entrar a este nivel educativo cuando
ingresaron al programa.

Valoracin tcnica

El diseo metodolgico es robusto y consistente con el tipo de evaluacin realizada. Por tratarse
de un programa de reciente creacin, la evaluacin pudo ser con grupos de tratamiento y de
control con participantes de caractersticas similares asignados de manera aleatoria a ambos
67


grupos. La evaluacin tuvo como fuentes de informacin principales encuestas telefnicas y
fuentes secundarias como registros escolares, pagos en vales de alimentos y subsidios
obtenidos por parte de la ciudad de y el Estado de Nueva York. Asimismo, la evaluacin se
complement con informacin cualitativa mediante entrevistas a profundidad con beneficiarios
y observaciones al personal que implement el programa. Existi variacin en los periodos de
seguimiento para los distintos tipos de apoyo. Por ejemplo, para la evaluacin de los resultados
educativos, se cubrieron dos aos escolares para cada uno de los miembros de la muestra.

Una dificultad que se present en la elaboracin de la encuesta de seguimiento, es que la tasa
de respuesta fue de 84% para el grupo de tratamiento y 80.4% para el grupo de control, lo cual
puede introducir una fuente de sesgo. En general, los autores de la evaluacin suponen que la
gente que tiende a responder es menos aventajada en comparacin a quienes no la
contestaron. No obstante, la evaluacin incluy en los modelos una variable que capturara la
probabilidad de responder a la encuesta y los resultados de todas formas se mantuvieron
estadsticamente significativos.

La validez interna de la evaluacin es alta debido al diseo aleatorio y a que se busc minimizar
las diferencias entre el grupo de tratamiento y de control al obtener diferencias entre las
familias con caractersticas socioeconmicas similares. La validez externa de la evaluacin
tambin es alta debido a que se obtuvo una muestra representativa de ambos grupos, por lo
cual resulta generalizable a la poblacin beneficiaria del programa.

Conclusiones y recomendaciones del evaluador

Los resultados generan cuestionamientos en torno a la medida en que una estrategia basada
slo en incentivos puede realmente hacer una diferencia en el logro de ciertos efectos e
impactos, as como en la posibilidad de que ciertas modificaciones en el diseo y operacin del
programa pueden incrementar su efectividad. En particular, se plantea la posibilidad de que las
modificaciones en la oferta de incentivos puedan, con una difusin adecuada, ayudar a las
familias a enfocarse en obtener recompensas o apoyos de alta prioridad que tengan una mayor
probabilidad de aumentar el capital humano. Asimismo, se plantea que continuar el programa y
evaluarlo en el largo plazo con el fin de conocer si incrementa la magnitud de sus impactos con
mayor tiempo de exposicin.


3.2.4. Bono de Desarrollo Humano

Nombre de la Evaluacin

The impact of a conditional cash transfer program on students cognitive achievements: the
case of the Bono de Desarrollo Humano of Ecuador

68


Objetivo de la evaluacin

Evaluar el impacto del programa sobre el logro cognitivo de los estudiantes.

Caractersticas similares o tipos de apoyo que entrega el programa


Es un programa de transferencias condicionadas de ingreso para el desarrollo humano. El
componente de educacin del programa requiere que los nios de seis a 15 aos estn inscritos
a la escuela y asistan el 90% de los das de escuela al mes. El componente de salud requiere que
los nios menores de seis aos asistan cada dos meses a revisiones mdicas en los centros de
salud. El programa selecciona a los beneficiarios mediante un ndice de necesidades bsicas
insatisfechas utilizando un anlisis de componentes principales no lineal. Las familias en los
quintiles uno y dos reciben los beneficios. La transferencia de ingreso consiste en 15 dlares
estadounidenses al mes por familia.


Metodologa utilizada

Esta evaluacin utiliza el mtodo de diferencias en diferencias. La variable dependiente son los
resultados en una prueba estandarizada de matemticas y lenguaje y las variables
independientes se recopilaron a partir de una encuesta levantada por la Facultad
Latinoamericana de Ciencias Sociales sede Ecuador que contiene informacin acerca de las
escuelas (director, infraestructura, nmero de maestros, escolaridad y experiencia de stos,
nmero de estudiantes, salones, libros, computadoras, laboratorios, localizacin, participacin
en programas de desayunos infantiles y de mejora de la calidad de la escuela e informacin de
mejoras en la infraestructura en el ao precio al levantamiento), maestros (escolaridad,
experiencia, tipo de contrato y nmero de cursos de capacitacin que tom en los cuatro aos
previos) y hogares de los nios (activos e infraestructura del hogar, datos de los miembros del
hogar, participacin en programas sociales, nivel de escolaridad, nivel educativo de los padres,
estado civil, lengua, estado de empleo, condiciones laborales e ingresos de los miembros,
inscripcin escolar de menores de edad, gasto en educacin, tiempo que dedica el nio a
trabajar, a ver televisin, a ayudar en el hogar y si recibe ayuda de los padres para hacer la
tarea). La muestra fue de 2,589 nios de segundo grado y 1,901 de cuatro grado.

Se utiliz el mtodo de regresin discontinua debido a que la asignacin al programa depende
del valor de una variable continua observada relacionada con el punto de quiebre (el valor 50.65
del ndice de necesidades bsicas insatisfechas utilizado para seleccionar a los beneficiarios).


Resultados

69


El programa tuvo un efecto negativo y significativo sobre el resultado en matemticas y
ningn efecto sobre lenguaje.
El programa no tiene efectos significativos en el impacto en las pruebas en individuos
cercanos al lmite de elegibilidad.
Intervenciones nutricionales a travs del Programa en nios entre 0-5 aos pueden tener
incrementos en el aprendizaje.

Valoracin tcnica

En general el diseo metodolgico es adecuado y consistente con el tipo de evaluacin
realizada. Se utiliz la tcnica de regresin discontinua a partir del ndice Selben utilizado para
elegir a los beneficiarios. Se compar a los individuos en un pequeo intervalo cercano al punto
de quiebre (50.65 del ndice Selben) con el fin de que se asemejara a un diseo experimental, es
decir, se asume que los individuos que estn justo por arriba y por debajo de este valor son
similares, por lo que son comparables en trminos de sus resultados en presencia y ausencia del
programa, incrementando la validez interna de la evaluacin debido a este control.

A pesar del diseo robusto de la evaluacin, hubo algunos inconvenientes. Por un lado, el
tamao de las muestras es relativamente pequeo para este tipo de estudio, por lo que la
validez externa fue baja. Por otro lado, la evaluacin no explora las causas de qu el programa
no tenga efectos sobre las capacidades cognitivas de los beneficiarios, como se esperaba.


Conclusiones y recomendaciones del evaluador

Fortalecer los efectos positivos del programa en los logros cognitivos lo cual implica
intervenciones del lado de la oferta para lidiar con sus potenciales efectos negativos. Esto
implica que el programa incorpore objetivos educativos de manera explcita en sus propuestas
para garantizar que las mejoras en la inscripcin escolar sean concomitantes con las mejoras en
los resultados en las pruebas estandarizadas y que la acumulacin de capital humano en la
poblacin pobre responda a especificaciones de alta calidad.


3.2.5. Recomendaciones derivadas de experiencias internacionales

A continuacin se presentan algunas recomendaciones derivadas de las experiencias
internacionales en materia de evaluacin de programas similares al PDHO.

Bolsa Familia, Brasil

Se recomienda realizar evaluaciones en las que se compare el efecto del programa sobre las
distintas dimensiones que lo integran en relacin a otras alternativas de intervencin,
considerando en las encuestas preguntas acerca de los distintos tipos de apoyos que reciben los
70


beneficiarios del PDHO. Tambin se recomienda explorar los efectos a nivel regional con el
objetivo de establecer intervenciones especficas en a nivel regional que pudieran potenciar sus
resultados e incluso, diversificar su diseo de manera que se adapte a las necesidades de las
regiones.

Como se pudo observar, los efectos marginales de Bolsa Familia se incrementan cuando la
pobreza de los beneficiarios es mayor y cuando los beneficiarios no reciben ningn tipo de
apoyo. Asimismo, Bolsa Familia tiene efectos significativos cuando los beneficiarios no pueden
cumplir las condicionantes debido a factores ajenos a su voluntad, como es el caso del mal
estado de los servicios de salud. Por tal motivo, se recomienda al PDHO incrementar su
cobertura a la poblacin con las condiciones de pobreza y marginacin ms fuertes, que en este
caso, lo representan los beneficiarios actuales del PAL debido a que es en ellos en donde se
pueden tener los mayores efectos marginales tanto en el gasto en alimentacin, educacin,
salud y vestimenta para nios. Dada la lejana en la que se encuentran los beneficiarios del PAL,
adems de ser los ms pobres y marginados, son tambin quienes tienen mayor probabilidad de
no recibir ningn otro apoyo dada la alta correlacin negativa que existe entre lejana y
capacidad de las instituciones. Adicionalmente, se recomienda al PDHO asegurar que el apoyo
que reciben los beneficiarios del PAL sea suficiente para compensar el costo de oportunidad que
implica cumplir con las condicionalidades del PDHO, lo cual implica revaluar la magnitud de los
apoyos. Debido a que los programas de transferencias condicionadas de ingresos tienen efectos
relevantes en la tasa de asistencia escolar y en la de desercin, se recomienda mantener la
condicionalidad en los beneficiarios que sean incorporados al PDHO provenientes del PAL para
favorecer la acumulacin de capital humano. Finalmente, se recomienda al PDHO adoptar
estrategias del lado de la oferta a fin de mejorar la calidad y accesibilidad a los servicios de salud
y educacin que requieren los beneficiarios para cumplir con sus condiciones e incrementar su
acervo de capital humano.


Experimento de desayunos escolares en zonas rurales, Jamaica

La evaluacin destaca el papel muy positivo que pueden jugar los desayunos institucionales en
la nutricin de los nios rurales en edad escolar, lo cual se ha confirmado en una amplia serie de
estudios internacionales. Lo anterior, a pesar de que los desayunos no estn fortificados con
micronutrientes, y se esperara que el efecto sera mayor si stos se fortificaran. Se recomienda
a la Sedesol que explore las posibles sinergias, complementariedades y ventajas de
especializacin entre el conjunto de programas alimentarios federales y los programas de
desayunos escolares a cargo de los gobiernos estatales, particularmente en las localidades
rurales con alta concentracin de desnutricin y pobreza.


Opportunity NYC-Family Rewards

71


Opportunity NYC y el PDHO de Mxico disminuyen la pobreza y mejoran las condiciones de vida,
pero tienen impactos limitados y concentrados en educacin. En primaria, los impactos son muy
pequeos o nulos porque los niveles iniciales de matriculacin, permanencia y terminacin son
muy altos, y lo que se puede hacer a travs slo de incentivos est prcticamente copado. As,
habra que repensar la pertinencia de los apoyos condicionados para educacin primaria en
ambos programas, al menos en lo que se refiere a los objetivos de incrementar las tasas de
matriculacin, permanencia y terminacin. A la luz de los resultados en la reduccin de la
pobreza de las familias beneficiarias y el nulo impacto en el nivel primaria, se recomienda
modificar el diseo del PDHO con el fin de que sus apoyos se extiendan a todos las nias y nios,
incluyendo a aquellos que asisten a primero y segundo grado de primaria en localidades
urbanas, as como a los que tienen la edad para asistir al nivel preescolar, independientemente
de si asisten o no, debido al impacto que tiene el programa en disminuir su condicin de
pobreza y mejorar su calidad de vida.

En el nivel medio superior, NYC no impacta en matriculacin y permanencia en parte porque los
niveles iniciales en la poblacin pobre son ms altos, siendo ms difcil tener ganancias
marginales; adems, existe una mejor oferta de espacios para los alumnos que quieran estudiar.
En contraste, en Mxico los niveles iniciales de matriculacin y permanencia en los niveles
medio y, particularmente, en el medio superior son considerablemente ms bajos para la
poblacin pobre, por lo que las ganancias marginales son en principio ms sencillas; adems,
existen limitaciones importantes en la oferta de espacios pblicos para estudiar, especialmente
en los estados y regiones ms pobres y en las localidades rurales e indgenas. Por lo tanto, una
estrategia basada en transferencias condicionadas para el nivel medio y medio superior es
claramente pertinente para Mxico, perocomo se puede inferir de la evaluacin de NYC
puede mejorarse con otras intervenciones no basadas en incentivoscomo la ampliacin de
espacios educativos y la accesibilidad en zonas rurales.

Bono de Desarrollo Humano

Los resultados de la evaluacin del Bono destacan la importancia de la relacin entre el
condicionamiento de las transferencias de ingreso y la infraestructura de servicios disponible. Si
bien en Mxico la escasez de espacios en el nivel bsico en general no es un problema, las
condiciones fsicas de las escuelas, especialmente las que privan las localidades ms
marginadas, s pueden tener un impacto negativo sobre el aprendizaje y eventualmente sobre el
logro escolar. Por lo mismo, en una visin ms amplia e integral de la generacin de
capacidades bsicas, es importante explorar mecanismos complementarios para impulsar el
logro escolar en el nivel bsico, especialmente considerando que los impactos de
Oportunidades en la matriculacin y permanencia en primaria y secundaria son relativamente
pequeos.




72


3.3. Agenda de evaluacin para el perodo 2013-2018

En esta seccin se propone una agenda de evaluacin para el periodo 2013-2018, incorporando
una justificacin tcnica y emprica sobre la importancia que cada ejercicio tendra para el
programa, con base en los principales resultados de las evaluaciones en el periodo 2007-2012 y
el anlisis de la informacin proporcionada. Se sealan tambin los periodos de ejecucin y el
orden en el que se debern ir implementando cada una de las evaluaciones consideradas. Como
referencia general para elaborar la agenda, tomaron los Lineamientos generales para la
evaluacin de los programas federales de la Administracin Pblica Federal, publicados en el
DOF el 30 de marzo de 2007. El Anexo 3 facilita una visin esquemtica de la propuesta.

La agenda sugerida empieza con un Diagnstico y propuestas de atencin, a implementarse en
el ao 2013. Tiene como propsito identificar, definir y especificar de forma clara y rigurosa la
problemtica focal que se pretende resolver a travs del programa, as como analizar, valorar y
seleccionar las estrategias y mecanismos de atencin que resulten ms adecuados. Este estudio
deber cumplir cabalmente con los criterios y requisitos mnimos establecidos en los
Lineamientos generales para la elaboracin de diagnsticos de cuyos resultados se obtienen
propuestas de atencin de Programas de Desarrollo Social, publicados el 7 de mayo de 2009, e
incorporar asimismo las metodologas y mejores prcticas en la materia. Adems, el diagnstico
debe considerar la situacin de la salud, educacin, ingresos de los hogares, aspectos
institucionales, entre otros, que permitan identificar complementariedades y sinergias. Los
resultados de este ejercicio pretenden brindar una base slida de datos, anlisis y estrategia
para anclar slidamente el diseo, la operacin y los resultados del programa durante la
siguiente administracin federal, y de manera inmediata informar los cambios que se pretendan
hacer durante el primer ao de la misma.

Para el ao 2014 se propone una Evaluacin de diseo. El ejercicio deber analizar la
justificacin de la creacin y diseo del programa, especificar su vinculacin con la planeacin
sectorial y nacional, valorar la consistencia entre su diseo y la normatividad aplicable, as como
identificar posibles complementariedades y/o coincidencias con otros programas federaleses
decir, analizar la vinculacin y coordinacin del programa con otras instancias que
complementen sus acciones para promover una estrategia coordinada con objetivos claramente
definidos. Esta evaluacin deber proveer informacin y anlisis que retroalimente el diseo
conceptual y operativo del programa, as como los resultados que se deben esperar del mismo.
De forma inmediata, se pretende que sirva para valorar los cambios que se hayan hecho al
programa del primer al segundo ao de la gestin, y generar recomendaciones para refinarlos
hacia el tercer ao.

Posteriormente, para 2015 y 2016 se recomienda una Evaluacin de impacto, para identificar
los cambios en la situacin de la poblacin objetivo del programa que se reflejan a travs de los
indicadores de resultados, y que son propiamente atribuibles a su intervencin. Conforme a los
estndares en la materia, se debern utilizar metodologas rigurosas y fuentes de informacin
confiables con representatividad nacional; para ello, se propone la combinacin de enfoques
73


cuantitativos y cualitativos as como el levamiento de informacin en campo a travs de
diversos instrumentos, los cuales de describen a mayor detalle en la seccin subsecuente. La
evaluacin de impacto propuesta busca estimar en qu medida el programa est alcanzado sus
objetivos y qu condiciones y factores pueden afectan sus logros, de forma tal que el programa
pueda consolidar elementos clave de diseo y operacin, o en su caso cambiarlos, para mejorar
su efectividad. Por sus caractersticas y complejidad se recomienda que la evaluacin
comprenda dos aosentre 18 y 24 meses, para ser ms precisosa efecto de poder realizar
mediciones basales y de seguimiento.

En el ao 2017 se plantea hacer una Evaluacin de procesos. Se pretende realizar un anlisis
sistemtico de la operacin del programa mediante trabajo de campo y de gabinete, con la
finalidad de conocer cmo sus procesostraducidos en sus Componentes, productos o
entregablesconducen al logro de los objetivos y metas a nivel de Propsito. Asimismo, se
busca detectar los problemas operativos que enfrenta el programa y las buenas prcticas que
realiza, de manera que se puedan detectar reas de oportunidad y emitir las recomendaciones
correspondientes. A travs de una serie de preguntas especficas que descomponen la
operacin y la aplicacin de tcnicas especializadas para el mapeo y anlisis de procesos, se
pretende valorar el funcionamiento y la organizacin del programa, permitiendo as conocer los
factores que sustentan la implementacin y hacer ejercicios comparativos para la medicin y la
mejora de su gestin en el tiempo.

Tambin para el ao 2017, se propone realizar una Evaluacin estratgica de desempeo de los
programas sociales alimentarios, una vez que se han obtenido los resultados de las evaluaciones
de impacto de dichos programas. El objetivo es evaluar de forma comparativa e integral los
logros e impactos del PAL, PASL, PAR y PDHO en la carencia de acceso a la alimentacin,
identificando las ventajas y desventajas de cada uno de ellos as como los espacios de sinergia,
complementariedad y duplicidades, a efecto de mejorar la articulacin de dichas iniciativas. Esta
evaluacin permitir contar con elementos de anlisis sobre los alcances y contribucin de cada
uno de los programas de corte alimentario en el logro de los objetivos de la poltica social, de
alimentacin y nutricin.

Finalmente, para el ao 2018 se propone una Evaluacin de consistencia y resultados. Este
ejercicio plantea una concatenacin lgica de objetivos para analizar los aspectos ms
importantes del programa, incluyendo la lgica y congruencia de su diseo, los instrumentos de
planeacin y de orientacin hacia resultados, la estrategia de cobertura y los avances
presentados, los principales procesos establecidos en las ROP y en la normatividad aplicable, los
sistemas de informacin y sus mecanismos de rendicin de cuentas, los instrumentos para
medir el grado de satisfaccin de los beneficiarios y sus resultados, as como los logros respecto
a la atencin del problema para el que fue creado. El propsito de esta evaluacin es contar con
una visin integral y comprensiva de cmo ha sido, qu tan bien ha funcionado y cules han sido
los logros del programa al cierre de la administracin federal, a manera que la siguiente pueda
tener una slida base para tomar decisiones informadas.

74


A continuacin se presentan los detalles bsicos de cada una de las evaluaciones propuestas, en
el ao y secuencia en que corresponden.


3.3.1. 2013: Diagnstico y propuestas de atencin

Objetivos:
Fundamentar la permanencia y justificar las eventuales modificaciones sustantivas al
programa, a partir de la identificacin del problema que se busca resolver as como la
caracterizacin y anlisis detallado de los aspectos principales del mismo.
Plantear posibles alternativas de solucin y seleccionar las ms apropiada, a efecto de
mejorar el diseo, la operacin y los resultados del programa.

Componentes a evaluar:
Identificacin del problema
Caracterizacin del problema
Experiencias de atencin a la problemtica
Propuesta de diseo
Marco de actuacin de la propuesta
Proyecciones financieras y metas para la solucin propuesta
Previsiones para integracin y operacin de padrones
Situacin de la salud, educacin e ingresos de los hogares (y grupos al interior del hogar)
beneficiarios
Analizar la oferta institucional de programas federales y estatales para revisar
complementariedades o duplicidades de las acciones del programa

Justificacin e importancia:
Deficiencias e inconsistencias importantes en el los dos diagnsticos disponiblesuno
sobre el problema focal y otro sobre la situacin de la poblacin potencial
particularmente porque no se especifica de forma suficiente y adecuada la lgica de
causa-efecto, de forma tal que haga explcito el conjunto de relaciones causales,
asociaciones y supuestos que generan el dficit de capacidades bsicas y la transmisin
intergeneracional de la pobreza extrema.
Losdos diagnsticos actualmente disponibles no incluyen una propuesta de atencin,
que revise de experiencias nacionales e internacionales para atender un problema con
caractersticas similares al PDHO; que especifique, valore y seleccione las alternativas de
atencin; y que proponga elementos de rediseo as como proyecciones y previsiones
para mejorar sustancialmente el desempeo del programa.
Los diagnsticos no retoman y valoran de forma sistemtica los hallazgos y
recomendaciones del conjunto de las evaluaciones, en especial aquellos que analizan
crticamente su diseo y resultados, sealando deficiencias, limitaciones y reas de
oportunidad. Esto es fundamental, ya que las evaluaciones sugieren que los efectos e los
logros varan ampliamente dependiendo de los indicadores seleccionados, las
75


caractersticas de los beneficiarios, contexto de localidades, y el tamao de las brechas
iniciales, entre otros factores. As, en algunos segmentos e indicadores relevantes los
impactos llegan a ser ms pequeos o nulos.

Duracin:
3-4 meses

Insumos necesarios:
Metodologas robustas de planeacin estratgica y marco lgico.
Informacin de censos, conteos y encuestas nacionales.
Informacin estadstica interna de carcter operativo y financiero, actualizada y
confiable.
Estudios y evaluaciones nacionales e internacionales sobre programas similares.


3.3.2. 2014: Evaluacin de Diseo

Objetivo general:
Analizar el diseo del programa.
Identificar y analizar su vinculacin con la planeacin sectorial y nacional.
Analizar la consistencia entre su diseo y la normatividad aplicable.
Identificar posibles complementariedades y/o coincidencias con otros programas.

Componentes a evaluar:
Caractersticas del programa
Contribucin a los objetivos estratgicos;
Matriz de indicadores,
Poblacin potencial y objetivo;
Vinculacin con las ROP;
Coincidencias, complementariedades y duplicidades con otros programas; y
Acciones de vinculacin y coordinacin del programa con otras instancias que
complementan sus acciones.

Justificacin e importancia:
Valorar la integracin del marco conceptual y normativo construido con el Diagnstico,
en particular en cuanto a la redefinicin de la poblacin potencial y objetivo
Valorar el anlisis para la seleccin de la alternativa de intervencin, basado en la
revisin de experiencias internacionales y nacionales
Las ROP han cambiadoen los ltimos aos, agregando componentes que han
desconfigurado el diseo del PDHO
Los resultados de las evaluaciones de impacto sugieren un rediseo del PDHO.

76


Periodo de ejecucin:
3-4 meses


3.3.3. 2015-2016:Evaluacin de impacto

Objetivos:
Identificar con metodologas rigurosas la contribucin, atribuible a la ejecucin del
programa, al desarrollo de capacidades asociadas a la educacin, salud y nutricin;as
como otras variables asociadas al desarrollo de hogares que se encuentran por debajo
de la lnea de bienestar definida por el Coneval.

Componentes a evaluar:
Impactos en la educacin:
o Logro escolar
o Impactos a nivel medio superior
Impactos en salud:
o Uso y efecto de servicios
o Enfermedades
Impactos enalimentacin y nutricin:
o Puntaje Z
o Prevalencia de anemia
Condiciones de vida y oportunidades:
o Pobreza multidimensional extrema (bienestar y carencias sociales)
o Escolaridad intergeneracional
o Movilidad laboral intergeneracional
o Salarios y condiciones de trabajo (precariedad y formalidad)
o Migracin domstica e internacional
o Empoderamiento (individual, comunitario, gnero)
o Satisfaccin con la vida propia (ndice de felicidad)

Justificacin e importancia:
Un posible rediseo del PDHOrequiere una evaluacin de impacto.
Las encuestas ENCEL que levantan informacin sobre beneficiarios del PDHO en zonas
rurales han perdido poder estadstico y representatividad.
La encuesta ENCELURB que obtiene informacin a nivel de localidad urbana no tiene un
diseo que le permita obtener estimaciones relevantes en trminos estadsticos.

Periodo de ejecucin:
18 a 24 meses.

3.2.1 2017: Evaluacin estratgica de desempeo de los programas sociales alimentarios

77


Objetivos:
Evaluar de forma comparativa los logros e impactos del PAL, PASL, PAR y PDHO en la
carencia de acceso a la alimentacin, identificando los espacios de sinergia,
complementariedad y duplicidades, a efecto de mejorar la articulacin de estas
iniciativas.

Aspectos a evaluar:
La respuesta gubernamental para atender los principales problemas asociados a la
carencia por acceso de alimentos de la poblacin mexicana.
La poltica y programas federales con objetivos de alimentacin o nutricin en sus
beneficiarios.
El vnculo multifactorial entre la disponibilidad, acceso, consumo y aprovechamiento de
los alimentos en ambientes sanos.
Los impactos marginales de cada programa en la reduccin de la carencia de acceso a la
alimentacin, considerando variables de consumo, alimentacin y nutricin.

Justificacin tcnica y/o emprica:
Contar con elementos de anlisis sobre los alcances y contribucin de cada uno de los
programas de corte alimentario en el logro de los objetivos de la poltica social, de
alimentacin y nutricin.

Periodo de ejecucin:
6 a 12 meses


3.3.4. 2017: Evaluacin de procesos

Objetivo:
El objetivo consiste en realizar un anlisis sistemtico, mediante trabajo de campo y de
gabinete, sobre la operacin del programa con la finalidad de conocer cmo se conducen al
logro de la meta a nivel propsito, as como detectar los problemas operativos a los que se
enfrenta y las buenas prcticas que se realizan, de manera que se puedan emitir
recomendaciones que permitan mejorar su gestin.

Componentes a evaluar:
Operacin del programa.
Identificacin y clasificacin de los procesos.
Anlisis y medicin de atributos de los procesos.
Anlisis global de la operacin del programa.

Justificacin e importancia:
Evaluar si la operacin del programa favorece el logro de la metas a nivel de Propsito, ya que,
de existir un diseo adecuado, la correcta operacin del programa permitira el logro de las
78


metas de cada Componente establecido en la matriz de indicadores del programa y, por lo
tanto, el logro del Propsito.

Periodo de ejecucin:
6-9 meses


3.3.5. 2018: Evaluacin de consistencia y resultados

Su objetivo consiste en evaluar mediante trabajo de gabinete y apoyado en informacin
proporcionada por el programa, la fortaleza del programa en cuanto a su diseo, planeacin
estratgica, cobertura y focalizacin, operacin, percepcin de la poblacin objetivo y
resultados. Lo anterior, con el fin de que las recomendaciones de este anlisis puedan
retroalimentar el diseo y la gestin del programa, para incidir positivamente en su desempeo.

Componentes a evaluar:
Diseo
Planeacin Estratgica
Cobertura y Focalizacin
Operacin
Percepcin de la Poblacin Objetivo
Resultados

Justificacin e importancia:
Se considera pertinente analizar el programa de forma global y sistemtica, al menos una vez
durante cada administracin, a efecto de valorar la consistencia y los resultados del mismo.

Periodo de ejecucin:
6 meses

3.4. Anlisis de viabilidad y pertinencia para las evaluaciones de impacto

Dada la importancia de corroborar en los hechos los cambios que las intervenciones pblicas
son capaces de imprimir en la realidad que buscan revertir, este apartado incorpora una
propuesta ms detallada para someter al programa una evaluacin de impacto. Se describen la
metodologa y las fuentes de informacin necesarias para llevar a cabo este tipo de evaluacin,
conforme a los estndares y mejores prcticas en la materia, la naturaleza de las variables
especficas a medir as como de las caractersticas especficas del programa. La propuesta se
acompaa de un anlisis de pertinencia y de viabilidad tcnica y financiera.

3.4.1. Pertinencia de la evaluacin

79


En la dcada pasada, el PDHO tuvo diversas evaluaciones para medir los efectos e
impactosatribuibles para revertir el problema focal en su poblacin atendida, en particular
asociados a los componentes bsicos de educacin, salud y nutricin, as como a otros aspectos
relevantes como la movilidad laboral intergeneracional, el consumo y la inversin, y la
infraestructura y la economa local, entre otros.

Es pertinente realizar ms estudios de este tipo, por diversas razones. Por ejemplo, algunos
efectos e impactos deseados no son directamente observables, e incluso pueden darse slo en
el mediano plazo y largo plazo. Adems, las condiciones propias y de contexto de los
beneficiarios pueden cambiar a lo largo del tiempo; de hecho, se espera que pase por el
progreso secular del pas, sus regiones y las localidades, al margen del programa. Ello implica
que algunos de los cambios puedan incidir sobre la significancia y magnitud de los efectos del
programa sobre diversas variables de inters.

Otra razn para impulsar nuevas evaluaciones de impacto radica en los cambios en la referencia
para la poblacin objetivo, que tan slo en esta administracin pas de la pobreza extrema a la
pobreza alimentaria a la lnea de bienestar mnimo, de acuerdo con las diversas metodologas
aplicables para la medicin de la pobreza. Aunque el programa siempre ha tenido su propio
vector de referenciael sistema de puntajees evidente que las condiciones de elegibilidad
pueden tener efectos sobre la composicin de los grupos beneficiarios y entonces sobre los
eventuales efectos e impactos promedio a estimar.

Por otro lado, los cambios en el resumen narrativo y los indicadores de la matriz de indicadores
de resultados de 2007 a la fecha, pueden requerir estimaciones que no se hayan realizado
anteriormente. Es decir, es posible que ante cambios en los niveles de Fin y Propsito, las
evaluaciones de impacto previas no reflejen de forma precisa las nuevas variables de inters.

Adicionalmente, cabe mencionar que la propia expansin en la cobertura del programa, hasta
llegar a cubrir prcticamente en su totalidad a su poblacin objetivo, ha generado una serie de
complicaciones metodolgicas para realizar las evaluaciones, pues ha resultado cada vez ms
difcil encontrar buenos grupos de control o de comparacin. Si bien los evaluadores han
tratado de resolver este problema de diversas formas, varios de ellos han hecho patente las
limitaciones que puede acarrear para su estimaciones, y han recomendado que en adelante se
exploren nuevas alternativas tcnicas y metodolgicas para evaluar los efectos e impactos del
programa.

Finalmente, tanto en el PDHO como en otros casos, se ha dejado de lado la valoracin de los
resultados de programas en presencia de otras iniciativas federales y estatales que atienden
problemas similares. Esto representa un rea de oportunidad muy relevante, tanto en el sentido
de poder estimar los resultados de la actuacin conjunta de los programas, como en el de poder
comparar eventualmente el costo-efectividad y las ventajas y desventajas de cada uno de
elloso al menos de las principalesen ciertos nichos de poblacin y variables de inters.

80


3.4.2. Aspectos a evaluar

En principio, se recomienda que los aspectos a evaluar de forma prioritaria sean aquellos que
correspondan con los indicadores a nivel de Fin y Propsito de la matriz de indicadores, para
cada uno de los componentes del programa. De esta forma, se alinea de forma ms adecuada el
sistema de monitoreo con el sistema de evaluacin, dando consistencia y estabilidad a las
mediciones de desempeo. Por otro lado, se puede tener informacin sobre el impacto
diferenciado que cada componente aporta al Fin del programa y con ello tomar decisiones de
poltica pblica adecuadas o dirigidas a mejorar los resultados deseados.

En el caso del PDHO, se recomienda que las evaluaciones de efectos e impactos en los
principales tipos de beneficiarios (grupos etarios, indgenas, rural/urbano, etc.), con una
combinacin adecuada de mtodos y fuentes de informacin, consideren algunos de los
siguientes aspectos, que no pretenden ser exhaustivos sino inicialmente slo indicativos:

Educacin:
o Logro escolar:
Escolaridad promedio
Matriculacin (media superior)
Eficiencia terminal (secundaria y media superior)
Continuidad de trayectorias educativas (todos lo niveles)
Completitud de trayectorias educativas (todos lo niveles)
Inscripcin al nivel superior
Aprendizaje (pruebas estandarizadas)
Salud:
o Uso y efecto de servicios:
Servicios preventivos y de control (visitas)
ndice de fecundidad (control natal)
o Enfermedades:
Morbilidad (incidencia)
Convalecencia (duracin)
Alimentacin y nutricin:
o Puntaje Z (medidas antropomtricas)
o Prevalencia de anemia
Condiciones de vida y oportunidades:
o Pobreza multidimensional extrema (bienestar y carencias sociales)
o Escolaridad intergeneracional
o Movilidad laboral intergeneracional
o Salarios
o Migracin
81


o Empoderamiento (individual, comunitario, gnero)
o Satisfaccin con la vida propia (ndice de felicidad)
3


3.4.3. Metodologas y fuentes de informacin

Para evaluar un programa con el alcance de Oportunidades, es necesario combinar mtodos,
tcnicas y fuentes de informacin diversas. Independientemente de las aproximaciones
particulares que se tomenesto es, cuantitativas y cualitativas, encuestas y entrevistas,
levantamientos propios y datos censales, etc. todas las evaluaciones debern partir de un
diseo de investigacin robusto y adecuado para las variables de inters y los grupos de
aplicacin, que preferentemente hayan sido probadas en estudios similares.

La estrategia metodolgica propuesta para la evaluacin de impacto considera dos elementos
clave: la mezcla de mtodos cualitativos y cuantitativos y, un enfoque cuasi-experimental a lo
largo del estudio, y la utilizacin de estudios de caso. Las caractersticas y relevancia de estos
elementos de diseo se desarrollan a continuacin.

Cuantitativo y cualitativo

Debido a la cantidad, diversidad y complejidad de los aspectos a estudiar del programa, es
necesario establecer una estrategia metodolgica compuesta, con procedimientos de acopio de
informacin y tcnicas analticas tanto cuantitativas como cualitativas adecuadas para cada uno
de estos aspectos. El propsito es asegurar que se obtengan y examinen apropiadamente
todos los datos requeridos, para lograr resultados vlidos, generar conclusiones slidas y
proponer recomendaciones tiles. As, el diseo se debe ubicar dentro las evaluaciones de



3
La felicidad es un concepto complejo que ha sido abordado desde muchas perspectivas. La perspectiva cientfica
se caracteriza por ofrecer una definicin operacional de la felicidad que, aunque no comprende toda la complejidad
que otras perspectivas consideran sobre este concepto, s permite su medicin. En palabras simples, la felicidad es
definida como el grado con que una persona aprecia la totalidad de su vida presente de forma positiva y
experimenta afectos de tipo placentero. Esta definicin tiene implicaciones relevantes para la medicin de la
felicidad. En los ltimos aos se han realizado esfuerzos para cuantificar la felicidad como un indicador de
valoracin de la satisfaccin con la vida y percepcin de acceso a oportunidades de desarrollo personal; de hecho,
existen intentos seriospara proporcionar informacin vlida sobre la percepcin de la calidad de vidaGallup World
Poll (GWP), the World, Values Survey (WVS), and the European Social Survey (ESS)que pueden ser usados para
guiar la formulacin de polticas pblicas. En ese sentido, el World Hapiness Report 2010, concluye que el uso
regular a gran escala y la recopilacin de datos sobre la felicidad. mejora la formulacin de polticas. Por tal motivo,
se recomienda que se valore la pertinencia de incorporar un ndice de satisfaccin con la vida propia, que incorpore
elementos cualitativos sobre la percepcin de los beneficiarios y se asocie con el concepto de felicidad como
variable relevante de medicin de los efectos del programa. Cabe mencionar que, en funcin de la justificacin, los
objetivos y el alcance de Oportunidades, as como de las condiciones de la poblacin beneficiaria y la capacidad
transformadora que puede tener el programa sobre estas, es de esperarse que existan efectos significativos y
relevantes, cuya medicin contribuira a arrojar nueva luz sobre una intervencin con las caractersticas de
Oportunidades.Vase: Helliwell, Layard and Sachs. 2010. World Hapiness Report, Columbia University, 2010.
82


mtodos mixtos (mixed-methods evaluation), vertiente que consideramos la ms rica y
adecuada para evaluar al PDHO.
4
Este tipo de investigacin evaluativa permite integrar no slo
aquellos datos y observaciones cuantitativas comnmente utilizadas en la evaluacin de
programas y proyectos sociales para medir fenmenos relevantes objetivos y regulares,
estimando asimismo su variabilidad y grado de generalizacin, sino tambin para otros datos y
observaciones cualitativas que reflejan percepciones subjetivas y formas de interaccin de los
actores, que permiten entender mejor y describir en profundidad dichos fenmenos.
5


En la evaluacin del PDHO, los anlisis a partir de datos y tcnicas tanto cualitativas como
cuantitativas se deben disear con rigor lgico y metodolgico buscando maximizar su validez
para hacer inferencias descriptivas y causales en torno de los fenmenos, variables y
condiciones que se busca apreciar y entender. La vertiente cuantitativa resulta ms adecuada
para observaciones relativamente abundantes o con nmeros grandes, que normalmente se
derivan de censos o encuestas. Por otro lado, la vertiente cualitativa se utiliza para
observaciones relativamente escasas o con nmeros pequeos, con datos obtenidos a partir
de grupos de enfoque, entrevistas y observacin en sitio, entre otras tcnicas. Estas vertientes
se encuentran en los extremos opuestos del compromisoen el sentido de trade-offque
cualquier investigacin con tiempo y recursos limitados se ve obligada a qu hacer en cuanto a
amplitud y profundidad de las observaciones.

Se recomienda que la vertiente cuantitativa se oriente principalmente hacia la medicin y
valoracin de las intervenciones y sus efectos, mientras que la cualitativa se utilice para
describir los contextos en que dichas intervenciones y efectos ocurren, as como para entender
los significados que los diversos actores involucrados les otorgan. Sin pretender simplificar
excesivamente sus diferencias, es evidente que la evaluacin necesita contar con ambas
perspectivas para cumplir con su fin de ser til para la toma de decisiones y la mejora del
programa.

Se pretende que las metodologas cuantitativas y cualitativas no slo se complementen
funcionalmente hablandoen el sentido de que lo que no se hiciera o lograra con unas se
consiguiera con las otrassino que adems se integraranen el sentido de que lo que se logre
o consiga con unas sirva para informar, extender y refinar lo obtenido a travs de las otras.
Dicha complementacin e integracin se debe hacer de manera formal y explcita tanto en los
estudios de caso como en los modelos estadsticos.




4
Para un mayor desarrollo sobre las caractersticas de las evaluaciones de mtodos mixtos, vase: Frechtling and
Sharp (1997). En el caso mexicano, entre los ejemplos ms relevantes de este acercamiento metodolgico son las
evaluaciones recientes del Programa de Desarrollo Humano Oportunidades, que combinan diversas metodologas y
tcnicas tanto cuantitativas como cualitativas.
5
Para un mayor desarrollo de sobre las caractersticas bsicas, utilizacin y complementacin de las metodologas
cuantitativas y cualitativas, vase: Cortes (2002); y King, Keohane & Verba (1994, pp. 3-7).
83


Enfoque cuasi-experimental

Con el enfoque cuasi-experimental no slo se estiman y aprecian los valores de las variables de
inters asociados a la intervencin del programa, sino tambin de la comparacin con los
valores que se hubieran dado en ausencia de la mismaesto es, el escenario contrafactual. La
intencin es identificar y estimar mejor los cambios y las diferencias que se pueden atribuir
propiamente a la intervencin del programa, y no confundirlos con aquellos que se pueden
derivar de otros factores internos o externos a la problemticas social, y que son ajenos al
programa.

Si bien los enfoques cuasi-experimentales y los contrafactuales ms en general son
comnmente utilizados para estimaciones de impacto con base en tcnicas cuantitativas y bases
de datos grandes, en trminos metodolgicos son igualmente aplicables a los anlisis con base
en tcnicas cualitativas, que normalmente emplean datos obtenidos a partir de grupos de
enfoque, entrevistas y observacin en sitio. Esto es porque la lgica inferencial del diseo es la
que proporciona su validez interna, y no el uso de una tcnica de recoleccin y tratamiento de
datos en particular; as, dicha lgica simplemente debe ser explicada y formalizada de manera
clara y precisa.

En cuanto al detalle de la vertiente cuantitativa, y en razn de que la amplia cobertura del
PDHOlimita la construccin de grupos de control o contrafactuales para una estimacin de
dobles diferencias o diferencias simples (que se ubican entre los mtodos ms utilizados para la
evaluacin de impacto), se recomienda el uso del mtodo de regresin discontinua. Este
mtodo es tcnicamente robusto para programas con un ndice continuo de elegibilidad (una
medida con la cual se puede clasificar a la poblacin de inters) y con una lnea de puntaje
definida para determinar el ingreso al programa, ya que aprovecha la discontinuidad que
produce el ndice de elegibilidad para estimar el contrafactual y permite estimar el impacto sin
excluir ninguna poblacin elegible. Para el caso del PDHO se puede hacer la medicin en el
borde superiorcriterio definido en las ROP como la lnea de bienestar.

La propuesta sugerida en la estimacin se basa en el uso de diferentes radios de cercana sobre
criterio de elegibilidad para observar diferentes niveles de potencia estadstica yde cercana
entre los contrafactuales. Sobre la forma funcional, se propone as mismo que se prueben
diversas especificaciones (lineales y no lineales).

Una alternativa distinta para medir el impacto de los beneficiarios del PDHOes a travs de
variables instrumentales. Este mtodo es importante para tratar el sesgo derivado de
caractersticas no observables, incluso cuando ya se hubiera controlado por todas las
caractersticas observables entre beneficiarios y no beneficiarios del proceso de seleccin. En
este sentido, es probable que los atributos no observables lleven a que los grupos difieran antes
de que se aplique el tratamiento, que llevara a una estimacin sesgada. Las ventajas de utilizar
variables instrumentales son evidentes, si se cuenta con una buena variable instrumental, lo
cual es uno de los mayores retos en trminos tcnicos.
84



La informacin que se requiere para realizar este tipo de estimaciones se puede obtener de
encuestas con representatividad nacional para la poblacin objetivo; as como de
levantamientos especficos para cada evaluacin, que distingan entre caractersticas relevantes
por tipo de individuo, como etnicidad, gnero, exposicin al programa, etc.

En lo que toca a los estudios de caso, que implican sustancial trabajo cualitativo, estos pueden
disearse con un enfoque comparativoincluyendo casos de tratamiento y casos de
comparacinprocurando que la lgica y procedimientos de seleccin de los casos replique en
lo posible lo que se hara en la vertiente cuantitativa de la evaluacin. Por otro lado, tambin se
alienta seguir utilizando mtodos cualitativos en la evaluacin, especialmente para identificar
los mecanismos de las relaciones causales as como los factores ambientales relevantes que no
pueden ser identificados o especificados a travs de los modelos estadsticos. Entre otros
aspectos a examinar, se pueden considerar la influencia de las motivaciones y expectativas,
aspectos culturales y la inclusin social, entre otros, que pueden incidir sobre los resultados del
programa, as como servir para identificar otros no esperados.

Estudios de caso

Los estudios de caso aplican a efecto de obtener una visin ms comprensiva y detallada del
impacto del programa, as como de las condiciones que afectan su desempeo. As se sugiere
que la unidad de anlisis bsica sean los hogares, buscando captar entonces los efectos e
impactosen materia de educacin, salud y nutricin. Los proyectos a estudiar se pueden
seleccionar considerando una variabilidad de condiciones relevantes, tales como el tipo de
grupos beneficiados (poblacin indgena y no indgena, poblacin rural y urbana, hombres y
mujeres, etc.), tipo de localidad, aspectos regionales, el tiempo de exposicin al PDHO, entre
otras.

Los estudios de caso buscan combinar e integrar diversos mtodos y tcnicas tanto cualitativas
como cuantitativas, a efecto de lograr una apreciacin ms informada y slida de los actores,
procesos y condiciones a analizar. Entre las herramientas empleadas se puede incluir el anlisis
de registros administrativos y de inversin, encuestas propias, grupos de enfoque, entrevistas
semi-estructuradas y profundas, as como la observacin en sitio. En todos los estudios se
deben utilizar las mismas herramientas para recoleccin y anlisis de datos, a efecto de
asegurar la mayor comparabilidad y aprovechamiento de la informacin posible, esto con
algunas variaciones segn lo ameriten las condiciones particulares y de acuerdo a la
metodologa sugerida. El enfoque de los estudios puede ser etnogrfico, explicativo,
comparativo y contrafactual, para poder hacer inferencias descriptivas y causales relacionadas
con el impacto del programa.

Etapas de una evaluacin de impacto

85


Las mejores prcticas en materia de evaluaciones de impacto (Vase Baker 2000) indican que
los pasos para realizar este tipo de proyectos se pueden agrupar en dos rubros: la preparacin
de la evaluacin y su implementacin. A continuacin se presentan los aspectos de cada rubro:

Preparacin de la evaluacin:
1. Tomar la decisin sobre la realizacin del evaluacin
2. Definir los objetivos de la evaluacin
3. Examinar la disponibilidad de datos
4. Disear la evaluacin
5. Formar el equipo de evaluacin
6. Levantar informacin de campo (en caso de ser necesario)
a. Disear y seleccionar la muestra
b. Elaborar instrumentos para recopilar datos
c. Capacitar al personal de trabajo en campo
d. Elaborar pruebas piloto
e. Recopilar la informacin
f. Administrar datos

Implementacin de la evaluacin:
7. Recopilar datos (ex-post) a la implementacin con una periodicidad alineada a las
variables de anlisis
8. Analizar los datos
9. Redactar el reporte de resultados y analizarlos con las autoridades y otros
interesados
10. Incorporar los resultados en el diseo del evaluacin


3.4.4. Viabilidad tcnica y financiera

La viabilidad tcnica radica en la capacidad de la institucin para generar informacin y
procesarla adecuadamente con propsitos evaluativos. En este sentido, la experiencia en
evaluacin de programas sociales en Mxico y en otros pases, hacen patente que se puede
alcanzar este objetivo, desde el punto de vista estrictamente tcnico. Existen en el pas una
variedad de instituciones educativas y de investigacin as como empresas consultoras
especializadas que pueden llevar a cabo este tipo de trabajos. Adems, hay ejemplos de buenas
prcticas para el levantamiento y procesamiento de informacin cuantitativa y cualitativa para
la evaluacin de programas, buena parte de ellas en la propia Sedesol. Igualmente, se han
aplicado exitosamente modelos de evaluacin robusta e indicadores apropiados para medir
estas mismas variables de inters u otras similares.

Es importante insistir que cualquier evaluacin de impacto se beneficia si con anterioridad se
verifican, actualizan, complementan y sistematizan las bases de datos disponibles. En el caso del
PDHO, se cuenta con dos fuentes de informacin principales: la ENCEL, a nivel rural y la
86


ENCELURB, a nivel urbano. Si bien ambas encuestas presentan debilidades en su diseo, se
considera que todava es posible utilizarlas para hacer estimaciones de impacto con fines
exploratorios.Esto no significa que el PDHO no deba considerar la pertinencia de disear otros
levantamientos de informacin para nuevas evaluaciones de impacto, a partir de las
metodologas propuestaslo cual se considera de alta relevancia, ya que la calidad en las
mediciones de seguimiento para aos posteriores,a partir de la ENCEL y la ENCELURB puede
verse disminuida en trminos de calidad estadstica.

Sobre la viabilidad financiera de la evaluacin de impacto propuesta, cabe mencionar que el
monto de recursos pblicos que se destina anualmente al programa y lo que ya se ha gastado
en los ltimos aos, no solamente justifica sino que adems permite realizar una evaluacin
rigurosa para medir sus resultados.

Especialmente en el caso del PDHO como en el de la mayora de los iniciativas sociales
federales, el costo relativo de las evaluaciones de impactoaun de aquellas que pueden
implicar levantamientos de informacin razonablemente ampliossuele ser muy pequeo en
comparacin con el presupuesto global de los programas. Ms an, para el programa el costo
de una evaluacin como la que se propone seguramente es muy bajo en comparacin con el
costo derivado de las deficiencias de diseo, cobertura, focalizacin y operacin que suelen
tener las iniciativas sociales en Mxico y en otros pases, respecto de las cuales no hay razn
lgica para que el PDHO est exento. Finalmente, tambin existe un costo intrnseco en no
conocer los resultadosms recientes del PDHO, pues los tomadores de decisiones no tienen una
forma verificable, objetiva y transparente de saber si es conveniente incrementar el monto de
los apoyos, o invertir ms en alguna vertiente y recortar otra, entre otras decisiones con
implicaciones financieras importantes, cuyos eventuales costos directos y de oportunidad
seguramente exceden por mucho los de realizar una evaluacin de impacto rigurosa.

De tal forma, la evaluacin de impacto propuesta se puede considerar ex ante como tcnica y
financieramente viable, y resulta por dems conveniente. En todo caso lo correcto es buscar
diseos apropiados y asegurar los recursos suficientes para el ejercicio cumpla cabalmente su
propsito.


3.5. Principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones
derivadas de las evaluaciones 2007-2011 y de la metaevaluacin.

En este apartado se incorpora un resumen de las fortalezas, oportunidades, debilidades y
amenazas (FODA) del programa identificadas en cada evaluacin analizada, acompaadas de
sus recomendaciones y propuestas asociadas. Cabe sealar que slo se presentan aquellos
elementos que, a juicio del metaevaluador, son relevantes, en trminos de su importancia e
implicaciones para el desempeo del programa, as como vigentes, en el sentido que la
situacin que les dio origen lo sigue siendo en alguna medida. El FODA completo de forma
esquemtica se presenta en el Anexo 4.
87



88



Tema de
evaluacin

Aspecto Identificado Referencia Recomendacin
Referencia de la recomendacin
FORTALEZAS
Diseo
Consistencia y correspondencia entre el problema
focal y los objetivos del programa (Fin y
Propsito)
ECR-07/08;
ECR-11/12

Diseo
Las lgica vertical y horizontal de laMIRson claras
y vlidas.
ECR-07/08;
ECR-11-12

Diseo
Muestra la alineacin y contribuya a los objetivos
del Plan Nacional de Desarrollo y los planes
sectoriales de Desarrollo Social, Salud y
Educacin.
ECR-10/11
Planeacin
Estratgica
Programa con ms y mejores evaluaciones.
ECR-07/08
Cobertura y
Focalizacin
Padrn de beneficiarios sistematizado y
actualizado
ECR-07/08;
ECR-11/12

Cobertura y
Focalizacin
Amplia cobertura de la poblacin objetivo
ECR-07/08;
ECR-11/12

Operacin
Obtiene informacin relevante de los
beneficiarios a travs de diversas encuestas.
ECR-10/11
Operacin
Operacin y seguimiento de aspectos crticos
estandarizado, sistematizado, transparente y con
mecanismos de verificacin. (seleccin de
beneficiarios y entrega de apoyo)
ECR-07/08;
ECR-11/12

Percepcin
Cuenta con instrumentos adecuados para medir
el grado de satisfaccin de los beneficiarios
ECR-07/08;
ECR-11/12

Percepcin
Percepcin de beneficiarios favorable sobre el
programa.
ECR-07/08
Resultados- Documenta resultados para laMIRa nivel de Fin y ECR-10/11
89


General Propsito.
Resultados
General
Reporta impactos positivos en diversos aspectos
asociados a la educacin, salud y alimentacin.
ECR-07/08;
ECR-11/12

Resultados
General
Impactos moderados pero significativos sobre la
movilidad laboral intergeneracional, a travs del
efecto en aos de escolaridad adicionales.
Mayores efectos significativos encontrados para
mujeres, jvenes no migrantes y migrantes a otro
lugar del pas.
MS-2000-
PDHO

Resultados
General
Contribucin para cerrar la brecha de los
indgenas y las mujeres en la educacin.
AFP-2008

Resultados
General
Impacto positivo en aumento en el consumo total
y en la disminucin de las brechas entre los
beneficiarios menos pobres y ms pobres.
C-2008-
PDHO

Resultados
General
Los beneficiarios han realizado mejoras en el
hogar y se percibe una tendencia positiva en la
compra de enseres y activos del hogar (limpieza y
cocina)
EOASE-2010

Resultados-
General
El trabajo infantil y juvenil se ha reducido EOASE-2010

Resultados-
General
Un mayor porcentaje de jvenes beneficiarios
logra insertarse al mercado laboral con mayor
nivel de educacin.
EOASE-2010

Resultados
General
Las mujeres beneficiarias participaron ms
activamente en la toma de decisiones del hogar
EOASE-2010

Resultados
Educacin
Impactos positivos en la escolaridad y el
rendimiento en matemticas para jvenes
beneficiarios.
EPD-2008-
pp.223

Resultados
Educacin
Las becas disminuyen el ausentismo escolar AFP-2008

90


Resultados
Educacin
Efecto positivo en asistencia, aprobacin y
permanencia escolar en zonas urbanas.
ROEZU-2010

Resultados
Educacin
Los resultados de la evaluacin del programa
Opportunity NYC-Family Rewards, sugieren que
una estrategia basada en transferencias
condicionadas para el nivel educativo medio
superior es pertinente para Mxico, pero puede
mejorarse con otras intervenciones no basadas en
incentivoscomo la ampliacin de espacios
educativos y la accesibilidad en zonas rurales.
Opportunity
NYFR-2010

Resultados -
Salud
Las mujeres beneficiarias utilizan ms los servicios
prenatales, y a mayor tiempo de exposicin son
ms propensas a ser atendidas por un mdico en
el parto.
EUSESB-2008

Resultados -
Salud
Los nios beneficiarios presentan menor
morbilidad en tos, diarrea y diarrea
potencialmente peligrosa.
EUSESB-
2008-pp.224

Resultados
Salud
Impacto favorable en asistencia a consulta
preventiva y talleres de auto cuidado

APSEAHIR-
2008

Resultados
Salud
Incrementado en la demanda, el acceso de los
servicios de salud y las practicas de saneamiento.

APSEAHIR-
2008
El Programa puede tener un impacto ms integral
en la salud comunitaria, haciendo un esfuerzo
intersectorial mejor coordinado para no slo
promover prcticas de saneamiento, sino para
fomentar acciones que garanticen el acceso pleno
a los servicios bsicos, como son agua, drenaje,
control y manejo de la basura.
Resultados
Salud
Impacto positivo en la deteccin temprana de
factores de riesgo, diagnostico y atencin de la
poblacin infantil.
APSEAHIR-
2008
Se recomienda a las autoridades del sector salud
y Oportunidades garantizar los insumos y
medicamentos para el tratamiento de EDA, IR A y
deshidratacin en los centros rurales de salud y
91


casas de salud, con el propsito de brindar una
atencin oportuna a la poblacin infantil que ha
crecido bajo el umbral del Programa y considerar
que el impacto de los mensajes preventivos de
dichos padecimientos depende de la cobertura y
la garanta del acceso a medicamentos
Resultados -
Salud
Se observa un incremento importante en la
afiliacin al Seguro Popular en los hogares
beneficiarios en zonas urbanas.
EIZU SALUD-
2010
Es importante reforzar la afiliacin al Seguro
Popular, como un mecanismo para incrementar el
valor de los servicios que reciben las familias
beneficiarias. Este incremento en el valor de los
servicios se espera que genere un incentivo
mayor a permanecer en el Programa.
Resultados -
Salud
Mayor realizacin de pruebas de deteccin de
diabetes e hipertensin
EIZU SALUD-
2010

Resultados
Nutricin
Tendencia creciente en el consumo alimentario
total (especialmente en productos de origen
animal) y en el de bienes de salud y educacin de
los beneficiarios.
EOASE-2010



Resultados
Nutricin
Impacto en el crecimiento inicial infantil en
anlisis de corto plazo, y en la reduccin de
problemas de conducta en anlisis de mediano y
largo plazo.
ENN-2008-
pp.51

Resultados
Nutricin
Impacto positivo en disminucin de riesgo de talla
baja y en puntaje Z, asociado a los niveles de
transferencias
EIZU
NUTRICIN-
2010

DEBILIDADES
Diseo Diagnstico desactualizado e incompleto ECR-07/08
Diseo
La redaccin del problema no es suficientemente
clara.
ECR/10-11
Diseo
No se documenta la vinculacin del Propsito con
las Metas del Milenio.
ECR/10-11
92


Planeacin
Estratgica
Sin planes estratgicos de mediano y largo plazo
ECR-07/08
Planeacin
Estratgica
El plan de trabajo anual no incluye acciones para
mejorar su desempeo, ni metas para los
indicadores de la MIR.
ECR/10-11

Planeacin
Estratgica
Utiliza escasamente los resultados y
recomendaciones de las evaluaciones para
mejorar su desempeo
ECR-07/08

Cobertura y
Focalizacin
Avance en cobertura insuficiente para lograr el
Propsito y el Fin, porque se excluye a las familias
pobres extremas de localidades que no tienen
acceso a unidades de salud y centros educativos
simultneamente, y que tienden a ser las ms
necesitadas
ECR-07/08

Operacin
El mecanismo para la recepcin de solicitudes no
se encuentra sistematizado.
ECR-10/11
Resultados
General
Impactos varan ampliamente dependiendo de los
indicadores seleccionados, las caractersticas de
los beneficiarios, contexto de localidades y el
tamao de las brechas.
ECR-07/08

Resultados
General
Escasa magnitud o ausencia de algunos impactos
cuestiona la pertinencia de apoyos especficos y
sugiere necesidad de otros
ECR-07/08

Resultados -
General
No hay efectos importantes del tiempo de
permanencia de los beneficiarios en el Programa
sobre la movilidad laboral intergeneracional.
MS-2008
Resultados
General
Los jvenes no migrantes tienden a permanecer
en ocupaciones de bajas habilidades.
MS-2008
Considerar la posibilidad de coordinar el
Programa con mejora de actividades econmicas
en la localidad de forma que la demanda de
trabajo derive en ocupaciones ms calificadas,
esto con la Secretara de Economa y la Secretara
93


del Trabajo
Resultados-
General
No se encuentran efectos significativos sobre la
movilidad laboral de los hombres, de los
migrantes dentro de la misma localidad y los
migrantes hacia Estados Unidos.
MS-2008
Resultados
General
No se han mostrado efectos importantes en la
inversin en activos productivos, actividades
empresariales y ahorro
C-2008-
PDHO

Resultados
General
Las condiciones laborales en las zonas donde
opera el PDHO son mnimas. El salario real
aument $100 de 2002 a 2009 y las prestaciones
se redujeron 13%.
EOASE-2010
Impulsar un acercamiento entre las dependencias
encargadas de la poltica laboral y la poltica de
combate a la pobreza. Los programas de apoyo
laboral podran ofrecer informacin sobre los
apoyos al empleo que se manejan en las zonas
urbanas y as complementar y reforzar el impacto
de Oportunidades.
Resultados
Educacin No registra impactos positivos en las pruebas de
lectura.
EPD-2008
Aplicar un esfuerzo acadmico y de evaluacin a
gran escala utilizando las pruebas de ENLACE para
calcular el impacto de Oportunidades respecto al
rendimiento.

Resultados
Nutricin
Sin impactos en el rendimiento cognitivo y en la
capacidad escolar.
ENN-2008

Resultados
Nutricin
No existe diferencia entre la prevalencia de
anemia en nios y nias beneficiarios de zonas
urbanas y la prevalencia en la poblacin general
urbana ni respecto a la de la poblacin general
urbana del primer quintil socioeconmico.
EIZU
NUTRICIN-
2010

Resultados
Educacin
A pesar de que hubo impactos importantes en la
inscripcin y en la reduccin del abandono
escolar, se encuentran efectos menores en
grados aprobados.
ROEZU-2010
En general, los resultados indican efectos
positivos en los indicadores de educacin, que
incluso podra estar sub-estimados. No obstante,
los efectos encontrados son menores a los
94


reportados en otros estudios, y en particular a los
identificados para zonas rurales, lo que sugiere
que aspectos como el mayor costo de
oportunidad podra estar disminuyendo la
progresin escolar. Esto apoyara la idea de
buscar modificaciones en el esquema de becas
que genere mayores incentivos a los becarios en
niveles de media bsica y media superior.

Considerando los problemas metodolgicos se
limita la formulacin de implicaciones, por lo cual
se sugieren otros anlisis con bases alternativas,
ampliacin de estudio considerando jvenes en
zonas de control, e incluso abordajes cualitativos.
Resultados
Educacin
El impacto en grados aprobados en zonas urbanas
es alrededor de la mitad de un grado aprobado,
cifra relativamente menor a la reportada por
diversos estudios en zonas rurales despus de 7
aos de operacin (entre 0.5 y 0.9 grados
escolares).
ROEZU-2010
Es importante profundizar en el anlisis de los
resultados en rendimiento, y no
nicamente asistencia. Para ello, podra llevarse a
cabo un estudio acerca del impacto de
Oportunidades sobre las pruebas estandarizadas
en zonas urbanas, que potencialmente podra
aprovechar la informacin de la prueba ENLACE.
Asimismo, analizar la conveniencia de un anlisis
de largo plazo para esta poblacin.
Resultados -
Salud
Alta proporcin de mujeres no tuvo informacin
sobre signos de alarma en la atencin prenatal.
EUSESB-2008
Recomendaciones al sector salud
Mejorar la informacin otorgada a las mujeres
embarazadas sobre los posibles signos de alarma
durante el embarazo. Esto se podra efectuar de
manera autodidctica (videos, etc.), con talleres,
o por parte de los proveedores de salud mejor
capacitados. Habr que innovar y evaluar
diferentes abordajes.
95


Resultados -
Salud
El PDHO no ha mejorado la capacidad de
resolucin de servicios en los Centros de Salud.
APSEAHIR-
2008

Resultados -
Salud
Las condiciones de los centros de salud y la baja
credibilidad en los mismos, limita el desarrollo de
capacidades de prevencin.
APSEAHIR-
2008
Se recomienda a las autoridades del sector salud
garantizar los medicamentos, personal mdico e
insumos necesarios para brindar atencin
oportuna. Se sugiere a las autoridades del
Programa, incorporar promotores de salud con
autoridad y prestigio local, que coadyuven en la
construccin de relaciones de ms confianza
entre los usuarios de los servicios y los centros de
salud, considerando que generalmente, conocen
mejor las necesidades y la epidemiologa local, y
son nativos y residentes de las comunidades
Resultados -
Salud
La deteccin de cncer no va acompaada de
consejera y la respuesta del sector salud
desincentiva las prcticas de deteccin
APSEAHIR-
2008
Se recomienda a las autoridades del sector salud
y Oportunidades que garanticen la comunicacin
de resultados (positivos o negativos) de las
pruebas de Papanicolaou. Se sugiere reforzar las
labores de consejera individuales para mujeres
que padecen cncer de mama y cervicouterino.
Resultados -
Salud
La asistencia a servicios preventivos es menor
para los beneficiarios y se presenta incluso en las
actividades de control del nio sano, lo que
refuerza la nocin del agotamiento y sugiere un
reto en el cumplimiento de corresponsabilidades.
EIZU SALUD-
2010
En particular, es necesario reforzar las acciones
en salud materna e infantil,
En las que los resultados sugieren que los
cambios en el tiempo en los hogares alguna vez
incorporados son negativos con relacin a los casi
elegibles. Este
resultado podra estar relacionado con el tiempo
que requiere el cumplimiento
de las corresponsabilidades.

Se sugiere analizar las caractersticas de los
hogares que se asocian con un mayor o menor
96


nivel de asistencia a los servicios preventivos,
para estudiar si hay factores, ya sea de la oferta o
de los hogares, que podran considerarse para
incentivar la asistencia.

Se sugiere aprovechar los eventos o reuniones del
programa con los beneficiarios para reforzar los
mensajes sobre comportamientos saludables, con
la entrega de folletos que, dado el perfil de la
poblacin urbana, podran ser un mecanismo
efectivo para hacer llegar mensajes sencillos
sobre actividades de prevencin.

Se sugiere actualizar el diagnstico sobre el perfil
con relacin a salud de la poblacin que participa
en el programa, para identificar y focalizar de
forma ms efectiva las medidas de prevencin, y
los mensajes con mayor probabilidad de tener
buena receptividad al respecto en la poblacin
objetivo.
Resultados -
Salud
Posible efecto negativo en la atencin del parto
por mdicos, y en la atencin prenatal por
personal capacitado en el anlisis por
pareamiento; en el anlisis de discontinuidad, el
resultado muestra la misma tendencia, pero no es
significativo.
EIZU SALUD-
2010
En particular, es necesario reforzar las acciones
en salud materna e infantil,en las que los
resultados sugieren que los cambios en el tiempo
en los hogares alguna vez incorporados son
negativos con relacin a los casi elegibles. Este
resultado podra estar relacionado con el tiempo
que requiere el cumplimiento
de las corresponsabilidades.
Resultados
Nutricin
Impactos limitados en la estatura por edad y en la
prevalencia de la desnutricincrnica y anemia
(ENCEL).
ENN-2008

97


Resultados
Nutricin
Muy bajo desempeo en pruebas cognitivas y
lingsticas comparadas con normas
internacionales.
ENN-2008
AMENAZAS
Diseo
Los altos niveles de consumo de lea a nivel
nacional (de hasta 83.5% en los hogares rurales)
representan graves riesgos para la salud.

En zonas rurales slo 59.4% de los hogares
beneficiarios de Oportunidades utilizan gas para
cocinar o calentar en sus hogares.
EICE-2008
Ampliar el contenido de talleres que promuevan
el uso de fuentes de energa eficientes y limpias.
Operacin
Ausencia de mecanismos formales para la
interaccin entre personal de Oportunidades y el
Sector Salud a nivel local impiden el flujo de
informacin sobre la situacin de los beneficiarios
EED-2009
Operacin
Las barreras culturales y de lenguaje provocan
que las familias indgenas estn en condiciones de
desventaja y sean ms propicias a la exclusin
EED-2009
Operacin
Los costos de transporte para acudir a los centros
de educacin
APF-2010
Operacin

Pocas secundarias y preparatorias indgenas
cuentan con servicio de albergue, y falta apoyo
estatal o federal
APF-2010
Operacin

Mtodos poco adecuados o inexistentes en
educacin indgena bilinge
APF-2010-
PDHO

Operacin

La calidad de la enseanza (rural e indgena)
reproduce el rezago en educacin superior y en el
desempeo laboral
APF-2010
Resultados
Educacin
Bajo rendimiento escolar de la poblacin
beneficiaria.
EPD-2008
Analizar las formas en que Oportunidades puede
abordar el aspecto del bajo rendimiento de sus
beneficiarios y solucionar problemas asociados
98


con la baja calidad de las escuelas.
Resultados
Educacin

La mayora de los jvenes reciben una educacin
de baja calidad, lo que limita su movilidad laboral.
MS-2008
Fomentar programas de mejora en calidad
educativa en escuelas de acuerdo a la densidad
de becarios en conjunto con SEP y CONAFE
Resultados
Educacin
Los beneficiarios acuden a escuelas de baja
calidad.
EPD-2008
Resultados-
Salud

Alta proporcin de mujeres en atencin prenatal
van con un segundo proveedor de salud (36%)
indgenas es 61%.
EUSESB-2008
Averiguar lo motivos por los que las mujeres van
a un segundo proveedor de salud para la atencin
prenatal.
Resultados
Salud

Prevalencia relativamente alta de diabetes (5.6%)
e hipertensin (10.2%) en adultos, y alta
proporcin de posibles pacientes no
diagnosticados (20% y 30%)
EUSESB-2008
Establecer como prioridad la deteccin y control
de este tipo de enfermedades en la poblacin
beneficiaria, con el reforzamiento de los talleres
de auto cuidado. Verificar sus procedimientos de
deteccin oportuna ya que aparentemente a
pesar de una buena cobertura aun el su
diagnstico es altamente prevalente.
Capacitacin a personal encargado de los
exmenes de deteccin.
Resultados
Salud

Un alto porcentaje de participantes sin
diagnstico de enfermedad crnica (cerca de 70%
en no indgenas y de 50% en indgenas) tienen
peso no saludable (sobrepeso u obesidad) y, por
lo tanto, alto riesgo de diabetes e hipertensin.
EUSESB-2008
Reforzar la estrategia de prevencin de obesidad
y deteccin de enfermedades crnicas, as como
diabetes e hipertensin.
Resultados
Salud

Alta proporcin de padres utilizan proveedores de
salud no adecuados (farmacia) en enfermedades
percibidas como graves.
EUSESB-2008
Recomendaciones a Oportunidades
Averiguar lo motivos por los que los padres van a
un mdico particular para la atencin a
enfermedades percibidas como graves. Traducir
los motivos en una campaa de cambio de
comportamiento usando investigacin formativa.

Recomendaciones al sector salud
99


Implementar la campaa de cambio de
comportamiento basado en evidencia.
Resultados
Nutricin

Prevalencia de anemia en nios de edad escolar,
lo que contribuye al bajo desempeo en pruebas
cognitivas y el rendimiento escolar.
ENN-2008

Resultados
Nutricin
Variaciones en la prevalencia de desnutricin
crnica y sobrepeso, que complica una estrategia
untarla.
ENN-2008

Resultados
Nutricin
Prevalencia persistente y alta en desnutricin
crnica en nios de edad escolar, de manera
particular en zonas indgenas remotas.
ENN-2008
Resultados
Nutricin
La calidad de los alimentos que consumen las
familias beneficiarias y no beneficiarias, no es
adecuadabajo contenido nutricional.
EOASE-2010
Promover y facilitar informacin sobre el
contenido de los alimentos.

Promover el deporte para reducir el avance de
enfermedades crnicas ligadas a la falta de
actividad fsica, por ejemplo, obesidad y
colesterol alto, que surgen como consecuencia de
la ingesta de comida con bajo contenido
nutricional.
Resultados
Nutricin
Aumento de la prevalencia de obesidad de 2002 a
2009, especialmente en nios, aunque es menor
que la prevalencia de la poblacin general
urbana.

Se observa un mayor riesgo de obesidad en nios
que en nias y en los nios de hogares menos
pobres.
EIZU
NUTRICIN-
2010

Desarrollar una estrategia integral para el control
del peso que incluya el monitoreo del peso anual
adecuado en nios desde los 5 aos y a lo largo
de la vida. Especficamente se requiere fortalecer
los talleres y vincularlos con una estrategia
integral (como la ESIAN) dirigida al problema del
control del peso que contemple la consejera
guiada especfica a algunos temas (lactancia
materna, alimentacin complementaria,
alimentacin saludable, actividad fsica) como
100


parte de la comunicacin, ya que los talleres
como tales no son suficientes.
Resultados
Nutricin
Alta prevalencia de obesidad en mujeres de 20 a
29 aos (30.1%) y mayor a lo observado tanto en
la poblacin general urbana como en el primer
quintil socioeconmico urbano.
EIZU
NUTRICIN-
2010
Desarrollar una estrategia integral para el control
del peso que incluya el monitoreo del peso anual
adecuado en nios desde los 5 aos y a lo largo
de la vida. Especficamente se requiere fortalecer
los talleres y vincularlos con una estrategia
integral (como la ESIAN) dirigida al problema del
control del peso que contemple la consejera
guiada especfica a algunos temas (lactancia
materna, alimentacin complementaria,
alimentacin saludable, actividad fsica) como
parte de la comunicacin, ya que los talleres
como tales no son suficientes.

Resultados
Nutricin
Disminucin en la iniciacin de la lactancia
materna (82.9%, IC95% 77.1, 88.7) con respecto a
lo observado hace 5 y 7 aos (alrededor del 95%),
en la poblacin beneficiaria de zonas urbanas.
EIZU
NUTRICIN-
2010

Implementar a nivel nacional una campaa
educativa para personal de salud (incluyendo
alumnos de medicina) y beneficiarios para la
promocin de la lactancia materna y alimentacin
complementaria; proteccin de la lactancia en
hospitales a travs de seguimiento a las leyes en
relacin a la promocin de sucedneos a la leche
materna y los principios de hospital amigo del
nio.
Resultados
Nutricin
Riesgo de anemia mayor en los hogares ms
pobres y en nios.
EIZU
NUTRICIN-
2010
Implementar en todo el pas un sistema, a travs
de los servicios de salud, para detectar y tratar la
anemia en nios de edad escolar y mujeres en
edad frtil.

Conocer los determinantes de anemia en los
nios en edad escolar (dado que podra no
101





deberse solamente por deficiencia de hierro) y
considerar, despus de eso, una estrategia
focalizada1 ya que la prevalencia actual no
amerita una intervencin universal.
Resultados
Nutricin
Alta prevalencia de anemia en mujeres.
EIZU
NUTRICIN-
2010
Implementar en todo el pas un sistema, a travs
de los servicios de salud, para detectar y tratar la
anemia en nios de edad escolar y mujeres en
edad frtil.
Resultados
Nutricin
Alta proporcin de familias que an presentan
algn grado de inseguridad alimentaria (54.2%).
La inseguridad alimentaria severa est asociada
con mayor prevalencia de desnutricin en nios.
EIZU
NUTRICIN-
2010
Entender con mayor detalle lo que significa
inseguridad alimentaria para las familias: si en
realidad refleja menor accesibilidad de alimentos
o si es un indicador de otros determinantes de la
mala nutricin (i. e. prcticas de alimentacin,
consumo de alimentos muy densos en energa
pero no en micronutrientes, etctera).
102

3.6. Valoracin de las muestras utilizadas y las fuentes de informacin disponibles para las
evaluaciones

3.6.1. Calidad y pertinencia de las muestras utilizadas en evaluaciones anteriores

En esta seccin se incluye un anlisis sobre la calidad y la pertinencia de las fuentes de
informacin utilizadas en las evaluaciones de impacto del PDHOla ENCEL en el mbito rural y
la ENCELURB en el mbito urbano.El anlisis se refiere al diseo de las encuestas y de las
distintas muestras que se fueron generando a travs del tiempo, sealando sus ventajas y
limitaciones para efectos de evaluacin. Asimismo, se valora tambin la posibilidad de seguir
utilizando estas encuestas con nuevos diseos muestrales, a partir de criterios tcnicos y de
costo-beneficio.

3.6.1.1. Encuesta de caractersticas socioeconmicas de los hogares (ENCEL)

Anlisis de la encuesta

La encuesta de las caractersticas socioeconmicas de los hogares (ENCEL) surge como la
principal fuente de informacin para efectos de evaluacin del PDHOcreado en 1997. La lnea
basal de la ENCEL se aplic en los mismos estados en los que el PDHO inici su operacin:
Guerrero, Hidalgo, Michoacn, Puebla, Quertaro, San Luis Potos y Veracruz. Los
levantamientos de la ENCEL se realizaron en: 1998, 1999, 2000, 2003 y 2007.

En 1998 se seleccionan 506 localidades de manera aleatoria, de las cuales 320 fueron de
tratamiento y 186 controles.Para 2003, las 506 localidades seleccionadas originalmente en
1998, ya se haban incorporado al programa, por lo que se seleccionaron 151 localidades
adicionales que nunca haban participado en el mismo. Esto se realiz mediante un pareamiento
mltiple, tratando de ubicar a las localidades que tuvieran la mayor proximidad a las 506
localidades originales, en trminos de lascaractersticas definidas para formar los grupos de
control y pareamiento. No obstante, esta seleccin no se realiz de manera aleatoria.

En 2007 se planeaba incluir en la muestra de la ENCEL a las 506 localidades originales y a las 151
pareadas en 2003. Sin embargo, por limitaciones presupuestales solamente se incluyeron 459
localidades en total. Se incorporaron 283+176 localidades consideradas como de tratamiento y
nicamente 95 decontrol. Para tener mayor representatividad nacional se incluy una fraccin
de hogares de ENSANUT 2006 del norte y occidente que no estaban en las muestras originales.

Con la muestra completa se hacen nuevos factores de expansin.Se agruparon en Guerrero y
Oaxaca para comparar 30 cudruplas de localidades, tres con intervencin (tratamiento) y una
sin intervencin. Las cudruplas se realizaron con las localidades ms similares (minimizar la
distancia de Mahalanobis) entre las 4 localidades con las restricciones de no compartir clnica.
La muestra quedo con tamao 28,000 hogares.

103

Para realizar el diseo muestral de la ENCEL rural 2007-2008, la cual permite realizar
evaluaciones del PDHO, se consideraron los aspectos de comparabilidad, longitudinalidad,
nuevas demandas de informacin y costos de las evaluaciones.Sobre la comparabilidad, se
deseaba que la informacin derivada de las nuevas evaluaciones permitiera la comparacin con
los resultados obtenidos en las evaluaciones anteriores. La comparabilidad presenta la ventaja
de poder dar seguimiento a las localidades seleccionadas en el transcurso de los aos 1998 a
2003. La desventaja principal es que al incluir la mayora de las localidades (459) en la muestra
es que se no se genera una muestra aleatoria sobre el marco muestral vigente, que son las
localidades beneficiadas al corte de 2007, lo cual puede presentar poca significancia estadstica
en las inferencias y resultados de la ENCEL rural. Para realizar la comparacin se realizaron
cudruplas con tcnicas de aparejamiento, nicamente sobre los estados de Chiapas y Oaxaca,
por lo que no se pueden hacer inferencias sobre los resultados del programa a nivel nacional,
dado que la comparacin se concentr solo en esos dos estados y no tiene representatividad
ms amplia.

Por otro lado, la posibilidad de tener informacin longitudinal tiene la ventaja de observar
claramente la evolucin de las localidades en la muestra desde 1998, lo que facilita la
evaluacin de diversos impactos del PDHO a travs del tiempo. Esto hace que sea importante
encontrar formas de seguir usando esta encuesta para evaluaciones futuras, considerando y
compensando en lo posible por las deficiencias previamente identificadas.

En lo que toca a las nuevas demandas de informacin, de acuerdo a la nota tcnica sobre el
diseo muestral se tom una sub-muestra en la zona Norte y Occidente del pas
(Aguascalientes, Nayarit, Sinaloa y Durango) utilizando la ENSANUT y se menciona que se tom
en su totalidad el estrato de Oportunidades en la ENSANUT. Sin embargo no se hace referencia
a cuales localidades o viviendas se utilizarn como grupo control y tratamiento ni se mencionan
los tamaos de cada una de estos subgrupos, y tampoco se especifica si se pretende incorporar
a futuro en las cudruplas est informacin para darle mayor representatividad a nivel nacional
a la muestra.

Conclusiones y recomendaciones

A pesar de que en el primer levantamiento de la ENCEL, en 1998 se mantenan los elementos
necesarios para asegurar la representatividad, la comparabilidadyel seguimiento de los hogares,
en los levantamientos subsecuentesse fueron perdiendo dichas caractersticas. En primer lugar,
en 2003 se incorporaron nuevas localidades que no haban sido atendidas por el PDHO, para
compensar las observaciones que se perdieron en la muestracabe sealar que el PDHO
solamente pudo dar seguimiento sobre la informacin recolectada en hogares que no
cambiaron su residencia o la cambiaron dentro de la misma localidad. En segundo lugar, al no
incorporar ms estados e incrementar el nmero de beneficiarios, la representatividad
estadstica se fue perdiendo, ms que gradualmente.

Si bien en su momento las decisiones para seleccionar la muestra consideraron la
comparabilidad y longitudinalidad de los datos as como las demandas de informacin y los
104

costos de las evaluaciones, hoy se sugiere seleccionar una nueva muestra aleatoria con el marco
muestral vigente, con el objetivo de que los datos sean representativos de la nueva realidad del
programa a nivel nacional. Como ya fue mencionado, el costo sustancialque implicara un
levantamiento de esta magnitud, est ms que justificado por el monto total destinado al
PDHO. Cabe mencionar que el programa hace anualmente cientos de miles de levantamientos
de informacin de los hogares para propsitos operativos, por lo que un levantamiento como el
que se sugiere para efectos de evaluacin no implicara realmente un costo desproporcionado,
especialmente a la luz de sus beneficios.

Por otro lado, se recomienda valorar a detalle la posibilidad de utilizar la ENCEL actual para
realizar nuevas estimaciones de impacto, basadas ya no en modelos de doble diferencias sino
en modelos de regresin discontinua. La construccin de la ENCELseleccion aleatoriamente
localidades tratadas y localidades de control;en ambos casos, la muestra incorpor a todos los
habitantes, ya que se utiliz un barrido al interior de las localidades para construirla.As, tanto
en las localidades de tratamiento como de control, hay beneficiarios y no beneficiarios del
PDHO, los cuales son perfectamente distinguibles al comparar la ENCEL con el padrn de
beneficiarios del PDHO, utilizando la fecha de incorporacinde hecho, algunas evaluaciones
recientes hacen esta distincin para realizar sus grupos de control y tratamiento. Con estas dos
bases de datos es posible identificar hogares beneficiarios y no beneficiarios, tanto en las
localidades originales de tratamiento como en las de control;de esta forma, se podran construir
grupos de referenciade no beneficiarios por encima del umbral del puntaje de elegibilidad para
la regresin discontinua, mientras que los grupos de tratamiento se identificaran como los
hogares beneficiarios del PDHO en ambos tipos de localidades. Este enfoque asume que los
hogares no tratados de las localidades donde haba presencia del PDHO no fueron incorporados
porque no tuvieron el puntaje requerido como criterio de elegibilidad. Para esta aproximacin
se debe considerar los lmites de la regresin discontinua, que aporta informacin local de los
efectos.


3.6.1.2. Encuesta de evaluacin de los hogares urbanos (ENCELURB)

La Encuesta de evaluacin de los hogares urbanos es la principal fuente de informacin
cuantitativa de localidades urbanas del PDHO. Esta encuesta ha tenido 4 levantamientos: 2002,
2003, 2004y 2009 que incorporan a su vez, sub-muestras de aspectos socioeconmicos,
biolgicos, de salud y desarrollo cognoscitivo, etc. A continuacin se presentan algunas
anotaciones sobre la utilidad de dicha evaluaciones.

Anlisis de la encuesta

En el ao 2002, con la informacin del Censo 2000, se identific a los hogares que se
encontraban en localidades entre 50,000 y 1,000,000 habitantes como elegibles y no elegibles
para el PDHOde acuerdo a un puntaje de pobreza. Con ello se conform un primer grupo de
6,000 hogares que entraron al PDHO y se utiliz como grupo de tratamiento.Por otro lado,
6,000 hogares que no entraron al PDHO fueron usados como grupo de control2,000 hogares
105

eran elegibles pero por diferentes circunstanciasy 4,000 hogares erancuasi elegiblesporque que
estaban ligeramente arriba del punto de corte de elegibilidad del puntaje de pobreza. Para
llegar al nmero de hogares de tratamiento que requera la muestra, se tomaron adems las
manzanas contiguas a las elegidasentre otras cosas por cuestiones de costo.Como muestra
control, se hizo un aparejamiento con reemplazode acuerdo con lascaractersticas
socioeconmicas de manzanas.Usando estas muestras originales se form un panel entre 2002
y 2004 con el objetivo de realizar comparaciones entre la muestra control,la muestra
tratamiento, y el grupo control para observar los cambios. Cabe mencionar que dichas muestras
no tienen representatividad a nacional.

En 2009 se llev a cabo elseguimiento de las evaluaciones de 2002-2004, basado en un
subconjunto de hogares que estaban en la muestra original y otro subconjunto de hogares que
fueron beneficiarios entre 2002 y 2009. En esta evaluacin se tomaron como grupo de control
los que fueron cuasi elegiblesen 2002 y que no fueron beneficiarios del PDHO entre 2002 y
2009. Es importante indicar que en esta evaluacin no se hacen muestras aleatorias sobre
padrones de beneficiarios.El objetivo era observar las tendencias del grupo tratamiento y
compararlo con el grupo control. El tamao de la muestra fue de 8,071 hogares incluyendo al
grupo de tratamiento y de control, de los cuales respondieron 6,277.

Desde la perspectiva de la evaluacin, tomar una submuestra del panel original de hogares
seleccionados en la evaluacin 2002-2004, presenta la ventaja de poder comparar los resultados
y analizar la evolucin de los indicadores endichos hogares, as comode comparar los resultados
en los grupos originales de control y de tratamiento. Sin embargo, la desventaja ms
importanteradica en que, al limitar a estos hogares la seleccin de la muestra, los resultados no
necesariamente son representativos del programa a nivel nacional; adems, no se puede hacer
inferencia sobre los impactos en las distintas zonas urbanas del pas, porque la muestra no se
construy sobre un marco muestral vigente de beneficiarios en 2009. Adems, la ENCELURB, al
igual que en la ENCEL, tambin se presenta el problema de desgaste, al tener una prdida de
hogares a lo largo de los aos.

Finalmente, al aparejamiento con reemplazo que se utiliz a nivel de manzana tiene la ventaja
de reducir el costo y expandir la muestra con un nmero menor de hogares. Sin embargo, se
debe tener cuidado al realizar estimaciones a partir de este grupo, ya que puede traducirse en
una sobre-estimacin de la precisin (o subestimacin de errores), ya que reduce de manera
artificial la varianza de la informacin en el grupo de control.

Conclusiones y recomendaciones

La ENCELURB presenta una debilidad muy importante debido a que no fue construida de forma
aleatoria y sistemtica; adems, conforme pasaba el tiempo y se ampliaba rpidamente la
cobertura urbana del programa, lo que se buscaba era observar tendencias ms que medir
impactos con metodologas rigurosas. De tal suerte, en opinin del equipo metaevaluador, no
es posible hacer inferencias generales estadsticamente vlidas sobre los resultados obtenidos
106

en evaluaciones elaboradas a partir de esta encuesta, bsicamente porque no es representativa
a nivel nacional.

Por lo anterior, se recomienda que para realizar las evaluaciones posteriores del programa en el
mbito urbano se disponga de nuevas fuentes de informacin, ya sea a travs de
levantamientos propios o a partir de muestras y sobremuestras de encuestas nacionales, tales
como la ENIGH, la ENSANUT y la ENOE.


3.6.2. Calidad y pertinencia de las fuentes de informacin internasy externas disponibles

Con el propsito de evaluar los efectos e impactos del programa, las fuentes de informacin
disponibles a nivel interno son bsicamente la ENCEL y la ENCELURB, aunque como apoyo y para
acciones puntuales de depuracin y validacin el algunas aplicaciones se puede utilizar tambin
la Encuesta de Caractersticas Socioeconmicas de los Hogares (ENCASEH), la Encuesta de
Caractersticas Socioeconmicas de los Hogares Urbanos (ENCASURB) y la Encuesta de
Recertificacin de Caractersticas Socioeconmicas de los Hogares (ENCRECEH), as como los
registros histricos del padrn de beneficiarios. Para este mismo propsito, y en consideracin
del tipo de efectos e impactos esperados, las principales fuentes de informacin externas son
los censos y conteos nacionales de poblacin y vivienda, la ENIGH, la ENSANUT y la ENOE.

En el caso de la ENCEL y la ENCELURB, como ya fue mencionado su usoresulta cuestionable, ya
que, a consideracin del equipo metaevaluador, actualmente no cumplen con los criterios
mnimos de representatividad, al menos tal como estn y en la forma en que se han
utilizado.Por el estado que guardan las fuentes de informacin internas, se recomienda realizar
un nuevo levantamiento de informacin en hogares beneficiarios y no beneficiarios, a partir de
un nuevo diseoque permita tener fuentes de informacin vlidas, comparables, pertinentes y
confiables.

No obstante las debilidades estadsticas se recomienda explorar a detalle la posibilidad de
utilizar esta informacin para propsitos distintos de la evaluacin de efectos e impactos, ya
que tanto la ENCEL como la ENCELURB son pertinentes, debido a la especificidad de la
informacin que recaban, en funcin de los objetivos que persigue el PDHO, aunque sta slo
tenga un carcter indicativo, exploratorio o referencial, es decir, ya no es suficiente para
evaluaciones de impacto. Otra caracterstica relevante de estas encuestas,es que
implcitamente guardanun registro detalladode las caractersticas estructurales de los
beneficiarios.

En ese sentido, tampoco se recomienda que la informacin generada a partir de estas encuestas
seasubutilizada o descartada. Por ejemplo, a pesar de que ya se han realizado ejercicios, podra
formarse una base de datos segmentada por tiempo de exposicin al programa, o separar los
hogares tratados de las localidades de tratamiento/no tratamiento, de los hogares no tratados
de localidades tratadas/no por ao de levantamiento y cruzarlo con el patrn de beneficiarios.
Este cruce de informacin podra servir, suponiendo que exista un nmero suficiente de casos
107

no efectuados, para un anlisis del periodo pero no sera viable utilizar para efectos de
evaluacin de impactos del programa.

Una posible solucin al problema de la validez de la ENCEL y ENCELURB es adicionar mdulos a
encuestas nacionales, lo cual permitira reducir costos de los levantamientos propios y ajustarse
a instrumentos y muestreos de la ms alta calidad metodolgica. En ese sentido, se recomienda
aprovechar la informacin de las siguientes encuestas:

a) ENSANUT: Tiene representatividad nacional y estatal. La informacin obtenida permite
diferenciar las caractersticas de la poblacin por regiones geogrficas, localidades de
residencia urbana y rural, as como divisiones estatales y grupos poblacionales (nios,
escolares, adolescentes, adultos y adultos mayores).

b) ENIGH: Los resultados de la ENIGH son representativos a nivel nacional y, en algunos
aos, para los mbitos rural y urbano. Asimismo, con base en la ampliacin de la
muestra en algunas entidades federativas, tambin es posible generar informacin con
representatividad estatal en algunos levantamientos. Cabe mencionar que la ENIGH
cuenta con un batera especial que describe informacin sobre las caractersticas
ocupacionales y sociodemogrficas de los integrantes del hogar, as como las
caractersticas de la infraestructura de la vivienda y el equipamiento del hogar por lo que
se podra explorar la posibilidad usar este mdulo para incorporar informacin relevante
para Oportunidades.

c) ENOE: Capta las caractersticas econmicas de la poblacin de 12 y ms aos de edad,
aunque los indicadores que se difunden mensual y trimestralmente se generan para la
poblacin de 14 y ms aos de edad. En este sentido, los resultados de la ENOE tienen
representatividad a nivel nacional y estatal; adems, a nivel de localidad se presenta en
4 rangos (100,000 y ms habitantes, de 15,000 a 99 999 habitantes, de 2 500 a 14 999
habitantes y localidades de menos de 2 500 habitantes), y contempla 32 ciudades
autorrepresentadas.

En estas encuestas, se puede seleccionar una submuestra suficientemente grande en todo el
pas con las localidades o viviendas y construir grupos control y tratamiento en dicha sub-
muestra y aprovechar la comparabilidad del mtodo de aparejamiento por cudruplas para
localidades en todo el pas.

Adicionalmente se sugiere racionalizar las variables que se incluiran en el levantamiento, con
independencia de conservar las encuestas, ya que en la batera podran incluirse diversos temas
no necesariamente del inters del programa.


108

3.7. Anlisis de la carencia alimenticia

En este apartado se analiza si los bienes y servicios otorgados por dichos programas contribuyen
a reducir la carencia por acceso a la alimentacin, tomando como referencia los elementos del
indicador principal e indicadores complementarios considerados en la medicin de la pobreza
6

para este espacio.

La carencia por acceso a la alimentacin se entiende como la existencia de limitaciones
significativas en el ejercicio del derecho a disfrutar del acceso fsico y econmico a una
alimentacin adecuada y a los medios para obtenerla (Coneval, 2011). De esta manera, la
carencia se encuentra asociada a los conceptos de estabilidad, suficiencia y variedad de los
alimentos, es decir se encuentra en algn grado de inseguridad alimentaria
7
.

La inseguridad alimentaria es resultado de una disponibilidad o acceso limitados de los hogares
(o de los individuos) a los alimentos. A nivel de hogar, la inseguridad alimentaria tambin puede
verse como la combinacin de dos problemas: uno de acceso y uno de uso de los alimentos. El
acceso se refiere a la incapacidad de un hogar y de sus miembros para disponer de suficientes
alimentos a travs de la produccin propia, el intercambio, la transferencia de terceros (por lo
general, ayudas alimentarias o deingreso) o la compra. El uso se refiere a la preparacin y el
consumo adecuado de los alimentos, as como a la capacidad de almacenamiento apropiado
(Swindale y Bilinsky, 2006; FANTA, 2003). En ese sentido, se considera en situacin de carencia
por acceso a la alimentacin a los hogares que presenten un grado de inseguridad alimentaria
moderado o severo.

La medicin de inseguridad alimentaria basada en experiencia se compone de una escala de
varias preguntas, por medio de la cual se capta la percepcin tanto de preocupacin como de
problemas con la cantidad o calidad de la dieta en el hogar durante un periodo de referencia
(Prez et al., 2007). El constructo terico detrs de las preguntas de la escala supone que un
choque negativo (como la prdida de ingreso) produce preocupacin en los integrantes de
hogar, seguida de una reduccin en la calidad de la dieta, una disminucin de contenido calrico
en los alimentos de los adultos y luego en nios, hasta llegar al hambre (definida como dejar de
comer un da en el periodo de referencia de la escala) (Prez et al., 2007).




6
Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social. Metodologa para la medicin multidimensional
de la pobreza en Mxico, Mxico DF. Coneval, 2009.
7
Se entiende que la inseguridad alimentaria es el concepto opuesto al de seguridad alimentaria, o sea la situacin
en la cual todas
las personas tienen en todo momento acceso fsico y econmico a suficientes alimentos inocuos y nutritivos para
satisfacer sus necesidades alimenticias y sus preferencias en cuanto a los alimentos, a fin de llevar una vida activa y
sana (FAO, 2009); no obstante el concepto de seguridad alimentaria es ms amplio.

109

Sin embargo, para efectos prcticos, resulta imposible hacer una medicin precisa a nivel global,
debido a que el indicador de la inseguridad alimentaria se construye a partir de experiencias de
hambre.

Potencial de contribucin de los programas.

Derivado del anlisis conceptual y de la medicin de la carencia por acceso a la alimentacin, se
han identificado cuatro formas bsicas en las que los programas pueden contribuir a la
disminucin de la carencia por acceso a la alimentacin:

1. Mediante transferencia monetaria directa a las familias, que en principio elevara su
ingreso monetario disponible y por lo tanto la compra de alimentos.
2. A travs de la transferencia directa de bienes de consumo bsico de manera gratuita que
disminuye el gasto en alimentos.
3. Mediante un subsidio al precio de los bienes de consumo bsico que hace que disminuya
su costo respecto del precio mercado que disminuye el gasto en alimentos.
4. A travs de la capacitacin en hbitos de alimenticios que genera un mejor
comportamiento de consumo, que a cualquier nivel de ingreso, se satisfaga la canasta
bsica alimentaria.

Dichas acciones permiten, despus de cierto umbral de ingreso, eliminar la carencia alimentaria,
sin ello implique el abandono de la condicin de pobreza.

La principal contribucin del PDHO y del PAL, radica en la transferencia monetaria que, en
principio eleva el ingreso disponible para el consumo de alimentos y esto disminuye la carencia.
Lo anterior supone que a cualquier nivel de consumo, incluso a nivel de autoconsumo absoluto,
existe un ingreso mnimo imputable para la sobrevivencia de las familias, las transferencias que
efectan los programas influyen directamente en el consumo de alimentos por medio del
ingreso, de tal forma que en cierta medida, posibilita cruzar el umbral de la carencia por acceso
alimentos. Para el caso del PAL, debido al tipo de poblacin que atiende no necesariamente
cruzan el umbral, pero se acerca mucho.

El PASL contribuye a disminuir la carencia de forma parcial, ya que al proveer leche fortificada a
menor precio que el de mercado, reduce el gasto en alimentos; sin embargo, dado que la leche
no es una parte fundamental de la dieta de la poblacin en situacin de carencia alimentaria, la
contribucin a la disminucin de la carencia es baja: No obstante, con base en las evaluaciones
que sean realizado (INSP, 2008) el programa s contribuye, en gran medida, a mejorar la
nutricin.

Por otra parte, las lecheras de Liconsa se encuentran ubicadas en zonas urbanas y rurales
catalogadas como de baja, media y alta marginacin, por lo cual, el PASL no llega a la poblacin
que se encuentra en carencia alimentaria, en especfico que vive en zonas rurales, que es donde
se concentra la poblacin con estas caractersticas y donde se esperara que el programa tuviera
mayores efectos.
110


En este sentido, el PASL potenciara su contribucin reubicando expendios a las zonas rurales
donde se concentre poblacin por debajo de la lnea de bienestar mnimo; adems de
establecer un sistema de subsidios cruzados que permitiera reducir el precio de la leche, o
incluso regalarla en aquellos lugares en donde el PAL opere.

Si bien el PAR tiene un cierto potencial de contribucin debido a que reduce el costo de la
canasta bsica alimentaria y lleva los productos a las comunidades con dificultades de abasto,
sin embargo, es un hecho que un numero importante de tiendas Diconsa se encuentra en
localidades mayores a 2,500 habitantes (la ECR 2007 contabiliz 39.9%), en donde se considera
que no hay nmeros importantes de poblacin en carencia por acceso a alimentos; por tal
motivo, la contribucin que pueda tener el programa es muy limitado por el tipo de poblacin
que vive en ellas.

Para que el PAR pudiera tener un mayor impacto seria necesario reubicar las tiendas a
localidades de media y baja marginacin a localidades rurales con altos niveles altos pobreza
extremos multidimensionales, as como de alta concentracin indgena. En ese sentido, dando
como vlido la existencia de ahorros significativos en los productos que ofertan la tiendas
8
,
convendra analizar la conveniencia de ampliar el subsidio en los bienes alimentarios que ms se
consumen en este tipo de localidades, es decir que los ahorros se concentren en el tipo de
bienes que pesan ms sobre la canasta bsica.

De esta forma, se puede observar que los programas estn alineados conceptualmente con la
definicin de carencia por acceso a la alimentacin; sin embargo, no queda establecida con
claridad su alineacin metodolgica en cuanto a medir su aporte a la disminucin de la carencia.





8
Vase el Estudio de Medicin de la Percepcin de los Beneficiarios de la Modalidad de Abasto Rural del Programa
de Apoyo Alimentario y Abasto Rural a cargo de Diconsa S.A. de C.V.
111


4. Reporte de monitoreo

En este apartado se hace un anlisis de la evolucin de la Matriz de Indicadores de Resultados
(MIR) del programa durante el perodo 2007-2012. Se identifican los principales cambios en los
resmenes narrativos y en los indicadores asociados a los mismos, que surgieron como
respuesta a las observaciones y recomendaciones de instancias como la Auditora Superior de la
Federacin (ASF), la Secretara de Hacienda y Crdito Pblico (SHCP), la Secretara de la Funcin
Pblica (SFP), el Coneval y los evaluadores externos del programa. La secuencia de cambio se
presenta en los niveles de Fin, Propsito y algunos casos de Componentes, para todos los aos
comprendidos en el perodo. Al final de la seccin se presenta una propuesta para mejorar los
resmenes narrativos y los indicadores para laMIRdel ao 2013. Un esquema con el anlisis
histrico de laMIRy de las propuestas de mejora se presenta en el Anexo 5.


4.1. Introduccin

En 2007, la Secretara de Desarrollo Social (Sedesol) elabor la Matriz de Indicadores para
Resultados (MIR) de los programas federales a su cargo con la finalidad de mejorar su diseo y
de cumplir con los Lineamientos Generales para la Evaluacin de los Programas Federales de la
Administracin Pblica Federal
9
que establecen que los programas federales deben contar con
una MIR.

Desde entonces, laMIRes usada por la Sedesoly por otros actores, como la Secretara de
Hacienda y Crdito Pblico (SHCP), la Secretara de la Funcin Pblica (SFP), la Auditora
Superior de la Federacin (ASM), el Consejo Nacional de Evaluacin de la Poltica de Desarrollo
Social (Coneval) e incluso el H. Congreso de la Unin, para dar seguimiento a los resultados
alcanzados por los programas federales, lo que la convierte en el principal instrumento para
monitorear el desempeo de dichos programas en el Gobierno Federal.

LaMIRde los programas federales de la Sedesolse ha ido modificando ao con ao
principalmente con tres objetivos: 1) mejorar el diseo de los programas, 2) contar con mejores
indicadores de resultados y de gestin para monitorear su desempeo, y 3) mejorar su
alineacin con las Reglas de Operacin (ROP). Para ello, la Sedesolha tomado en consideracin
los comentarios y propuestas de mejora emitidos por actores como el Coneval, la SHCP y los
evaluadores externos que han evaluado los programas.

Este documento tiene como objetivo analizar laMIR2012 del Programa de Desarrollo Humano
Oportunidades, para generar propuestas de mejora para la elaboracin de laMIR2013,



9
Diario Oficial de la Federacin. 30 de marzo de 2007.
112

especialmente de los niveles de Fin y Propsito, poniendo especial atencin en los indicadores
de resultados.

Para lo anterior, en la primera parte se hace un anlisis de los cambios que se han
implementado a laMIRde 2007 a 2012, para ello, se identifican los comentarios que diversos
actores han emitido a laMIRpara el mismo periodo. Posteriormente, se valora el resumen
narrativo de laMIR2012 analizando su correspondencia con las ROP de ese ao y se realizan
propuestas de mejora. Por ltimo, se valoran los indicadores de Fin y de Propsito de
laMIR2012, y se emiten propuestas de mejora.


4.2. Anlisis histrico de la Matriz de Indicadores para resultados 2007-2012


4.2.1. Principales cambios de la Matriz de Indicadores 2007-2012

En esta seccin se hace un resumen de los principales cambios de laMIRdel de 2007 a 2012,
enfocndose en el resumen narrativo de los niveles de Fin, Propsito y Componentes y en los
indicadores de Fin y de Propsito. Los cambios se presentan primero del resumen narrativo y
posteriormente de los indicadores para cada ao.


4.2.1.1. Anlisis 2007-2008

Resumen narrativo

De 2007 a 2008, se mejor el resumen narrativo a nivel de Fin, describiendo de mejor manera el
objetivo que el programa quiere contribuir a solucionar. En 2007, el Fin haca referencia a dos
aspectos 1) el desarrollo humano sustentable, y 2) la igualdad de oportunidades. Para 2008, el
objetivo de Fin fue referenciado a la ruptura del ciclo intergeneracional de la pobreza extrema
de la poblacin beneficiaria en dicha condicin, lo cual, si bien no estaba completo porque
nicamente se considera a la poblacin beneficiaria, sent la estructura bsica por la que el
programa defini su objetivo a este nivel de la MIR.

Para este periodo, a nivel de Propsito, no hubo modificaciones. El planteamiento del objetivo
no era correcto, ya que el programa decidi colocar los medios por los cuales pretendera
alcanzar sus resultados, sin embargo, esto no se ajusta a la Metodologa de Marco Lgico
(MML). En el objetivo de Propsito de 2007 y 2008, el programa debi haber eliminado el
complemento mediante los apoyos del Programa y su participacin corresponsable.

En 2007, dada la poca claridad del objetivo de Fin, no es posible determinar si el logro del
Propsito contribuye al logro del Fin; sin embargo, la mejora que se dio en el objetivo para 2008
permite tener una mayor vinculacin entre Propsito y Fin.

113

Por ltimo, a nivel de Componentes, de 2007 a 2008, se mantienen los Componentes 1, 2 y 4
con modificaciones en la sintaxis, y se eliminan los Componentes 3, 5 y 6 de laMIR2008, lo cual
se considera parcialmente correcto, ya que eran productos o servicios que el programa entrega
a sus beneficiarios. Los tres componentes cumplen con la sintaxis establecida en la MML; sin
embargo, los 3 Componentes tenan un planteamiento generalizado y consideraban varios
aspectos dentro del mismo objetivo.

Para 2008, los Componentes en su conjunto son los suficientes, pero no los necesarios ya que
hace falta incorporar otros apoyos que el programa otorga a sus beneficiarios.

Resumen
narrativo
2007 2008
Fin
Contribuir al desarrollo humano
sustentable y a la igualdad de
oportunidades de familias que viven
en condiciones de pobreza extrema en
Mxico, a travs del desarrollo de las
capacidades bsicas de la poblacin
beneficiaria.
Contribuir a la ruptura del ciclo
intergeneracional de la pobreza
extrema de la poblacin beneficiaria
en dicha condicin, favoreciendo el
desarrollo de sus capacidades bsicas
en educacin, salud y nutricin.
Propsito
Las familias beneficiarias de
Oportunidades ampliaron sus
capacidades en trminos de
educacin, salud y nutricin, mediante
los apoyos del Programa y su
participacin corresponsable.
Las familias beneficiarias de
Oportunidades ampliaron sus
capacidades bsicas en educacin,
salud y nutricin, mediante los apoyos
del Programa y su participacin
corresponsable.
Componentes
Familias beneficiarias recibieron
apoyos para mejorar su alimentacin y
nutricin.
Familias beneficiarias recibieron
apoyos para mejorar su alimentacin y
nutricin.
Familias beneficiarias del Programa
tuvieron acceso al Paquete Bsico de
Servicios de Salud (PBSS) para mejorar
sus condiciones de salud.
Familias beneficiarias del Programa
tuvieron acceso al Paquete Bsico de
Servicios de Salud (PBSS) y recibieron
apoyos para mejorar sus condiciones
de salud.
Jvenes recibieron estmulos
econmicos para incentivar que
concluyan la educacin media
superior.
---
Nios y jvenes integrantes de
familias beneficiarias recibieron
apoyos para fomentar su acceso y
permanencia en la educacin bsica y
media superior.
Familias beneficiarias recibieron
apoyos para fomentar que sus
integrantes, nios y jvenes, accedan,
permanezcan y concluyan la
educacin bsica y media superior.
114

Adultos mayores recibieron apoyos
monetarios para mejorar sus
condiciones de vida.
---
Las familias beneficiarias recibieron
apoyos econmicos para contribuir
con el gasto en energticos.
---

Indicadores

De 2007 a 2008, a nivel de Fin, se mantuvo un indicador que meda la diferencia en la
escolaridad entre padres e hijos. Una diferencia del planteamiento del indicador de 2008,
respecto del de 2007 es que se quit la claridad con la que se haca referencia a la escolaridad
promedio. Al respecto, el indicador otorgaba informacin precisa de uno de los elementos del
objetivo, por lo que era parcialmente relevante. El objetivo del programa, al referirse a su
contribucin a la ruptura del ciclo intergeneracional de la pobreza extrema de la poblacin
beneficiaria en dicha condicin, favoreciendo el desarrollo de sus capacidades bsicas en
educacin, salud y nutricin, el programa, nicamente considera uno de los elementos (el
educativo), sin embargo, no es posible identificar con el indicador actual, cules son los avances
obtenidos en la contribucin sobre la salud y nutricin.

A nivel de Propsito, de 2007 a 2008, desaparecieron dos indicadores, lo cual fue parcialmente
pertinente ya que uno de ellos meda la cobertura del programa en una variable que no estaba
contenida en el objetivo (desarrollo humano) y que debera estar en Componentes; mientras
que el otro (Prevalencia de desnutricin crnica infantil (en menores de cinco aos), entendida
como baja talla para la edad, de la poblacin beneficiaria) meda un aspecto relevante del
objetivo, por lo que no debi haberse eliminado. El nico indicador en 2008 (Tasa de
terminacin de educacin bsica de los jvenes beneficiarios de Oportunidades) tambin meda
un elemento de los tres a que se haca referencia en el objetivo, por lo que en el agregado, este
indicador no era suficiente.

Indicadores 2007 2008
Fin
Comparacin de la diferencia entre la
escolaridad promedio de los hijos de
20 aos de edad de las familias
beneficiarias y la de sus padres, con la
misma diferencia en la poblacin
nacional.
Comparacin de la diferencia de
escolaridad entre padres e hijos de
familias beneficiarias y los mismos a
nivel de la poblacin nacional.
Diferencia en la probabilidad de
insercin laboral positiva entre los
jvenes de 15 a 24 aos de hogares
beneficiarios, frente a los no
beneficiarios.
---
115

Propsito
Familias beneficiarias del Programa
que habitan en los 100 municipios de
menor ndice de Desarrollo Humano.
---
Escolaridad de los nios y jvenes
beneficiarios con respecto de la
nacional.
---
Tasa de terminacin de educacin
bsica de los beneficiarios respecto de
la nacional.
Tasa de terminacin de educacin
bsica de los jvenes beneficiarios de
Oportunidades.
Prevalencia de desnutricin crnica
infantil (menores de cinco aos),
entendida como baja talla para la
edad, de la poblacin beneficiaria.
---




4.2.1.2. Anlisis 2008-2009

Resumen narrativo

De 2008 a 2009, el Fin y el Propsito tuvieron acotaciones importantes. Por un lado, en el Fin se
modific a que el programa busca contribuir a la ruptura del ciclo intergeneracional de la
pobreza extrema en general, no solamente de la poblacin beneficiaria del programa. Este
ltimo elemento (poblacin beneficiaria) se dej en la segunda parte del objetivo, en la cual se
sealan los medios (el desarrollo de las capacidades en educacin, salud y nutricin de las
familias beneficiarias de Oportunidades). Por otro lado, en el Propsito se quitaron los medios
por los cuales se pretenda alcanzar el objetivo y cumplir con la sintaxis de la MML, y se acot a
la Poblacin Objetivo como Las familias en pobreza extrema beneficiarias de Oportunidades.

Para 2009, con los ajustes realizados, fue posible determinar que el logro del Propsito
contribuye al logro del Fin.

Se tuvieron tres cambios a nivel de Componentes, dentro de los cuales las familias beneficiadas
deban cumplir con sus corresponsabilidades. Debido a esta adaptacin no se afect la
estructura de los bienes y servicios otorgados por el programa, sin embargo, se contina con la
omisin de otros apoyos incluidos en la Matriz 2007.

Resumen
narrativo
2009
Fin
Contribuir a la ruptura del ciclo intergeneracional de la pobreza extrema,
favoreciendo el desarrollo de las capacidades en educacin, salud y nutricin
de las familias beneficiarias de Oportunidades.
116

Propsito
Las familias en pobreza extrema beneficiarias de Oportunidades amplan sus
capacidades en educacin, salud y nutricin.
Componentes
Familias beneficiarias que cumplieron su corresponsabilidad en salud, con
apoyos alimentario y nutricional emitidos.
Familias beneficiarias que cumplieron su corresponsabilidad tuvieron acceso al
Paquete Bsico Garantizado de Salud (PBGS).
Familias beneficiarias con nios y jvenes que cumplieron su
corresponsabilidad en educacin bsica y media superior, con apoyos
educativos emitidos.

Indicadores

A nivel de Fin, se mantuvo el mismo indicador, solamente que se volvi a integrar en su nombre
la referencia hacia el promedio entre padres e hijos, tal como estaba en la Matriz 2007; esta
modificacin permite tener una descripcin clara de lo que el indicador pretenda medir.

A nivel de Propsito, el nico indicador que estaba en la Matriz 2008 continu con su misma
estructura; sin embargo, se clarific que en lugar de ser una tasa, se refiere a un porcentaje,
sin que ello haya modificado la informacin con la que se pretende contar. El mayor cambio que
tuvo la estructura de indicadores de este nivel se dio en la presentacin de seis nuevos
indicadores y en la colocacin nuevamente del indicador Prevalencia de desnutricin crnica
infantil, entendida como baja talla para la edad, de la poblacin beneficiaria de Oportunidades,
el cual estaba presente en la Matriz 2007.

La integracin de estos nuevos indicadores permite contar con informacin sobre los avances
del objetivo en todas sus variables, es decir, educacin (porcentaje de becarias en educacin
bsica con respecto de la composicin por sexo de la matrcula nacional, porcentaje de becarias
en educacin media superior con respecto de la composicin por sexo de la matrcula nacional,
porcentaje de becarios de secundaria que transitan a educacin media superior y porcentaje de
becarios de primaria que transitan a secundaria), salud (prevalencia de diarrea aguda infantil en
la poblacin beneficiaria de Oportunidades, prevalencia de anemia en mujeres de 12 a 49 aos
de edad embarazadas y beneficiarias del Programa Oportunidades) y nutricin (prevalencia de
desnutricin crnica infantil, entendida como baja talla para la edad, de la poblacin
beneficiaria de Oportunidades).

Por lo anterior, en 2009, los indicadores de Fin y de Propsito se consideraban adecuados
10

para medir los resultados del programa, ya que aportaban bases suficientes para medir el
desempeo.




10
Para profundizar en las causas que un indicador sea considerado adecuado. Vase Gua para el Desempeo de
Indicadores Estratgicos de Coneval y SHCP, 2010.
117

Indicadores 2009
Fin
Comparacin de la diferencia en la escolaridad promedio entre padres e hijos
de familias beneficiarias, respecto de la misma diferencia en la poblacin
nacional.
Propsito
Porcentaje de terminacin de educacin bsica de los jvenes beneficiarios de
Oportunidades.
Prevalencia de desnutricin crnica infantil, entendida como baja talla para la
edad, de la poblacin beneficiaria de Oportunidades.
Prevalencia de diarrea aguda infantil en la poblacin beneficiaria de
Oportunidades.
Porcentaje de becarias en educacin bsica con respecto de la composicin por
sexo de la matrcula nacional.
Porcentaje de becarias en educacin media superior con respecto de la
composicin por sexo de la matrcula nacional.
Porcentaje de becarios de secundaria que transitan a educacin media
superior.
Porcentaje de becarios de primaria que transitan a secundaria.
Prevalencia de anemia en mujeres de 12 a 49 aos de edad embarazadas y
beneficiarias del Programa Oportunidades.


4.2.1.3. Anlisis 2009-2010

Resumen narrativo

De 2009 a 2010, el Fin del programa se mantuvo sin cambios al hacer referencia a su
contribucin a la ruptura del ciclo intergeneracional de la pobreza extrema y favorecer el
desarrollo de las capacidades en educacin, salud y nutricin de las familias beneficiarias de
Oportunidades. En el Propsito, tampoco se tuvieron modificaciones y se mantuvo la Poblacin
Objetivo como Las familias en pobreza extrema beneficiarias de Oportunidades; el resultado
sobre ella tambin se conserv: que fueran ampliadas sus capacidades en educacin, salud y
nutricin.

Los 3 Componentes que se tenan en 2009 se mantuvieron en 2010, es decir, los apoyos
alimentario y nutricional, la provisin del Paquete Bsico Garantizado de Salud (PBGS) y los
apoyos para educacin bsica y media superior, todos ellos con el elemento que el programa
integr en 2009 al referirse a la corresponsabilidad de los beneficiarios.

La sintaxis y causalidad del Fin, Propsito y Componentes del programa eran las que marca la
MML.

118

Resumen
narrativo
2010
Fin
Contribuir a la ruptura del ciclo intergeneracional de la pobreza extrema,
favoreciendo el desarrollo de las capacidades en educacin, salud y nutricin
de las familias beneficiarias de Oportunidades.
Propsito
Las familias en pobreza extrema beneficiarias de Oportunidades amplan sus
capacidades en educacin, salud y nutricin.
Componentes
Familias beneficiarias que cumplieron su corresponsabilidad en salud, con
apoyos alimentario y nutricional emitidos.
Familias beneficiarias, que cumplieron su corresponsabilidad, con el Paquete
Bsico Garantizado de Salud (PBGS) provisto.
Familias beneficiarias con nios y jvenes que cumplieron su
corresponsabilidad en educacin bsica y media superior, con apoyos
educativos emitidos.

Indicadores

A nivel de Fin, se mantuvo el mismo indicador solamente que se volvi a integrar en su nombre
la referencia hacia el promedio entre padres e hijos, tal como estaba en la Matriz 2007; esta
modificacin permita tener una descripcin clara de lo que el indicador pretenda medir.

En 2010, a nivel de Propsito, se mantuvieron los ocho indicadores que se tenan en 2009; cinco
se refieren a mediciones sobre aspectos educativos, dos acerca de salud y uno sobre nutricin.
Al igual que en laMIR2009, los indicadores Porcentaje de becarias en educacin bsica con
respecto de la composicin por sexo de la matrcula nacional y Porcentaje de becarias en
educacin media superior con respecto de la composicin por sexo de la matrcula nacional
continuaban midiendo cobertura, por lo que deberan estar en Componentes, ya que no medan
resultados del programa.

Indicadores 2010
Fin
Comparacin de la diferencia en la escolaridad promedio entre padres e hijos
de familias beneficiarias, respecto de la misma diferencia en la poblacin
nacional.
Propsito
Porcentaje de terminacin de educacin bsica de los jvenes beneficiarios de
Oportunidades.
Prevalencia de desnutricin crnica infantil, entendida como baja talla para la
edad, de la poblacin beneficiaria de Oportunidades.
Prevalencia de diarrea aguda infantil en la poblacin beneficiaria de
Oportunidades.
Porcentaje de becarias en educacin bsica con respecto de la composicin por
sexo de la matrcula nacional.
119

Porcentaje de becarias en educacin media superior con respecto de la
composicin por sexo de la matrcula nacional.
Porcentaje de becarios de secundaria que transitan a educacin media
superior.
Porcentaje de becarios de primaria que transitan a secundaria.
Prevalencia de anemia en mujeres de 12 a 49 aos de edad embarazadas y
beneficiarias del Programa Oportunidades.


4.2.1.4. Anlisis 2010-2011

Resumen narrativo

De 2010 a 2011, el Fin del programa se mantuvo sin cambios al hacer referencia a su
contribucin a la ruptura del ciclo intergeneracional de la pobreza extrema y favorecer el
desarrollo de las capacidades en educacin, salud y nutricin de las familias beneficiarias de
Oportunidades. En el Propsito, tampoco se tuvieron modificaciones y se mantuvo la Poblacin
Objetivo como Las familias en pobreza extrema beneficiarias de Oportunidades; el resultado
sobre ella tambin se conserv: que fueran ampliadas sus capacidades en educacin, salud y
nutricin.

Los 3 Componentes que se tenan en 2010, se mantuvieron en 2011, es decir, los apoyos
alimentario y nutricional, la provisin del Paquete Bsico Garantizado de Salud (PBGS) y los
apoyos para educacin bsica y media superior; todos ellos con el elemento que el programa
integr en 2009 al referirse a la corresponsabilidad de los beneficiarios.

La sintaxis y causalidad del Fin, Propsito y Componentes del programa eran las que marca la
MML.

Resumen
narrativo
2011
Fin
Contribuir a la ruptura del ciclo intergeneracional de la pobreza extrema,
favoreciendo el desarrollo de las capacidades en educacin, salud y nutricin
de las familias beneficiarias de Oportunidades.
Propsito
Las familias en pobreza extrema beneficiarias de Oportunidades amplan sus
capacidades en educacin, salud y nutricin.
Componentes
Familias beneficiarias que cumplieron su corresponsabilidad en salud, con
apoyos alimentario y nutricional emitidos.
Familias beneficiarias, que cumplieron su corresponsabilidad, con el Paquete
Bsico Garantizado de Salud (PBGS) provisto.
Familias beneficiarias con nios y jvenes que cumplieron su
corresponsabilidad en educacin bsica y media superior, con apoyos
educativos emitidos.
120


Indicadores

A nivel de Fin, se mantuvo el mismo indicador; tal como fue sealado en 2010, meda la
comparacin de la diferencia en la escolaridad promedio entre padres e hijos de familias
beneficiarias, respecto de la misma diferencia en la poblacin nacional. Era un indicador
adecuado; sin embargo, el nombre podra ser ms sencillo y claro al hacer referencia a lo que el
programa quera medir, es decir, el diferencial educativo entre los padres e hijos beneficiarios
respecto de la poblacin de referencia.

En 2011, a nivel de Propsito, se mantuvieron los ocho indicadores que se tenan en 2010; cinco
se referan a mediciones sobre aspectos educativos, dos acerca de salud y uno sobre nutricin.
Al igual que en laMIR2010, los indicadores Porcentaje de becarias en educacin bsica con
respecto de la composicin por sexo de la matrcula nacional y Porcentaje de becarias en
educacin media superior con respecto de la composicin por sexo de la matrcula nacional
continuaban midiendo cobertura, por lo que deberan estar en Componentes, ya que no medan
los resultados del programa.


Indicadores 2011
Fin
Comparacin de la diferencia en la escolaridad promedio entre padres e hijos
de familias beneficiarias, respecto de la misma diferencia en la poblacin
nacional.
Propsito
Porcentaje de terminacin de educacin bsica de los jvenes beneficiarios de
Oportunidades.
Prevalencia de desnutricin crnica infantil, entendida como baja talla para la
edad, de la poblacin beneficiaria de Oportunidades.
Prevalencia de diarrea aguda infantil en la poblacin beneficiaria de
Oportunidades.
Porcentaje de becarias en educacin bsica con respecto de la composicin por
sexo de la matrcula nacional.
Porcentaje de becarias en educacin media superior con respecto de la
composicin por sexo de la matrcula nacional.
Porcentaje de becarios de secundaria que transitan a educacin media
superior.
Porcentaje de becarios de primaria que transitan a secundaria.
Prevalencia de anemia en mujeres de 12 a 49 aos de edad embarazadas y
beneficiarias del Programa Oportunidades.


4.2.1.5. Anlisis 2011-2012

121

Resumen narrativo

De 2011 a 2012, el Fin del programa se mantuvo sin cambios al hacer referencia a su
contribucin a la ruptura del ciclo intergeneracional de la pobreza extrema y favorecer el
desarrollo de las capacidades en educacin, salud y nutricin de las familias beneficiarias de
Oportunidades. En el Propsito, tampoco se tuvieron modificaciones y se mantuvo la poblacin
objetivo como Las familias en pobreza extrema beneficiarias de Oportunidades; el resultado
sobre ella tambin se conserv: que sean ampliadas sus capacidades en educacin, salud y
nutricin.

Los 3 Componentes que se tenan en 2011 se mantuvieron en 2012, es decir, los apoyos
alimentario y nutricional, la provisin del Paquete Bsico Garantizado de Salud (PBGS) y los
apoyos para educacin bsica y media superior; todos ellos con el elemento que el programa
integr en 2009 al referirse a la corresponsabilidad de los beneficiarios.

La sintaxis y causalidad del Fin, Propsito y Componentes del programa son las que marca la
MML.

Resumen
narrativo
2012
Fin
Contribuir a la ruptura del ciclo intergeneracional de la pobreza extrema,
favoreciendo el desarrollo de las capacidades en educacin, salud y nutricin
de las familias beneficiarias de Oportunidades.
Propsito
Las familias beneficiarias en condiciones de pobreza desarrollan sus
capacidades de educacin, salud y nutricin.
Componentes
Familias beneficiarias que cumplieron su corresponsabilidad en salud, con
apoyos alimentario y nutricional emitidos.
Familias beneficiarias, que cumplieron su corresponsabilidad, con el Paquete
Bsico Garantizado de Salud (PBGS) provisto.
Familias beneficiarias con nios y jvenes que cumplieron su
corresponsabilidad en educacin bsica y media superior, con apoyos
educativos emitidos.

Indicadores

A nivel de Fin, se mantuvo el mismo indicador tal como fue sealado en 2011, meda la
comparacin de la diferencia en la escolaridad promedio entre padres e hijos de familias
beneficiarias, respecto de la misma diferencia en la poblacin nacional. Es un indicador
adecuado; sin embargo, el nombre podra ser ms sencillo y claro al hacer referencia en lo que
el programa quiere medir, es decir, el diferencial educativo entre los padres e hijos
beneficiarios respecto de la poblacin de referencia.

En 2012, a nivel de Propsito, se mantienen los ocho indicadores que se tenan en 2011; cinco
se refieren a mediciones sobre aspectos educativos, dos acerca de salud y uno sobre nutricin.
122

Al igual que en laMIR2011, los indicadores Porcentaje de becarias en educacin bsica con
respecto de la composicin por sexo de la matrcula nacional y Porcentaje de becarias en
educacin media superior con respecto de la composicin por sexo de la matrcula nacional
continan midiendo cobertura, por lo que deberan estar en Componentes, ya que no miden
resultados del programa.

Indicadores 2012
Fin
Comparacin de la diferencia en la escolaridad promedio entre padres e hijos
de familias beneficiarias, respecto de la misma diferencia en la poblacin
nacional.
Propsito
Porcentaje de terminacin de educacin bsica de los jvenes beneficiarios de
Oportunidades.
Prevalencia de desnutricin crnica infantil, entendida como baja talla para la
edad, de la poblacin beneficiaria de Oportunidades.
Prevalencia de diarrea aguda infantil en la poblacin beneficiaria de
Oportunidades.
Porcentaje de becarias en educacin bsica con respecto de la composicin por
sexo de la matrcula nacional.
Porcentaje de becarias en educacin media superior con respecto de la
composicin por sexo de la matrcula nacional.
Porcentaje de becarios de secundaria que transitan a educacin media
superior.
Porcentaje de becarios de primaria que transitan a secundaria.
Prevalencia de anemia en mujeres de 12 a 49 aos de edad embarazadas y
beneficiarias del Programa Oportunidades.


4.2.2. Principales comentarios a la Matriz de Indicadores 2007-2012

En esta seccin se hace un resumen de los principales comentarios emitidos a laMIRdel PDHO
de 2007 a 2012 por evaluadores externos, los cuales fueron rescatados de la documentacin
proporcionada para esta Meta evaluacin
11
. Los comentarios se presentan primero del Fin,



11
Para el PDHO se revisaron los siguientes documentos proporcionados al Meta-evaluador:
Comentarios a la MIR emitidos por el Coneval
Evaluacin de Consistencia y Resultados 2007-2008 del Programa de Desarrollo Humano Oportunidades
Evaluacin de Consistencia y Resultados 2011 del Programa de Desarrollo Humano Oportunidades
Evaluacin de Resultados de Oportunidades en Aspectos Sociales 2002-2009
Evaluacin Especfica de Desempeo 2008 del Programa de Desarrollo Humano Oportunidades
Evaluacin Especfica de Desempeo 2009 del Programa de Desarrollo Humano Oportunidades
Evaluacin Especfica de Desempeo 2010-2011
Auditora de Desempeo ASF 2010
123

posteriormente del Propsito, despus de los Componentes y finalmente se presentan los
comentarios que se identificaron como generales. Los resultados aqu presentados reflejan lo
encontrado en la citada evaluacin en el momento en que se llev a cabo y no necesariamente
siguen vigentes o reflejan la opinin del Meta-evaluador.

Cuando se establece que No se cuenta con comentarios, significa que no se identificaron
comentarios realizados por los actores mencionados en los documentos revisados.


4.2.2.1. Fin

A continuacin se describirn los principales comentarios de las diversas evaluaciones a nivel Fin
de laMIRde 2007 a 2012.

Principales comentariosMIR2007 Fin
Resumen narrativo:
No se cuenta con comentarios para la MIR.
Indicadores:
No se cuenta con comentarios para los indicadores.

Principales comentariosMIR2008 Fin
Resumen narrativo:
No se cuenta con comentarios para la MIR.
Indicadores:
A nivel de Fin, se sugiri que para 2010 fuera sustituido el indicador actual de la MIR,
ligado slo a la escolaridad, por uno propuesto sobre el impacto en la transmisin
intergeneracional de la pobreza.

Principales comentariosMIR2009 Fin
Resumen narrativo:
No se cuenta con comentarios para la MIR.
Indicadores:
Se recomend la inclusin de indicadores similares en al menos otra dimensin (por
ejemplo, salud).

Principales comentariosMIR2010 Fin
Resumen narrativo:
No se cuenta con comentarios para la MIR
Indicadores:



Histrico de Aspectos Susceptibles de Mejora
124

Se recomend que se definan indicadores suficientes para medir la contribucin del
programa en la ruptura intergeneracional de la pobreza.
El indicador Comparacin de la diferencia en la escolaridad promedio entre padres e
hijos de familias beneficiarias, respecto de la misma diferencia en la poblacin
nacional establecido en la Matriz de Indicadores para Resultados (MIR) 2010 del
PDHO para el objetivo de Fin Contribuir a la ruptura del ciclo intergeneracional de la
pobreza, favoreciendo el desarrollo de las capacidades en educacin, salud y
nutricin de las familias beneficiarias de Oportunidades no era suficiente para medir
la contribucin del programa en la ruptura intergeneracional de la pobreza.
Se recomend que se adoptaran las medidas requeridas, a fin de establecer en la
Matriz de Indicadores para Resultados del Programa de Desarrollo Humano
Oportunidades la meta del indicador "Comparacin de la diferencia en la escolaridad
promedio entre padres e hijos de familias beneficiarias, respecto de la misma
diferencia en la poblacin nacional".

Principales comentariosMIR2011 Fin
Resumen narrativo:
No se cuenta con comentarios para la MIR
Indicadores:
El Indicador a nivel Fin, que se refiere al diferencial en aos de educacin de los hijos
menores de 20, contra la escolaridad de sus padres, en hogares beneficiarios de
Oportunidades, respecto de la misma diferencia a nivel nacional se consideraba
pertinente y relevante en la medida que mide una brecha intergeneracional, aunque
se refera slo a uno de los Componentes (educacin) del programa. Lo anterior se
afirma considerando que es difcil medir brechas intergeneracionales en salud y
nutricin, pues se requiere construir cohortes intergeneracionales.

Principales comentariosMIR2012 Fin
Resumen narrativo:
No se cuenta con comentarios para la MIR.
Indicadores
No se cuenta con comentarios para los indicadores.


4.2.2.2. Propsito

A continuacin se describirn los principales comentarios de las distintas evaluaciones a nivel
Propsito de laMIRde 2007 a 2012.

Principales comentariosMIR2007 Propsito
Resumen narrativo:
No se cuenta con comentarios para la MIR.
Indicadores:
125

No se cuenta con comentarios para los indicadores.

Principales comentariosMIR2008 Propsito
Resumen narrativo:
No se cuenta con comentarios para la MIR.
Indicadores:
Para este ao, a nivel de Propsito se sugiri incluir al menos un indicador
relacionado con el mejoramiento de la salud, como el de das de enfermedad al ao,
y comparar los datos de beneficiarios y no beneficiarios en diversos rangos de edad.
Asimismo, se recomend incluir un indicador relacionado con el aprendizaje o las
capacidades cognitivas en el nivel bsico, y utilizar los resultados de las pruebas
Enlace o PISA, para poder apreciar si los efectos en matriculacin, permanencia y
graduacin se traducen en verdaderos impactos a nivel de las capacidades relevantes
adquiridas para insertarse posteriormente en mejores condiciones al mercado
laboral.

Principales comentariosMIR2009 Propsito
Resumen narrativo:
No se cuenta con comentarios para la MIR.
Indicadores:
Porcentaje de terminacin de educacin bsica de los jvenes beneficiarios de
Oportunidades. Se recomend que este indicador estableciera, en la medida de lo
posible, con relacin a valores promedio nacionales, de manera que pueda otorgar
mayor informacin. Al igual que para el indicador de Fin, tambin debieron agregarse
indicadores en otras dimensiones (salud, por ejemplo).
Prevalencia de desnutricin crnica infantil, entendida como baja talla para la edad,
de la poblacin beneficiaria de Oportunidades. Si se hubiese definido como cambio
en el tiempo y se le comparara con su equivalente nacional, podra ser un indicador
de propsito. De otra manera, no proporcionaba informacin sobre los componentes
del programa.

Principales comentariosMIR2010 Propsito
Resumen narrativo:
No se cuenta con comentarios para la MIR.
Indicadores:
No se cuenta con comentarios para los indicadores.


Principales comentariosMIR2011 Propsito
Resumen narrativo:
No se cuenta con comentarios para la MIR.
Indicadores:
No se cuenta con comentarios para los indicadores.
126


Principales comentariosMIR2012 Propsito
Resumen narrativo
No se cuenta con comentarios para la MIR.
Indicadores:
No se cuenta con comentarios para los indicadores.


4.2.2.3. Componentes

Principales comentariosMIR2007 Componentes
Resumen narrativo
No se cuenta con comentarios.

Principales comentariosMIR2008 Componentes
Resumen narrativo:
No se cuenta con comentarios.

Principales comentariosMIR2009 Componentes
Resumen narrativo:
No se cuenta con comentarios.

Principales comentariosMIR2010 Componentes
Resumen narrativo:
No se cuenta con comentarios.

Principales comentariosMIR2011 Componentes
Resumen narrativo:
No se cuenta con comentarios.

Principales comentariosMIR2012 Componentes
Resumen narrativo:
No se cuenta con comentarios.


127

Comentarios generales

En esta seccin se hace un recuento de los comentarios generales en el resumen narrativo e
indicadores que han hecho a laMIRde 2007 a 2012 del PDHO, para ello se identifican los
comentarios de las diversas evaluaciones para cada periodo.

Principales comentariosMIR2007
Resumen narrativo:
No se cuenta con comentarios.
Indicadores:
Se identific que en el Mecanismo 2007 de los Aspectos Susceptibles de Mejora
(ASM), el programa se comprometi a presentarun documento soporte sobre el
proceso de alineacin a laMIR2009 de los indicadores y registros de informacin que
generan los sistemas de informacin del Programa Oportunidades y a contar con una
sistematizacin de todos los indicadores y las variables del Programa.
En ese mismo Mecanismo, el programa se comprometi a elaborar el Documento de
trabajo con la memoria de los trabajos de alienacin de los distintos indicadores,
registros y tabulados de informacin que genera el Programa.

Principales comentariosMIR2008
Resumen narrativo:
El supuesto de Existe oferta accesible de educacin superior no es necesario para
que se cumpla el Propsito, pero s para el Fin, por lo que se recomienda que se
mueva de lugar. A nivel de Componentes, se recomienda incluir un indicador que d
cuenta de la recepcin de los apoyos alimentarios por parte de los beneficiarios.
Indicadores:
Se identific que en el Mecanismo 2008 de los Aspectos Susceptibles de Mejora
(ASM), el programa se comprometi a definir y elaborar la ficha tcnica de un
indicador a nivel de Propsito relacionado con la salud. Por ello, el programa incluy
el indicador "Prevalencia de diarrea aguda infantil en la poblacin beneficiaria de
Oportunidades" a laMIRen dicho nivel.
En ese mismo Mecanismo, el programa se comprometi a definir y elaborar un
indicador relacionado con la transicin de los becarios a la educacin media superior.
Por ello, el programa incluy el indicador de "Prevalencia de diarrea aguda infantil en
la poblacin beneficiaria de Oportunidades" a laMIRen dicho nivel.

Principales comentariosMIR2009
Resumen narrativo:
No se cuenta con comentarios.
Indicadores:
No hay comentarios para este indicador.


128

Principales comentariosMIR2010
Resumen narrativo:
No se cuenta con comentarios.
Indicadores:
Se identificaron los siguientes comentarios derivados de la Auditora del Desempeo
aplicada al Programa:
Que el programa disee e instrumente indicadores y metas anuales, a fin de evaluar
la cobertura de localidades donde se ubican las escuelas de educacin bsica a las
que asisten los becarios.
Que el programa disee e instrumente indicadores y metas anuales, a fin de evaluar
la cobertura del programa en las escuelas y la matrcula en educacin bsica en el
mbito nacional.
Que el programa disee e instrumente indicadores y metas anuales, a fin de evaluar
la cobertura de becarios de educacin bsica, respecto de su poblacin objetivo.
Que el programa incluya en la Matriz de Indicadores para Resultados del Programa
de Desarrollo Humano Oportunidades el indicador "Relacin becas alumnos
Oportunidades para educacin bsica", a fin de evaluar la contribucin del programa
en el otorgamiento de becas en educacin bsica.
Que el programa defina indicadores con el fin de comparar la prevalencia de
desnutricin crnica infantil de los beneficiarios con periodos anteriores para medir
el impacto del programa.
Que el programa disee e instrumente indicadores y metas anuales, a fin de evaluar
la cobertura de localidades donde se ubican las escuelas de educacin media
superior a las que asisten los becarios.
Que el programa disee e instrumente indicadores y metas anuales, a fin de evaluar
la cobertura del programa en las escuelas y la matrcula de educacin media superior
en el mbito nacional.
Que el programa disee e instrumente indicadores y metas anuales, a fin de evaluar
la cobertura de becarios de educacin media superior, respecto de su poblacin
objetivo.
Que el programa disee e instrumente indicadores y metas anuales, a fin de evaluar
la permanencia escolar de los becarios de educacin media superior.
Que el programa disee e instrumente indicadores y metas anuales, a fin de evaluar
la terminacin escolar de los becarios de educacin media superior.
Que el programa disee e instrumente indicadores y metas anuales, a fin de evaluar
la cobertura de becarios de educacin media superior con apoyos emitidos para la
adquisicin de tiles escolares.

Principales comentariosMIR2011
Resumen narrativo:
No se cuenta con comentarios.
Indicadores:
No se cuenta con comentarios.
129


Principales comentariosMIR2012
Resumen narrativo:
No se cuenta con comentarios.
Indicadores:
No se cuenta con comentarios.


4.2.3. Anlisis del resumen narrativo de la Matriz de Indicadores para Resultados 2012

En esta seccin el Meta evaluador hace un anlisis de laMIR2012 y de su correspondencia con
las ROP de ese ao para los niveles de Fin, Propsito y Componentes. Tambin, se presentan las
propuestas de mejora para laMIR2013 del resumen narrativo y de los indicadores de Fin y de
Propsito.


4.2.3.1. Anlisis de laMIR2012 y vnculo con las Reglas de Operacin

Fin
El Fin cumple con la sintaxis que establece la MML.
Si bien en el Objetivo General del Programa se especifican los elementos del Fin, la
relacin que se establece es contraria. En las ROP se describe que el objetivo primario es
Favorecer el desarrollo de las capacidades asociadas a la educacin, salud y nutricin de
las familias, lo cual es el Propsito del programa y debera estar en el Objetivo
Especfico de las ROP.

Propsito
El Propsito cumple con la sintaxis que establece la MML.
Aunque los elementos del Propsito se encuentran en los Objetivos Especficos de las
ROP, en las ROP se especifica que la poblacin objetivo del programa son los hogares
cuyas condiciones socioeconmicas y de ingreso sean menores a la Lnea de Bienestar
Mnimo (LBM), lo cual no se expresa como se encuentra en la MIR.
Los Objetivos Especficos se refieren directa o indirectamente a los Componentes de la
MIR; sin embargo, stos no debieran estar de esa forma en las ROP.

Componentes
Los Componentes se encuentran agregados por elementos del apartado Caractersticas
de los Apoyos del Programa, estos podran ser descritos tal como estn en laMIRdel
programa.
Es posible identificar los Componentes en las ROP, pero nicamente de manera
agregada.

130

4.2.3.2. Propuesta de mejoras paraMIR2013

A continuacin se emiten algunas propuestas de mejora a nivel Fin y Propsito para laMIR2013.

Fin

El Fin no ha tenido cambios drsticos; nicamente de 2007 a 2008, cambi de contribuir a un
objetivo relacionado con el "desarrollo humano sustentable y a la igualdad de oportunidades de
familias que viven en condiciones de pobreza extrema en Mxico" a uno ms especfico, como
lo es la contribucin a la "ruptura del ciclo intergeneracional de la pobreza extrema de la
poblacin beneficiaria en dicha condicin". De 2008 a 2009, nicamente se present una
acotacin al omitir "la poblacin beneficiaria", lo cual permite distinguir la contribucin a una
problemtica general.

De acuerdo con lo anterior y con las mejoras que ha tenido el programa, se recomienda que
contine dicho objetivo como Contribuir a la ruptura del ciclo intergeneracional de la pobreza
extrema, favoreciendo el desarrollo de las capacidades en educacin, salud y nutricin de las
familias beneficiarias de Oportunidades".

Propsito

El Propsito no sufri cambios sustanciales, nicamente de 2008 a 2009 se elimin el medio por
el cual el programa pretende alcanzar su Propsito.

De acuerdo con lo anterior y con las mejoras que ha tenido el programa, se recomienda que
contine dicho objetivo como Las familias beneficiarias en condiciones de pobreza desarrollan
sus capacidades de educacin, salud y nutricin.

Componentes

Se considera que los cambios que se dieron en los Componentes del programa mejoraron este
nivel de la MIR. El conjuntar Componentes, tal como se hizo de 2007 a 2009 ayuda a clarificar la
concepcin de los Componentes; sin embargo, el elemento de "cumplimiento de la
corresponsabilidad" es una condicin que bien pudiera estar excluida del nombre de los
Componentes y que se trate de caractersticas condicionadas en las Reglas de Operacin del
programa.

De acuerdo con lo anterior y con las mejoras que ha tenido el programa, se recomienda, de ser
posible, que se incluya un componente que agregue los apoyos que el programa otorga a su
Poblacin Objetivo, como los apoyos para contribuir con el gasto en energticos, los apoyos a
adultos mayores y otros que el programa proporciona.

131

4.2.4. Anlisis de los indicadores de Fin y Propsito

En esta seccin se valoran los indicadores de Fin y Propsito de laMIR2012.


4.2.4.1. Indicadores de laMIR2012

Fin
El indicador tiene una construccin estadstica slida y robusta, en la que se aprecia
claramente la informacin que el programa quiere obtener para monitorear su objetivo.
El indicador muestra informacin que es importante para la medicin de los resultados o
el impacto que el programa quiere producir en su poblacin beneficiaria.
El mtodo de clculo del indicador es sencillo y entendible.
La medicin de la comparacin de la diferencia de aos en la escolaridad promedio entre
padres e hijos de familias beneficiarias, respecto de la misma diferencia en la poblacin
nacional presenta informacin importante del objetivo del resumen narrativo (apartado
Educacin).
La Nota anexa no deja dudas acerca de las variables que se utilizan en el mtodo de
clculo del indicador.
El indicador no considera los dems elementos del objetivo como la nutricin y la salud,
aunque stos no necesariamente tendran que estar en un solo indicador.
El nombre del indicador no es del todo claro, se puede plantear de mejor manera para
que el lector o analista lo relacione directamente con lo que se pretende medir.

Propsito

Porcentaje de terminacin de educacin bsica de los jvenes beneficiarios de
Oportunidades. Aunque la frmula del indicador es clara, las variables utilizadas pueden
ser planteadas de mejor manera para que no quede duda de la poblacin a la que se
refiere. Adems, no existe informacin disponible acerca de la edad promedio con que
los jvenes beneficiarios terminan la educacin bsica, por lo que no es posible saber si
el establecimiento de 15 aos en el denominador sea el ms adecuado. Finalmente, ha
sido notable que, desde 2009, las precisiones a la frmula de clculo del indicador han
permitido mejorar el entendimiento de lo que el programa quiere medir.
Prevalencia de desnutricin crnica infantil, entendida como baja talla para la edad, de
la poblacin beneficiaria de Oportunidades. Si se definiera como cambio en el tiempo y
se le comparara con el grupo de jvenes sin oportunidades comparables, podra ser un
indicador de Propsito. La propuesta de comparacin nacional no refleja las condiciones
de los beneficiarios, debido a que los grupos no son comparables entre s;
necesariamente tendran que compararse con el grupo de jvenes sin oportunidades
comparables en el borde.
Prevalencia de diarrea aguda infantil en la poblacin beneficiaria de Oportunidades. El
indicador busca medir un aspecto relacionado con el impacto del programa a nivel de
132

Propsito en la salud de los beneficiarios. Sin embargo, no queda claro si la variable es la
ms adecuada para medir el impacto en salud.
Porcentaje de becarias en educacin bsica con respecto de la composicin por sexo de
la matrcula nacional. El indicador busca medir un aspecto relacionado con el impacto
del programa a nivel de Propsito; sin embargo, si se pretende incluir un indicador de
gnero, se debe de seleccionar otro indicador asociado al gnero que refleje variaciones
en la condicin de pobreza.
Porcentaje de becarias en educacin media superior con respecto de la composicin por
sexo de la matrcula nacional. El indicador mide un aspecto fundamental del objetivo
(relacionado con la educacin), no ha tenido variaciones en el tiempo y tiene una
construccin adecuada; sin embargo, debe estar a nivel de Componente, ya que es una
forma de presentacin de un entregable del programa.
Porcentaje de becarios de secundaria que transitan a educacin media superior. Medir la
continuidad de los becarios al siguiente nivel educativo representa un aspecto
fundamental del objetivo que debe ser monitoreado. La informacin para la estimacin
del indicador se obtiene de registros del programa, por lo que no es onerosa y su
frmula de clculo es sencilla y clara.
Porcentaje de becarios de primaria que transitan a secundaria. El indicador se considera
innecesario puesto que la transicin a secundaria es alta para los beneficiarios y no
beneficiarios.
Prevalencia de anemia en mujeres de 12 a 49 aos de edad embarazadas y beneficiarias
del Programa Oportunidades. El indicador mide un aspecto fundamental del objetivo
(relacionado con la salud), no ha tenido variaciones en el tiempo y tiene una
construccin adecuada.


4.2.4.2. Propuesta de mejoras para indicadoresMIR2013

A continuacin se emiten algunas propuestas de mejora a los indicadores de nivel Fin y
Propsito para laMIR2013.

Fin

Aunque el indicador es claro en su definicin y en las variables que utiliza, el nombre
podra ser ms sencillo y claro al hacer referencia a lo que el programa quiere medir, es
decir, el diferencial educativo entre los padres e hijos beneficiarios respecto de la
poblacin de referencia.
Se sugiere aadir un indicador de movilidad laboral, entendido como la mejora en la
insercin laboral de los hijos y los padres, vase EMSIJBOZR2010. Para ello se propone el
indicador:
o Diferencia en la probabilidad de movilidadocupacionalintergeneracional de los
jvenes de 16 a 24 aos de familias beneficiarias en el umbral de la lnea de
puntaje del PDHO, con respecto de la misma probabilidad en de los jvenes de
familias no beneficiariasen dicho umbral.
133


Propsito

Educacin:
o Diferencia en la escolaridad promedio de los jvenes de 16 a 24 aos de familias
beneficiarias en el umbral de la lnea de puntaje del PDHO, con respecto de la
misma variable de los jvenes de familias no beneficiarias en dicho umbral.
o Diferencia en la eficiencia terminal en secundaria de los jvenesde familias
beneficiarias en el umbral de la lnea de puntaje del PDHO, con respecto de la
misma variable de los jvenes de familias no beneficiarias en dicho umbral.
o Diferencia en la matriculacin en el nivel medio superior de los jvenes de 15 a
21 aos de familias beneficiarias en el umbral de la lnea de puntaje del PDHO,
con respecto de la misma variable de los jvenes de familias no beneficiarias en
dicho umbral.
o Diferencia en los resultados de la prueba Enlace en primaria y secundaria de los
nios y jvenes de familias beneficiarias en el umbral de la lnea de puntaje del
PDHO, con respecto de la misma variable para los nios y jvenes de familias no
beneficiarias en dicho umbral.
Salud:
o Diferencia en la frecuencia de visitas mdicas preventivas y de control de los
miembros de familias beneficiarias en el umbral de la lnea de puntaje del PDHO,
con respecto de la misma variable para los miembros de familias no beneficiarias
en dicho umbral.
o Diferencia en el ndice de fecundidad de las mujeres de familias beneficiarias en
el umbral de la lnea de puntaje del PDHO, con respecto de la misma variable
para las mujeres de familias no beneficiarias en dicho umbral.
o Diferencia en la incidencia de enfermedades diarreicas los nios menores de 5
aos de familias beneficiarias en el umbral de la lnea de puntaje del PDHO, con
respecto de la misma variable para los nios de familias no beneficiarias en dicho
umbral.
Alimentacin y nutricin:
o Diferencia en el puntaje Z de nios menores de 12 aos de familias beneficiarias
en el umbral de la lnea de puntaje del PDHO, con respecto de la misma variable
para los nios de familias no beneficiarias en dicho umbral.
o Diferencia en la prevalencia de anemia en mujeres en embarazo o lactancia de
familias beneficiarias en el umbral de la lnea de puntaje del PDHO, con respecto
de la misma variable para las mujeres de familias no beneficiarias en dicho
umbral.
o Diferencia en los resultados de las pruebas estandarizadas de desarrollo cognitivo
y lingstico en nios de familias beneficiarias en el umbral de la lnea de puntaje
del PDHO, con respecto de la misma variable para los nios de familias no
beneficiarias en dicho umbral.


134

5. Reflexiones sobre la situacin actual del programa y hacia dnde debera dirigirse

En este apartado, el equipo metaevaluador hace una reflexin sobre la situacin actual del
PDHO y hacia dnde debera dirigirse, derivando de ello una serie de recomendaciones que se
someten a la consideracin de la Sedesol y la Coordinacin Nacional. Para ello, se realizaron tres
actividades bsicas, que son distintas pero complementarias. Por un lado, se retomaron los
principales resultados de las evaluaciones al PDHO y a otros programas similares. Si bien se
construye sobre los anlisis realizado por los autores originales, en algunos casos especficos se
llega a conclusiones distintas; esto es fundamentalmente porque se tuvieron que reconsiderar
ciertos hallazgos a la luz de las limitaciones en las fuentes de informacin utilizadas, o porque se
replicaron ejercicios puntuales de forma ms amplia y rigurosa.

Por otro lado, el equipo metaevaluador revis una serie de documentos acadmicosque no
necesariamente evaluaciones como talsobre Oportunidades y otros programas de
transferencias condicionadas de ingreso en el mundo, as como la literatura en torno a las
capacidades bsicas y el combate a la pobreza ms ampliamente entendido. Esto sirvi para
extender el trabajo previo y abrir la perspectiva analtica, lo que permite apreciar avenidas
distintas e innovadoras para los fines y propsitos que persigue Oportunidades.

Finalmente, la reflexin tambin se comparti a travs de la realizacin de un Taller de
evaluacin, prospectiva y propuesta estratgica, con la participacin de personal de diversas
reas tcnicas de la Coordinacin General del PDHO as como de la Sedesol, facilitado por el
equipo metaevaluador. En dicho evento, se hizo una valoracin de los resultados y logros, un
anlisis prospectivo sobre la problemtica focal del programa, y una definicin de propuestas
estratgicas, a efecto de sugerir cambios y adecuaciones que permitan enfrentar los retos
futuros y mejorar el desempeo del programa. Los resultados del taller sirvieron para informar
la reflexin, al considerar temas no explorados, incorporar visiones distintas y considerar
nuevas alternativas al anlisis de la metaeveluacin.

As, estas reflexiones sobre la situacin actual del programa y las recomendaciones de hacia
dnde debera dirigirse, se enfocan principalmente en aspectos asociados al diseo, la
operacin y los resultados. Cabe enfatizar que no necesariamente reflejan las conclusiones de
los autores de las evaluaciones, ni la posicin de los servidores pblicos involucrados de la
Sedesol y la Coordinacin Nacional, sino que son responsabilidad exclusiva del equipo
metaevaluador.


5.1. Sobre el diagnstico y las propuestas de atencin

Reflexin:

Los dos diagnsticos del programa que se han realizado recientementeuno sobre el problema
focal y otro sobre la situacin de la poblacin potencialmuestran deficiencias e
inconsistencias importantes, particularmente porque no especifican de forma suficiente y
135

adecuada la lgica de causa-efecto, de forma tal que haga explcito el conjunto de relaciones
causales, asociaciones y supuestos que generan el dficit de capacidades bsicas y la
transmisin intergeneracional de la pobreza extrema.

Adems, los diagnsticos no incluyen una propuesta de atencin, que revise de experiencias
nacionales e internacionales para atender un problema con caractersticas similares al PDHO;
que especifique, valore y seleccione las alternativas de atencin; y que proponga elementos de
rediseo as como proyecciones y previsiones para mejorar sustancialmente el desempeo del
programa.

Finalmente, los diagnsticos no retoman y valoran de forma sistemtica los hallazgos y
recomendaciones del conjunto de las evaluaciones, en especial aquellos que analizan
crticamente su diseo y resultados, sealando deficiencias, limitaciones y reas de
oportunidad. Esto es fundamental, ya que las evaluaciones sugieren que los efectos e los logros
varan ampliamente dependiendo de los indicadores seleccionados, las caractersticas de los
beneficiarios, contexto de localidades, y el tamao de las brechas iniciales, entre otros factores.
As, en algunos segmentos e indicadores relevantes los impactos llegan a ser ms pequeos o
nulos.

Recomendacin:

Se recomienda a la Sedesol y la CNPDHO elaborar un diagnstico actualizado, detallado y
riguroso de la problemtica que sustenta la razn de ser del programa, as como una serie de
propuestas de atencin que sirva como base para la planeacin estratgica, la mejora y el
rediseo de algunos aspectos del programa.


5.2. Sobre la planeacin estratgica de mediano plazo

Reflexin:

Las evaluaciones al PDHO repetidamente se han referido a la ausencia de un programa o plan de
mediano y largo plazo como una debilidad importante del programa, pues solo se cuenta con
planes de trabajo anuales centrados fundamentalmente en aspectos operativos. La ausencia de
un instrumento de planeacin de mediano plazo no permite establecer y comunicar prioridades
y estrategias claras, ordenar el trabajo ms all de lo inmediato y coyuntural, ni acomodar una
agenda de mejora. Esto tiene implicaciones importantes para el rediseo del programa, la
ampliacin de su cobertura, la complementariedad con otros programas, y sobre todo, la
coordinacin inter-sectorial con los diversos actores involucrados.


136

Recomendacin:

Elaborar un Programa Especial para el PDHO, en los trminos de lo establecido en la Ley de
Planeacin,
12
en consideracin de la importancia del programa en cuanto al nmero de
beneficiarios que atiende, los apoyos que brinda, los montos financieros que recibe y el alcance
inter-secretarial que comprende.

Para ello, se recomienda a la Sedesol que solicite al Titular del Ejecutivo Federal que indique la
realizacin del citado programa en el Plan Nacional de Desarrollo, conforme a lo establecido en
el artculo 22 de la Ley.
13
Alternativamente, se sugiere a la Sedesol que proponga la realizacin
de este programa a la SEP, la SS, el IMSS y la CNPDHO, ya que tambin puede hacerse
posteriormente a la emisin del PND, cubriendo los requisitos jurdicos correspondientes. Como
antecedente, se puede citar al Programa Institucional Oportunidades 2002-2006, que se realiz
en la administracin anterior, cuyo alcance era un tanto ms limitado en la medida en que se
refera fundamentalmente a las competencias del rgano desconcentradola CNPDHOy no
como tal al conjunto de las dependencias y entidades que participan en el programa.


5.3. Sobre los apoyos en educacin

Reflexin:

El programa ha obtenido avances significativos para alcanzar sus objetivos, en las dimensiones
de educacin, salud y alimentacin. Sin embargo, al analizar a detalle las evaluaciones es claro
que los logros varan ampliamente, pues mientras que en algunos indicadores relevantes los
impactos son muy favorables, en otros tienden a ser ms pequeos o nulos. En lo que toca al
componente educativo, los resultados del programa en los beneficiarios de las becas son muy
distintos cuando se comparan los mbito rural, suburbano y el urbano, as como al comparar los
niveles de primaria, secundaria y medio superior, como se puede apreciar en la siguiente tabla:





12
La Ley de Planeacin, en su artculo 26, establece que los programas especiales se referirn a las prioridades del
desarrollo integral del pas fijadas en el Plan Nacional de Desarrollo o a las actividades relacionadas con dos o ms
dependencias coordinadoras de sector. Por otro lado, en el artculo 24, la Ley establece que los programas
institucionales que deban elaborar las entidades paraestatales, sesujetarn a las previsiones contenidas en el Plan
Nacional de Desarrollo y en el programa sectorial correspondiente.
13
Artculo 22.- El Plan indicar los programas sectoriales, institucionales, regionales y especiales quedeban ser
elaborados conforme a este captulo.
137

Efectos e impactos educativos de Progresa-Oportunidades
Indicador Comparacin Tratamiento Impacto
atribuible
Incremento en la probabilidad de
inscripcin a primarias rurales (Schultz
2000).
M: 1.2 ptos/por H: 0.5 ptos/por
(De 97% a 98% para ambos, aproximadamente)
Tasa de continuidad de la primaria a la
secundaria en localidades rurales (Schultz
2000a).
58% 69% 19%
Alumnos matriculados en secundarias
rurales (R), semi-urbanas (SU) y urbanas (U)
1997-2001 (Parker 2002).
R: 71.67
SU: 277.3
R: 88.31
SU: 295.4
R: 23.2%
SU: 6.5%
U: No sig.
Alumnos inscritos al primer ao de
educacin media superior en localidades
rurales (R) y urbanas (U) (Parker 2002).
R: 54.65
U: 154.66
R: 75.29
U: 164.52
R: 37.8%
U: 6.4%
Aos de escolaridad de nias (M) y nios
(H) de localidades rurales 1997-2003
(Parker et al 2005).
M: 7.7
H: 7.4
M: 8.5
H: 8.5
M: 10.38%
H: 14.86%
Fuente: Elaboracin propia con datos selectos de las evaluaciones de Progresa-Oportunidades 2000-2005.
Nota: Se tomaron slo los datos de estas evaluaciones por considerarse los ms robustos, en funcin de las
metodologas y muestras utilizadas.

Si bien existen mltiples factores que inciden sobre la capacidad del programa para lograr los
impactos esperados, en opinin del equipo metaevaluador tres de ellos en particular resultan
crticos, en todos los contextos y en todos los niveles: el tamao de las brechas iniciales, el costo
de oportunidad del estudio con relacin al trabajo, y el acceso efectivo a las escuelas.

En lo que toca a las brechas iniciales, por un efecto similar a los rendimientos decrecientes, es
lgico pensar que a mayor sea la brecha inicial en el grupo de referencia mayor el potencial de
las intervenciones, y viceversa. Esto sirve para explicar los magros efectos generales del
programa en primaria, pues dados los niveles iniciales cercanos al cien por ciento en las
localidades rurales atendidas por Progresa, slo uno de cada 98 nios que reciban beca no se
hubiera inscrito en ausencia de los apoyos. Al analizar el caso de la matriculacin en secundaria
los resultados son distintos, pues en las localidades rurales se encontraron efectos significativos
y de magnitud muy relevante (23.2%), mismos que disminuyeron en las localidades suburbanas
(6.5%), y se volvieron no significativos en las urbanas. Si bien los datos de matriculacin en
general son relativamente altos considerando los tres aos, en un rango de 71% a 94% para la
poblacin general, segn datos del Censo 2010la mayor brecha de matriculacin en este nivel
se encuentra en las zonas rurales, seguida de las suburbanas y luego de las urbanas. En
contraste, en el nivel medio superior los efectos en la inscripcin a primer ao fueron muy altos
en las localidades rurales (37.8%), y menores pero an relevantes en las urbanas (6.4%). Es de
sobra conocido que en el trnsito de la secundaria al nivel medio superior la matrcula se cae a
niveles medios y bajos.


138

De tal forma, y sin pretender que sea la nica razn, una constante en el comportamiento
observado es que el programa tiene ms efectos cuando las brechas
viceversa. La magnitud de las brechas en
localidad se puede apreciar en la siguiente grfica.

Fuente: Elaboracin propia con datos del Censo Nacional de Poblacin y Vivienda 2010.
Nota: Los datos corresponden a la poblacin general y no slo a la

En lo que toca al costo de oportunidad de estudiar, este siempre ha sido un elemento central en
la estrategia para cambiar los incentivos asociados a la acumulacin de capital humano de las
familias en pobreza extrema. De hecho:

La fijacin del monto de las becas educativas del Progresa busc que estas propiciaran, por un
lado, que los nios y nias no abandonaran sus estudios para trabajar regularmente y, por otro,
que los nios que haban dejado de asistir a la escuela pudiesen dejar
sistema escolar. Para ello, el esquema de becas educativas deba cubrir el costo de oportunidad
de los educandos.
14


El costo de oportunidad de estudiar aumenta conforme los alumnos van ganando edad y se
amplan sus opciones de incorporacin a los mercados laborales. Esta es la razn por los cual las
becas son menores en primaria y mayores en el nivel medio superior. No
resultados de las evaluaciones expuestos anteriormente llevan a cuestionar en qu medida los



14
Levy, Santiago y Evelyne Rodrguez.
Mxico. Banco Interamericano de Desarrollo. Mxico: Editorial Planeta Mexicana, S.A. de C.V., pp. 74.
De tal forma, y sin pretender que sea la nica razn, una constante en el comportamiento
es que el programa tiene ms efectos cuando las brechas educativas
La magnitud de las brechas en asistencia escolar por grupo de edad y tipo de
localidad se puede apreciar en la siguiente grfica.
Fuente: Elaboracin propia con datos del Censo Nacional de Poblacin y Vivienda 2010.
Nota: Los datos corresponden a la poblacin general y no slo a la de Oportunidades.
En lo que toca al costo de oportunidad de estudiar, este siempre ha sido un elemento central en
la estrategia para cambiar los incentivos asociados a la acumulacin de capital humano de las
familias en pobreza extrema. De hecho:
acin del monto de las becas educativas del Progresa busc que estas propiciaran, por un
lado, que los nios y nias no abandonaran sus estudios para trabajar regularmente y, por otro,
que los nios que haban dejado de asistir a la escuela pudiesen dejar
sistema escolar. Para ello, el esquema de becas educativas deba cubrir el costo de oportunidad
El costo de oportunidad de estudiar aumenta conforme los alumnos van ganando edad y se
amplan sus opciones de incorporacin a los mercados laborales. Esta es la razn por los cual las
becas son menores en primaria y mayores en el nivel medio superior. No
resultados de las evaluaciones expuestos anteriormente llevan a cuestionar en qu medida los

Rodrguez. (2005).Sin herencia de pobreza: el programa Progresa
Banco Interamericano de Desarrollo. Mxico: Editorial Planeta Mexicana, S.A. de C.V., pp. 74.
De tal forma, y sin pretender que sea la nica razn, una constante en el comportamiento
educativas son mayores, y
asistencia escolar por grupo de edad y tipo de


En lo que toca al costo de oportunidad de estudiar, este siempre ha sido un elemento central en
la estrategia para cambiar los incentivos asociados a la acumulacin de capital humano de las
acin del monto de las becas educativas del Progresa busc que estas propiciaran, por un
lado, que los nios y nias no abandonaran sus estudios para trabajar regularmente y, por otro,
que los nios que haban dejado de asistir a la escuela pudiesen dejar de trabajar y retornar al
sistema escolar. Para ello, el esquema de becas educativas deba cubrir el costo de oportunidad
El costo de oportunidad de estudiar aumenta conforme los alumnos van ganando edad y se
amplan sus opciones de incorporacin a los mercados laborales. Esta es la razn por los cual las
becas son menores en primaria y mayores en el nivel medio superior. No obstante, los
resultados de las evaluaciones expuestos anteriormente llevan a cuestionar en qu medida los
pobreza: el programa Progresa Oportunidades de
Banco Interamericano de Desarrollo. Mxico: Editorial Planeta Mexicana, S.A. de C.V., pp. 74.
139

montos de los apoyos resultan adecuados para lograr sus propsitos. En particular, cabe
preguntarse si realmente se justifican las becas en primaria, dado lo cerrado de las brechas
iniciales y el bajo costo de oportunidad. Igualmente, sera pertinente valorar si los montos
actuales son adecuados en la secundaria rural y el nivel medio superior rural y urbano, en
funcin de las brechas ms amplias que todava subsisten as como por los altos costos de
oportunidad que representan las alternativas laborales
15
en especial los de migrar para los
estudiantes de la zona rural y los del sector informal para los urbanos.

Finalmente, el acceso efectivo a la escuela es una dimensin poco explorada en las evaluaciones
de Oportunidades, pero que tiene un peso considerable en su capacidad de incorporar o no a
los nios y jvenes que son sus becarios potenciales. El equipo evaluador entiende este
concepto a partir de tres elementos bsicos:

a) disponibilidad, que se refiere a la existencia o no de oferta educativa suficiente para
absorber a todos los becarios potenciales, en todos los niveles;

b) distancia, entendida no solo como la longitud espacial entre la vivienda de los becarios
potenciales y la escuela a la que debe acudir, sino tambin como el periodo temporal
que los separa y el costo que implica hacer el trayecto; y

c) admisin, ligada especficamente a la capacidad de los becarios de ser aceptados y
permanecer en las escuelas del nivel medio superior, en funcin de sus conocimientos y
habilidades desarrolladas en el nivel bsico.

Cabe recordar que el programa surgi fundamentalmente como una medida para impulsar la
asistencia escolar en un entorno rural de extrema pobreza, donde el obstculo principal ya no
se conceba como una cobertura insuficiente de las escuelas, pues efectivamente haba
avanzado mucho en el nivel bsico durante las dcadas previas. El problema se vea como una
baja propensin de los padres de familia para inscribir a sus hijos en ellas, a partir de su
condicin de carencia y la necesidad de incorporarlos al trabajo productivo a edades
relativamente tempranas. Esto es, se trataba de un problema de demanda de los hogares y no
de oferta institucional de los servicios educativos. Por ello, se busc cambiar los incentivos a
travs de las transferencias de ingreso condicionadas a la asistencia escolar, lo que disminua la
carencia de los hogares en el corto plazo al tiempo que impulsaba la acumulacin de capital
humano en el mediano y largo plazo. Sin embargo, esta lgica, que se ha mantenido en el
centro del diseo del programa hasta la fecha, asume implcitamente que la cobertura existente



15
Para anlisis independientes en lneas similares, vase: de Janvry, A. y E. Sadoulet (2005) Conditional cash
transfer programs for child human capital development: Lessons derived from experience in Mexico and Brazil.
Conferencia del 25 aniversario de GRADE Investigacin, Polticas y Desarrollo. Lima, Per; y Taboada, B., M. Robles
y F. Regalia (2007) Algunos ejercicios de micro-simulacin sobre el impacto de eventuales cambios en las
transferencias de Oportunidades. Washington, D.C.: BID, mimeo.
140

garantiza el acceso efectivo a la escuela, o al menos que no es algo que est en el mbito de
accin del programa.

La realidad, sin embargo, no es as de clara. Si bien el supuesto de la cobertura aplica
razonablemente a nivel general, el acceso efectivo se empieza a desdibujar en diversos casos
especficos, como los que siguientes ejemplos:

por disponibilidad de espacios educativos, principalmente en algunos estados del pas as
como en las zonas indgenas, donde subsisten dficits mnimos en primaria, pequeos en
secundaria y sustanciales en media superior;

por distancia a las escuelas, en las localidades muy pequeas y dispersas,
particularmente aquellas menores a 50 habitantes en zonas serranas y semidesrticas,
con distancias lineales mayores a 5 kilmetros o 40 minutos a pie de la localidad de
origen a la que tiene la escuela ms cercana, as como en aquellas que se consideran
inconexas, por la falta de camino y de transporte pblico, independientemente de la
distancia;
16


por admisin a las escuelas, especficamente en el caso de los becarios potenciales para
el nivel medio superior que hacen exmenes de ingresogeneralmente por la limitacin
de espaciospara los cuales estn en condicin de desventaja, por provenir de escuelas
primarias y secundarias con niveles de calidad educativa inferiores al promedio, como
suele ser el caso en las rurales, las comunitarias e indgenas, as como en las
modalidades de telesecundaria y multigrado.
17


En condiciones y situaciones como las descritas anteriormente, es difcil pensar que las becas
educativas de Oportunidades por s mismas logren efectos significativos para los individuos que
las sufren, que son todos beneficiarios potenciales pero pocos podrn ser beneficiarios reales,
por la falta de acceso efectivo a las escuelas y por ende al programa.

En la visin de conjunto, las diferencias en las brechas iniciales, las variaciones en los costos de
oportunidad de estudiar y los dficits de acceso efectivo a las escuelas, configuran una
problemtica compleja en torno a los apoyos educativos, que ponen duda la pertinencia,
eficiencia y efectividad de algunas de sus variantes, al menos tal como son actualmente.




16
Las referencias citadas son las que utiliza el Instituto Estatal de Educacin Pblica de Oaxaca (IEEPO), para la
localizacin de escuelas en el nivel bsico, que es un buen ejemplo para este caso. Las referencias del Consejo
Nacional de Fomento Educativo, el otro gran actor en estas localidades, pueden ser distintas.
17
Para mayores detalles sobre la calidad educativa por tipo y modalidad, refirase a las siguientes publicaciones del
Instituto Nacional para la Evaluacin de la Educacin: La calidad de la educacin bsica en Mxico. Informe anual
2006. Mxico, D.F., 2006; Cmo est la educacin secundaria en Mxico? Mxico, D.F., INEE; y La educacin
indgena: el gran reto. Mxico, D.F., INEE. 2004.
141

Recomendacin:

Con base en lo anterior, se recomienda a la CNPDHO, la Sedesol y la SEP las siguientes acciones:

a) Valorar la pertinencia y factibilidad de eliminar prescindir gradualmente las becas
amplias para la primaria, y centrarse slo en los nios y nias sobre los que se logra
impactos en dicho nivel as como a los otros a los que an no se est llegando. Para ello,
se debe valorar el impacto que una eliminacin gradual de las becas amplias en primaria
pudiera tener en el consumo de las familias beneficiarias, para hacer en todo caso los
ajustes que correspondan en los montos del apoyo alimentario. En una lnea similar, se
recomienda tambin eliminar las becas diferenciadas entre nias y nios, ya que las
evaluaciones sistemticamente han mostrado que no existen efectos diferenciados
significativos en las variables de logro escolar.

b) Utilizar los recursos derivados de una eventual eliminacin de las becas amplias en
primaria, para mejorar la calidad de la educacin en primaria y secundariaen la lnea
de lo que se plantea ms adelanteas como para incrementar las becas en secundaria y
preparatoria.

c) Identificar a los hogares con nios en edad escolar que no asisten a la escuela o que
podran estar en riesgo de desertar, para darles montos mayores de transferencias,
cubrir gastos de transporte o pagar por su atencin en albergues indgenas o casas de
asistencia, a efecto de incentivar su inscripcin, asistencia y terminacin, compensando
los problemas de disponibilidad y acceso efectivo. Esto se recomienda especialmente
para beneficiarios actuales o potenciales en las localidades ms pequeas y dispersas as
como en las zonas indgenas, quienes concentran los mayores niveles de carencia de
acceso a la educacin y por lo tanto quienes ms requieren los apoyos educativos del
programa. Para identificar a las localidades se sugiere utilizar datos georeferenciados, y
para evaluar la condicin de las familias se puede calibrar el sistema de puntaje actual.
Asimismo, se sugiere adecuar o flexibilizar los requisitos y mecanismos de
corresponsabilidad en salud, para garantizar que los puedan cumplir razonablemente.

d) Valorar la pertinencia de complementar la vertiente de apoyo de Jvenes con
Oportunidades, que actualmente se centra slo en incentivar la terminacin de la
educacin media superior, con apoyos para facilitar la transicin de la secundaria a
media superior y de esta al nivel superior. Entre otros aspectos a considerar, se puede
incluir un monto para pagar cursos remediales o de preparacin para los exmenes de
admisin, cursos propeduticos, y apoyos para el traslado o mudanza, entre otros. Este
tipo de apoyos puede incentivar y facilitar las transiciones, construyendo eslabones o
peldaos que actualmente no existen.



142

5.4. Sobre el cumplimiento de la corresponsabilidad en salud y la cobertura del programa

Reflexin:

Conforme a la experiencia de los operadores de Oportunidades as como la evidencia
anecdtica referida en algunas evaluaciones y estudios, la cobertura y la capacidad de los
servicios de salud es la causa ms importante por la cual no se ha podido incorporar a ms
hogares en pobreza extrema, tanto localidades atendidas como no atendidas por el programa.
Por ello, muchos de estos hogares y localidades, que en principio son elegibles con excepcin de
que no cuentan con acceso regular a los servicios de salud, han tenido que ser turnados al PAL,
que es una alternativa inferior a Oportunidades en trminos de los beneficios que otorga y los
resultados que busca.

En casos como estos, claramente los requisitos de corresponsabilidad y la concepcin integral
de los componentes estn siendo una barrera de entrada para las familias que, casi por
definicin, son ms pobres y tiene mayores carencias incluso que el resto de la poblacin de
Oportunidades. Adems de las desventajas en materia de eficiencia y efectividad, esta situacin
tiene claras implicaciones en trminos de equidad, pues pareciera que, en la prctica, se est
dejando de lado a los pobres entre los pobres, quienes ms necesitan los apoyos del programa,
debido a la falta de capacidad y coordinacin de los servicios de salud, a un condicionamiento
programtico cuestionable y a una condicin social de la cual ellos no tienen responsabilidad.

Recomendaciones:

a) Se recomienda a la CNPDHO y la Sedesol, gestionar ante la SS, IMSS y los operadores de
los servicios estatales de salud la ampliacin de la cobertura de los servicios de salud en
las modalidades tradicionales en las localidades que aun no cuentan con dichos servicios,
as como la ampliacin de la capacidad de atencin en las localidades con alta
concentracin de poblacin objetivo de Oportunidades que no ha podido incorporarse
por la limitacin de la oferta institucional para poder cumplir con la corresponsabilidad.

b) Asimismo, se recomienda a la CNPDHO y la Sedesol revisar y adecuar la especificacin
vigente de los criterios para la seleccin de localidades, los requisitos de
corresponsabilidad de las familias y los mecanismos de verificacin de cumplimiento, a
efecto de incorporar formas ms amplias y flexibles de atender a quienes viven en
localidades que no disponen de servicios de salud en su localidad de residencia o en las
que dichos servicios no tienen la capacidad suficiente para atender a la poblacin que lo
necesita. Bajo la premisa fundamental de que donde pueda llegar el servicio educativo
puede llegar en alguna forma el servicio mdico, si se exploran nuevas alternativas y se
adecuan los criterios y normas vigentes, es posible llevar Oportunidades mucho ms
lejos, donde ms se le necesita.

c) En complemento a lo anterior, se recomienda a la CNPDHO, la Sedesol y la SS desarrollar
modalidades alternativas para la comprobacin de la corresponsabilidad en salud de los
143

beneficiarios de Oportunidades, tales como las Caravanas de la Salud o la telemedicina.
En este lnea, se debe buscar entonces establecer acuerdos o convenios entre la
CNPDHO, la Sedesol, la SS y los rganos operadores en los estados, para incorporar la
prestacin de los servicios y la comprobacin de la corresponsabilidad en las
modalidades alternativas existentes, la ampliacin de la cobertura de las mismas as
como la creacin de otras nuevas, que puedan llegar a las poblaciones que carecen de
servicios de salud o en las que estos son insuficientes.
18



5.5. Sobre la calidad de la educacin

Reflexin:

El programa tiene como un supuesto de sustentabilidad que las escuelas brindan una educacin
de calidad y que los nios incorporan los aprendizajes establecidos, de forma tal que los
impactos en el logro escolar de Oportunidades se conviertan en capacidades y funcionalidades
tiles que incrementen posteriormente la productividad y los salarios de los beneficiarios en los
mercados laborales. Sin embargo, este supuesto crtico parece no cumplirse en gran parte de las
escuelas con becarios de Oportunidades, como lo muestran los resultados de diversas pruebas
estandarizadas, lo cual pone en riesgo que se llegue a romper el crculo vicioso de la pobreza
extrema.
19


Recomendaciones:

a) Se recomienda a la CNPDHO, la Sedesol y la SEP integrar un equipo de trabajo experto con
servidores pblicos de las dependencias y entidades coordinadas, los rganos responsables
de los servicios de educacin en los estados y los organismos especializados en calidad y
evaluacin de la educacin, para evaluar la factibilidad y en su caso implementar una serie
de intervenciones directas e indirectas a travs de Oportunidades, a efecto de mejorar
sustancialmente la calidad de la educacin en las escuelas del nivel bsico que concentran a
sus becarios. Una vez hecho lo anterior, se recomienda a la CNPDHO y la Sedesol que
promuevan la firma de los acuerdos y convenios de colaboracin correspondientes con la
SEP y los gobiernos estatales.




18
Conforme a lo establecido en el artculo XVII de la Ley General de Salud, corresponde a los gobiernos de los
estados y el Distrito Federal, dentro de sus respectivas circunscripciones territoriales, proveer los servicios de salud,
disponiendo de la capacidad de insumos y el suministro de medicamentos necesarios para su oferta oportuna y de
calidad; y aplicar de manera transparente y oportuna los recursos que sean transferidos por la Federacin y las
aportaciones propias, para la ejecucin de las acciones de proteccin social en salud, en funcin de los acuerdos de
coordinacin que para el efecto se celebren.
19
Para mayores detalles sobre los resultados de las pruebas estandarizadas de desempeo escolar, refirase a las
publicaciones del INEE citadas anteriormente en el anlisis de los apoyos educativos.
144

b) Entre algunos elementos especficos a considerar en materia de calidad de la educacin, se
recomienda crear una vertiente de apoyo que invierta recursos en los aspectos que ms
inciden sobre la calidad de la educacin, entregar incentivos econmicos a los profesores
ligados al desempeo acadmico de sus becarios, y apoyar las transiciones de nivel
educativo, subsidiando cursos de renivelacin y remediales en las competencias bsicas
lecto-escritoras y matemticas que permitan a los beneficiarios seguir aprendiendo y
continuar su formacin en el futuro.
20



5.6. Sobre la mutua exclusin de beneficiarios entre el PASL y Oportunidades

Reflexin:

Las ROP 2012 del Programa de Abasto Social de Leche establecen una mutua exclusin con
respecto del PDHO, de forma tal que los beneficiarios individuales que reciban los beneficios del
segundo no pueden recibir los del primero. La misma situacin apareca en las ROP de
Oportunidades desde su inicio hasta el ao 2005, pero se elimin en los aos posteriores.
21
As,
en principio una misma persona no puede recibir simultneamente los beneficios de ambos
programas, teniendo que optar por uno o por otro. El argumento de la mutua exclusin se basa
en la premisa de que, dado que ambos programas tienen componentes alimentarios o
nutricionales y que otorgan transferencias de ingresoen el caso del PASL por la va del precio
de la lecheexistira duplicidad de apoyos si un mismo individuo o familia accediera a los
beneficios de ambos programas.

En opinin del equipo metaevaluador, la mutua exclusin es inadecuada y el argumento de las
duplicidades es incorrecto. Esto es fundamentalmente porque los apoyos alimentarios y
nutricionales que entrega el PASL son distintos de los que entrega Oportunidades, y tambin en
su mayora a grupos de beneficiarios individuales distintos, como se explica a continuacin:
22




20
Para una elaboracin amplia de la relacin entre los programas de transferencias condicionadas de ingreso y la
calidad de la educacin, incluyendo una serie de propuestas como las que aqu se recomiendan, vase: Reimers,
Fernando, Carol DeShano da Silva and Ernesto Trevio (2006). Where is the Education in Conditional Cash
Transfers in Education? UIS Working Papers, Number 4, UNESCO Institute for Statistics, Montreal.
21
De hecho, hasta 2005 la mutua exclusin apareca en las ROP de ambos programas a nivel de los hogares, pero
con el cambio en las de Oportunidades, el PASL hizo lo propio, aunque a nivel de beneficiarios individuales. As,
actualmente las ROP del PASL siguen marcando la mutua exclusin, que se manifiesta en los criterios de
elegibilidad con una solicitud de afirmar, bajo protesta de decir verdad que no se es beneficiario de Oportunidades,
as como en las causas de baja, si se descubre lo contrario en el cruce de los padrones respectivos.
22
Para una elaboracin ms amplia sobre este tema, vase: Soto Romero, J.M., I. Schockaert, J.E. Lozano y V.
Aramburu. (2008) Duplicidad, Complementariedad o Sinergia?: Anlisis de los impactos econmicos, sociales y
nutricionales del Programa de Abasto Social de Leche y el Programa de Desarrollo Humano Oportunidades en las
familias pobres. En: Enrique Contreras y Federico Martnez (eds.). Dar leche a la niez pobre en edad escolar:
Produccin lctea nacional, ayuda y seguridad alimentaria en Mxico. UNAM: Centro de Investigaciones
Interdisciplinarias en Ciencias y Humanidades.
145


a) El PASL entrega leche fortificada con micronutrientes a precio menor al del mercado,
siendo que el diferencial de precio no est planteado como un apoyo econmico en
s mismo sino como en incentivo o mecanismo para que las familias compren la leche
Liconsa, incrementando su consumo de leche y accediendo a los micronutrientes de
forma regular.

b) En contraste, los apoyos alimentarios de Oportunidades consisten en transferencias
de efectivo, que se van al consumo general de las familias y cuyo impacto en la
nutricin tiende a ser menor y ms disperso que el que se ha documentado para la
leche fortificada.

c) Oportunidades entrega adems suplementos nutricionales para mujeres
embarazadas y en lactancia as como para los nios menores de dos aosexcepto
que hallan sido diagnosticados con desnutricin, en cuyo caso el apoyo se puede
extender hasta los cinco aos. En estos casos efectivamente podra haber una
duplicidad, ya que en los efectos esperados de la leche fortificada y los suplementos,
si bien no son idnticos, son al menos parecidos, por lo que la mutua exclusin en
estos grupos de beneficiarios en especfico podra aplicar.

d) De tal forma, es claro que slo existiran duplicidades de apoyos del PASL con
respecto de Oportunidades en grupos de beneficiarios muy especficos, con los
cuales efectivamente podra aplicar la mutua exclusin de beneficios.
23


A pesar de lo anterior, en las ROP del PASL se ha mantenido la mutua exclusin, lo que deja a
muchos individuos de Oportunidades sin posibilidad de acceder a los beneficios de la leche
fortificada de Liconsa. Esta situacin tiene implicaciones muy relevantes, ya que Oportunidades
atiende a los hogares en condicin de mayor pobreza, con ingresos por debajo de la lnea de
bienestar mnimo y con importantes dficits en la formacin de capacidades bsicas; este es
precisamente el segmento que concentra los dficits y riesgos nutricionales, y en el cual la leche
fortificada Liconsa ha demostrado tener mayores efectos e impactos positivos. En este sentido,
la mayor preocupacin estara en la poblacin de Oportunidades de 2 a 9 aos, queno reciben
suplementos alimenticios por parte de este programa, as como en los beneficiarios mayores de
70 aos que reciben transferencias



23
Esta argumentacin se hizo de manera ms detallada en las evaluaciones externas del PASL de 2004, 2005 y
2006, en las que se recomend eliminar o delimitar la mutua exclusin, con base en estudios especficosy pruebas
estadsticas en torno al consumo de los hogares de ambos programas. Posteriormente, dichos estudios fueron
refinados y publicados en 2008.Por otro lado, en la evaluacin de consistencia y resultados del PASL de 2011-2012,
se retomaron los argumentos y las recomendaciones. Como aclaracin de inters, se hace notar que el Coordinador
General de la presente Meta evaluacin del PDHO, coordin tambin las evaluaciones del PASL de 2004, 2005 y
2006 as como los estudios especficos antes referido; sin embargo, no particip en la evaluacin de 2011-2012,
que retomaron las recomendaciones y fue realizada porun grupo de investigacin distinto.
146


Recomendacin:

Se recomienda a la Sedesol, la CNPDHO y Liconsa eliminar la mutua exclusin entre el PASL y
Oportunidades, o alternativamente limitarla solo a aquellos individuos que reciben suplementos
alimenticios, en virtud de que ambos programas podran tener complementariedades y
sinergias importantes en trminos de soporte nutricional, desarrollo cognitivo y prevencin de
enfermedades.


5.7. Sobre el enfoque de corresponsabilidad e integralidad

Reflexin:

Existen diversos aspectos especficos asociados a la conceptualizacin del programa, la
evolucin de los apoyos que otorga, la extensin de la cobertura, los resultados de las
evaluaciones de impacto, los avances en el conocimiento sobre las intervenciones
condicionadas de transferencia de ingreso en el mundo, las limitaciones en la extensin de la
cobertura de Oportunidades, as como los problemas de complementariedad entre
Oportunidades y el Programa de Apoyo Alimentario, ponen en duda la vigencia y conveniencia
de mantener dicho enfoque, al menos tal como se ha aplicado.

Desde su origen el programa ha buscado contribuir a la ruptura del ciclo de transmisin
intergeneracional de la pobreza, favoreciendo el desarrollo de las capacidades bsicas de
educacin, salud y alimentacin. Sin embargo, la configuracin precisa del problema focal y los
medios de transmisin del mismo se realiz por primera vez en 1997 y se actualiz slo
parcialmente en 2002, pero no se han actualizado, completado ni validado a la fecha. En este
tiempo, aun cuando el diseo del programa sigui siendo en lo fundamental consistente con el
problema que le dio origen, en el camino se incorporaron nuevos componentes y acciones no
necesariamente lo eran, pues se referan a capacidades y oportunidades superiores en vez de
bsicasej., Jvenes con Oportunidadeso no que hallaban una evidente y adecuada insercin
lgica y conceptual en el mbito de las capacidades bsicasel caso de los anteriores
componentes de Adultos Mayores, ligado a la vulnerabilidad, y el Energtico, creado
prcticamente de forma arbitraria y que hoy es parte del componente alimentario. Si bien se
han hecho diversas adecuaciones a la normatividad, el equipo metaevaluador considera que la
concepcin en torno a las capacidades bsicas se desaline y desfigur con los aos, situacin
que persiste a la fecha.
24




24
Al revisar los elementos bsicos del diseo del programa surge una ambigedad en torno del concepto de
capacidades bsicas. Al revisar los enunciados del problema focal y del objetivo, no queda claro si las capacidades
bsicas se refieren a las carencias de ingreso, educacin y salud, o a las asociadas a la educacin, la salud y la
nutricin. Por otro lado, en los elementos bsicos del diseo conceptual no se hace referencia a la alimentacin,
que ha aparecido en los objetivos especficos y en los componentes desde el inicio del programa, y que a la fecha
147


Por otro lado, las transferencias en efectivo no asociadas a las becas educativas y las visitas a los
servicios de salud, se han ido diversificando en su naturaleza, ampliando en sus montos, e
incluido a ms beneficiarios dentro de los hogares. En particular, se ampli el esquema original
del apoyo alimentario para incluir a los nios de 0 a 9 aos y se le sumaron recursos por el alza
de los precios de los alimentos y lo que antes era el componente energtico; en el de salud se
incluy un apoyo para adultos mayores; se incluy el apoyo de Jvenes con Oportunidades. Si
bien cada uno de estos elementos podra justificarse por s mismo, su contribucin a la
generacin de capacidades bsicas para formar capital humano resulta fcilmente cuestionable,
desde la propia lgica original del programa, pues estos apoyos se plantean en la prctica como
transferencias no condicionadas, que no alteran fundamentalmente las decisiones de las
familias en torno de la formacin de capacidades y la generacin de capital humano.

En cuanto a la extensin de la cobertura, cabe recordar que el Progresa surge en 1997 como una
intervencin centrada en las familias rurales en pobreza extrema, las cuales a todas luces
concentraban y concentra aun hoy los mayores dficits en la formacin de capacidades bsicas
y acumulacin de capital humano. Dados los amplios dficits, incidir sobre las decisiones de
consumo, trabajo e inversin de estas familias era fundamental, y ello se plante bsicamente a
travs de un esquema de incentivos, en la forma de transferencias de ingreso condicionadas al
cumplimiento de diversos requisitos en materia de asistencia escolar, visitas mdicas y
suplementos alimenticios. Sin embargo, en la medida que el programa se extenda hacia las
zonas urbanas, no quedaba claro que los dficits fueran equiparables ni que los incentivos
pudieran ser igualmente efectivos, simplemente porque las condiciones iniciales en general
eran y siguen siendo menos graves en las zonas urbanas, y porque los mercados laborales
rurales y urbanos son muy distintos. En buena medida, estas situaciones ayudan a explicar por
qu los impactos del programa tienden claramente a ser mayores en la zona rural. As, aun
cuando tambin en el mbito urbano existen problemas de capacidades bsicas, no queda claro
en qu medida, en cuales dimensiones y en qu segmentos el esquema de incentivos a travs



justifica un componente completoel alimentariocon tres vertientes de apoyo que consisten precisamente en
otorgar transferencias de ingreso. Es claro que el programa considera a la educacin y la salud como capacidades
bsicas, pero no es lo es tanto cmo considera a la nutricin, la alimentacin y el ingreso, y en su caso cmo
plantea la relacin entre estos aspectos. Cabe mencionar que si bien no existe un consenso completo, la literatura
especializada sobre capacidades bsicascon autores como Sen y Naussbam, entre otrosseala
fundamentalmente a la educacin y la salud, pero no directamente a la nutricin, que suele verse ms como un
elemento habilitador que incide posteriormente en el desarrollo de las primeras. Por otro lado, si bien se puede
pensar en una relacin bsica general de que, al menos en las familias en condicin de pobreza extrema, a mayor
ingreso mejor alimentacin, y a mejor alimentacin mejor nutricin, no es evidente si es o no esto lo que se plantea
el Programa Oportunidades. Sin embargo, esto es precisamente lo que se han planteado en otros programas con
componentes alimentarios, como el Programa de Apoyo Alimentario, el Programa de Jornaleros Agrcolas, e incluso
en alguna forma el Programa de Abasto Rural y el de Abasto Social de Leche, todos los cuales tienen o han tenido
recientemente como referencia la formacin de capacidades bsicas a travs de la nutricin, y que implican
transferencias directas de ingreso o productos a precio subsidiadoes decir, que actan analticamente a travs de
la relacin ingreso-alimentacin-nutricin.
148

de transferencias condicionadas logra sus efectos conductuales y sus objetivos sociales
explcitos en las zonas urbanas.

Con respecto a los resultados, si algo queda claro en el esquema de capacidades bsicas, es que
los dficits y los impactos varan sustancialmente por componente y segmentos. Por ejemplo,
los datos bsicos de logro escolar en primaria rural y urbanacon niveles ya muy altos antes de
la entrada en operacin del programaas como los resultados de las evaluaciones del
componente educativo de 2000 a la fecha en este nivelque arrojan pocos impactos
estadsticamente significativos y con magnitud relevantesugieren que una parte sustancial de
la poblacin beneficiaria podra desarrollar la capacidad bsica asociada a la educacin primaria,
aun sin tener el apoyo del programa. Por supuesto, la perspectiva es ms compleja y muestra
variaciones cuando se trata de ciertas variables especficas, pero en general el argumento tiene
suficientes elementos de validez como para considerarlo seriamente. Surge entonces el
cuestionamiento elemental de por qu condicionar la entrega de un apoyo al cumplimiento de
un requisito que se cumple prcticamente solo. Si bien se pueden aducir elementos de
aseguramiento y compensacin, la evidencia tendera a desprobarlos, y en todo caso estaran
alejados de la lgica del programa. Evidentemente, en otros aspectos relevantes los dficits y
los impactos son mayores, pero algo similar en forma o medida probablemente suceda tambin
en otros componentes y segmentos.

Finalmente, como ya se menciono antes, la cobertura y la capacidad de los servicios de salud es
el principal factor que limita la incorporacin de hogares a Oportunidades. Si bien los requisitos
de corresponsabilidad y la concepcin integral de los componentes buscan impulsar el
desarrollo de las capacidades bsicas de la poblacin en pobreza extrema, en casos pueden
estar actuando como barreras de entrada, de forma tal que por insistir en lograr una triada
ganadora, se deja de lado una dupla razonablemente buenason dos de tres, que es mucho
mejor que cero o que uno, si se considera al PAL.

Recomendaciones:

a) Se recomienda a la CNPDHO y la Sedesol, realizar un estudio especfico que analice y
valore, con responsabilidad y objetividad, la pertinencia de mantener sin cambios el
enfoque de corresponsabilidad e integralidad de las intervenciones, que ha estado en la
base del programa desde su origen. Dicho estudio deber valorar las ventajas y
desventajas del enfoque actual y explorar las posibles alternativas para atender el
problema focal del programa desde una ptica ms abierta.

b) Asimismo, y en consideracin del amplio potencial que Oportunidades representa para
la poltica social en su conjunto, se recomienda a la CNPDHO y a Sedesol que incluyan el
estudio antes referido, una valoracin de la pertinencia y factibilidad de que el programa
sea pueda servir como un canal privilegiado de acceso a la poblacin en pobreza
extrema y un mecanismo eficiente y efectivo para articular diversas iniciativas de
combate a la pobreza, distintas y complementarias a la formacin de capacidades
bsicas. Esto puede incluir la confluencia de intervenciones dirigidas a la vulnerabilidad,
149

la atencin de grupos prioritarios especficos, y la generacin de ingresos y empleos de la
poblacin en pobreza extrema, entre otras vertientes con posibilidades prometedoras.


5.8. Recomendaciones diversas

a) Se recomienda a Sedesol y la CNPDHO, valorar la pertinencia y factibilidad de crear un
mdulo especial para los hogares que viven en las localidades ms pequeas y dispersas
as como en las zonas indgenas. En este tipo de localidades no slo se concentran los
hogares ms carenciados, sino que tambin frecuentemente la oferta institucional de
servicios de educacin y salud es ms limitada en oferta y calidad. En dicho mdulo se
podran concentrar algunas de las variantes antes mencionadas en cuanto a montos y
tipos de apoyo, requisitos y formas de verificacin de la corresponsabilidad, as como de
intervenciones dirigidas a la calidad de los servicios de educacin y de salud, de forma tal
que el programa en su conjunto no tuviera que ajustarse mayormente. Adems, en
alguna medida esta puede ser una solucin para poder incorporar a Oportunidades a
una parte sustancial de la poblacin atendida del Programa de Apoyo Alimentario, que
por su diseo no puede asegurar la formacin de capacidades bsicas en educacin y
salud.

b) Se recomienda a la CNPDHO y a la Sedesol ajustar y diferenciar los montos de los apoyos
alimentarios, actualizando las estimaciones de niveles ptimos, permitiendo variaciones
por tamao de familia as como por regin y tipo de localidad, y considerando los
resultados de las evaluaciones de impacto. Ente otras, dos hiptesis preliminares a
explorar para estos ajustes podran incluir las siguientes: primero, que el apoyo
alimentario debe variar en correspondencia con el tamao de la familia, y ser mayor en
las zonas rurales que en las urbanas; y segundo, que los apoyos en educacin deben ser
mayores donde los costos de oportunidad de trabajar y los costos de accesibilidad sean
mayores, y viceversa.

c) En una lnea similar a lo propuesto en el componente educativo, se recomienda a la
CNPDHO, la Sedesol y la Secretara de Salud, valorar la pertinencia y factibilidad de
implementar intervenciones focalizadas para mejorar la calidad de los servicios de salud,
especialmente en las localidades ms pequeas y dispersas as como en los municipios
con mayor proporcin de hogares con carencia de acceso a la salud. Para implementar
esta recomendacin, se debe considerar que diferentes niveles de gobierno intervienen
en la prestacin de servicios de educacin y de salud, por lo tanto, para mejorar la
cobertura y calidad de los servicios de salud y educacin ser necesaria una perspectiva
intergubernamental.

d) Se recomienda a la CNPDHO, a la Sedesol y al Coneval, establecer un equipo de trabajo
tripartito, integrado por representantes de cada instancia, para revisar las
recomendaciones de la presente metaevaluacin y de las principales evaluaciones
anteriores, a efecto de definir formalmente cules y cmo debern ser implementadas,
150

a fin de que se pueda mejorar el desempeo del Programa. La dinmica y la lgica de
trabajo se debe de plantear de forma distinta pero complementaria a lo que se establece
en el mecanismo de seguimiento de Coneval.


151

6. Conclusiones generales

Como se puede apreciar a lo largo del presente trabajo, en periodo de 2007 a 2012 se realizaron
diversas evaluaciones externas al programa, en las cuales se analizaron diversos aspectos
especficos asociados a su diseo, operacin y resultados. Los hallazgos de estas evaluaciones
sirvieron para identificar un conjunto de fortalezas, oportunidades, debilidades y amenazas, as
como para proponer recomendaciones; a su vez, estos elementos derivaron en aspectos
susceptibles de mejora, a los cuales se le dio seguimiento a travs de los mecanismos
establecidos. La revisin permiti constatar que el programa implement acciones que
resolvieron algunos de los problemas identificados e implicaron diversas mejoras.

Con todo, en opinin del equipo metaevaluador y a la fecha de realizacin este ejercicio,
subsisten diversas deficiencias y reas de oportunidad identificadas en las evaluaciones
anteriores que la Sedesol y los responsables del programa deben considerar y retomar, para
mejorar su desempeo. Aquellas que se consideraron relevantes y vigentes aparecen en el
anlisis FODA global, que incluye tambin las recomendaciones de los evaluadores originales y,
en algunos casos, notas y recomendaciones propias del equipo metaevaluador cuando se
consider pertinente hacerlo.

Asimismo, en el desarrollo del ejercicio se analizaron evaluaciones hechas a otros programas
considerados como similares al PDHO, ya fuera en funcin de sus objetivos, poblaciones
atendidas o componentes particulares. El anlisis deriv en diversos elementos relevantes,
incluyendo la confirmacin de que, con un diseo y condiciones adecuadas, programas como el
PDHO pueden efectivamente lograr resultados en educacin, salud y nutricin de familias que
viven en pobreza extrema. Estas evaluaciones sirvieron tambin para identificar indicadores,
metodologas y fuentes de informacin que puede ser tiles para evaluar el desempeo del
programa.

En cuanto a la agenda de evaluacin 2013-2018, se propuso una secuencia lgica y ordenada de
las evaluaciones a realizar al programa, considerando una justificacin tcnica y emprica sobre
la importancia que cada ejercicio podra tener. Se propuso primero elaborar un estudio de
Diagnstico y propuestas de atencin, luego una Evaluacin de diseo, posteriormente una
Evaluacin de impacto, despus una Evaluacin de procesos, y finalmente una Evaluacin de
consistencia y resultados. Esta secuencia busc brindar una base slida de datos, anlisis y
estrategia para anclar el diseo, la operacin y los resultados del programa durante la siguiente
administracin federal, de forma tal que cada ao se puedan informar los cambios y
refinamientos en diversos aspectos relevantes.

Dada la importancia de corroborar en los hechos los cambios que el PDHO puede generar para
revertir el problema que le dio origen, la metaevaluacin incorpor una propuesta ms
detallada para una evaluacin de impacto. En ella, se describieron la metodologa y las fuentes
de informacin necesarias para llevar a cabo la evaluacin, conforme a los estndares y mejores
prcticas en la materia, a la naturaleza de las variables especficas a medir as como a las
caractersticas especficas del programa. La propuesta se acompa de un anlisis de
152

pertinencia y de viabilidad tcnica y financiera, que justifica la necesidad de realizar este tipo
evaluacin al programa.

Como un elemento de valor agregado que complementa los anlisis previos, se desarrollaron
una serie de reflexiones y recomendaciones sobre la situacin actual del PDHO, que si bien
construyen sobre el anlisis de las evaluaciones antes revisadas, en algunos casos llegaron a
conclusiones distintas al replicar los ejercicios metodolgicos de forma ms amplia y rigurosa.
Estas reflexiones y recomendaciones son responsabilidad exclusiva del metaevaluador, y se
enfocaron principalmente en aspectos asociados al diseo del programa. Por su importancia, se
enfatiz y se elabor ampliamente sobre la identificacin y especificacin del problema focal as
como sobre la definicin de las poblaciones potencial y objetivo. Las reflexiones y
recomendaciones de esta seccin respetaron los elementos bsicos del diseo y la lgica
interna actuales del programa; por lo tanto, slo se propuso mejorar la consistencia de dichos
elementos bsicos del programa, a efecto de mejorar su desempeo. Un anlisis ms amplio de
la adecuacin del diseo, operacin y resultados del programa queda fuera del alcance de esta
metaevaluacin, y sera en su caso objeto de otro estudio.

Finalmente, tambin a lo largo de estos aos distintas instancias normativas, fiscalizadoras y
evaluadoras hicieron una serie de observaciones y recomendaciones para mejorar las matrices
de indicadores de resultados del PDHO, tanto en sus resmenes narrativos como en los
indicadores para monitoreo. Cabe sealar que, en opinin del equipo metaevaluador, algunas
de estas observaciones y recomendaciones no necesariamente fueron adecuadas ni eran
consistentes entre s; por otro lado, a pesar de los cambios que s se implementaron, en algunos
casos subsisten deficiencias y reas de oportunidad. Por ello, y considerando la historia de los
cambios en la MIR y lo que falta por hacer, el equipo metaevaluador recomend algunas
mejoras y refinamientos en los resmenes narrativos y los indicadores del programa en los
niveles de Fin y Propsito, respetando el diseo bsico actual y los resultados que se esperan
del mismo.


153

7. Bibliografa

7.1. Documentos sobre el programa

Agudo S., Alejandro (2008). Cmo se explica el impacto educativo del Programa
Oportunidades? Actores, factores y procesos. Secretara de Desarrollo Social, Evaluacin
externa del Programa Oportunidades 2008. A diez aos de intervencin en zonas rurales (1997-
2007). Tomo III, Captulo II. Primera Edicin 2008.

Bautista A., Sergio (2008). Efectos sobre la utilizacin de servicios y el estado de salud de sus
beneficiarios. Secretara de Desarrollo Social, Evaluacin externa del Programa Oportunidades
2008. A diez aos de intervencin en zonas rurales (1997-2007). Tomo II, Captulo III. Primera
Edicin 2008.

Behrman, Jere R. et. al. (2008), Evaluacin de los efectos a diez aos de Oportunidades en el
desarrollo, educacin y nutricin en nios entre 7 y 10 aos de familias incorporadas desde el
inicio del Programa. Secretara de Desarrollo Social, Evaluacin externa del Programa
Oportunidades 2008. A diez aos de intervencin en zonas rurales (1997-2007). Tomo I,
Captulo I. Primera Edicin 2008.

El Colegio de Mxico, A.C. Evaluacin de Consistencia y Resultados 2011-2012 del Programa de
Desarrollo Humano Oportunidades (ECR11/12).

Gertler, Paul y Fuchs Alan (2008). Transferencias condicionales en efectivo y gasto en
energticos: posible impacto del componente energtico de Oportunidades. Secretara de
Desarrollo Social, Evaluacin externa del Programa Oportunidades 2008. A diez aos de
intervencin en zonas rurales (1997-2007). Tomo IV, Captulo III. Primera Edicin 2008.

Instituto Tecnolgico de Estudios Superiores de Monterrey (ITESM CCM). Evaluacin de
Consistencia y Resultados 2011-2012 del Programa de Desarrollo Humano Oportunidades
(ECR11/12).

Ordez B., Gerardo. Evaluacin Especfica de Desempeo 2009-2010 del Programa de
Desarrollo Humano Oportunidades. (EED09/10)

Parker, Susan W. y Behrman, Jere R. (2008), Seguimiento de adultos jvenes en hogares
incorporados desde 1998 a Oportunidades: impactos en educacin y pruebas de desempeo.
Secretara de Desarrollo Social, Evaluacin externa del Programa Oportunidades 2008. A diez
aos de intervencin en zonas rurales (1997-2007). Tomo I, Captulo IV. Primera Edicin 2008.

Rodrguez-O., Eduardo (2008). Movilidad Social Intergeneracional de los Jvenes Beneficiarios
de Oportunidades Provenientes de Hogares en Zonas Rurales. EGAP, Tecnolgico de
Monterrey, Campus Estado de Mxico.

154

Rodrguez O., Eduardo et. al. (2008), Una evaluacin de impacto sobre el empleo, los salarios y
la movilidad ocupacional intergeneracional del Programa Oportunidades. Secretara de
Desarrollo Social, Evaluacin externa del Programa Oportunidades 2008. A diez aos de
intervencin en zonas rurales (1997-2007). Tomo I, Captulo II. Primera Edicin 2008.

Rodrguez O., Evelyne E. Evaluacin Especfica de Desempeo 2010-2011 del Programa de
Desarrollo Humano Oportunidades. (EED10/11)

Snchez Lpez, Gabriela (2008). Padecer la pobreza: un anlisis de los procesos de salud,
enfermedad y atencin en hogares indgenas y rurales bajo la cobertura del Programa
Oportunidades. Secretara de Desarrollo Social, Evaluacin externa del Programa
Oportunidades 2008. A diez aos de intervencin en zonas rurales (1997-2007). Tomo II,
Captulo II. Primera Edicin 2008.

Yaschine A., Iliana. Evaluacin Especfica de Desempeo 2008-2009 del Programa de Desarrollo
Humano Oportunidades. (EED08/09)

Coordinacin Nacional del Programa de Desarrollo Humano Oportunidades (2007-2012). Matriz
de Indicadores de Resultados del Programa de Desarrollo Humano Oportunidades.

--------------- (2008-2012). Fichas Tcnicas de la Matriz de Indicadores de Resultados del
Programa Oportunidades.

--------------- (2009). Auditora al Programa del Programa de Desarrollo Humano Oportunidades.
Secretara de Desarrollo Social. (2007-2012). Reglas de Operacin del Programa de Desarrollo
Humano Oportunidades.

--------------- (2008-2012). Aspectos Susceptibles de Mejora Derivados de Informes y Evaluaciones
Externas a los Programas Presupuestarios: Posicin Institucional sobre el Programa de
Desarrollo Humano Oportunidades.

--------------- (2008-2011). Seguimiento a Aspectos Susceptibles de Mejora Derivados de Informes
y Evaluaciones Externas a los Programas Presupuestarios: Documento de Trabajo del Programa
de Desarrollo Humano Oportunidades.

--------------- (2011). Nota sobre Poblacin Potencial y Poblacin Objetivo del Programa de
Desarrollo Humano Oportunidades.

--------------- (2010). Diagnostico sobre la Poblacin en Condiciones de Pobreza Vulnerable a los
Efectos de la Desnutricin.
Secretara de Hacienda y Crdito Pblico (2012). Aspectos Susceptibles de Mejora Derivados de
Informes y Evaluaciones Externas a los Programas Presupuestarios: Seguimiento Histrico del
Programa de Desarrollo Humano Oportunidades.

155


7.2. Documentos de otros programas similares

Agero, J. M. et. al. (2007). The Impact of Unconditional Cash Transfers on Nutrition: The South
African Child Support Grant. International Poverty Centre.

Levine, S. et. al. (2009). Measuring the impact of social cash transfers on poverty and
inequality in Namibia.Stellenbosch Economic Working Papers: 25/09

Miller, Candace. et.al. (2008) Impact Evaluation Report External Evaluation of the Mchinji
Social Cash Transfer Pilot. Center for International Health and Development Boston University
School of Public Health Boston, Massachusetts y The Centre for Social Research University of
Malawi

Riccio, James et. al (2010). Toward Reduced Poverty Across Generations. Early Findings from
New York Citys Conditional Cash Transfer Program MDRC, Building Knowlegde to Improve
Social Policy.

Ponce, Juan y Bedi, Arjun S. The impact of a conditional cash transfer program on students
cognitive achievements: the case of the Bono de Desarrollo Humano of Ecuador. Documento
de trabajo 06/306


7.3. Documentos normativos y programticos

Secretara de Hacienda y Crdito Pblico, Secretara de la Funcin Pblica y Consejo Nacional de
Evaluacin de la Poltica de Desarrollo Social (2007). Lineamientos Generales para la Evaluacin
de los Programas Federales de la Administracin Pblica Federal.

Secretara de Hacienda y Crdito Pblico y Consejo Nacional de Evaluacin de la Poltica de
Desarrollo Social (2010) Gua para la Construccin de la Matriz de Indicadores para Resultados.

------------- (2010). Gua para el Diseo de Indicadores Estratgicos.

Secretara de Hacienda y Crdito Pblico (2008). Oficio Circular 307-a.-1593, Lineamientos
Generales para el Proceso de Programacin y Presupuestacin para el Ejercicio Fiscal 2008,
Anexo Dos: Metodologa para la Elaboracin de la Matriz de Indicadores de los Programas
Presupuestarios de la APF. Unidad de Poltica y Control Presupuestario.

--------------- (2007). Circular 307-A-0221. Lineamientos para la Actualizacin de la Matriz de
Indicadores de los Programas Presupuestarios y la Elaboracin de los Calendarios de Metas de
los Indicadores del Presupuesto de Egresos de la Federacin para el Ejercicio Fiscal 2008. Unidad
de Poltica y Control Presupuestario.

156

Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social (2010). Diagnstico de
Matrices de Indicadores para Resultados 2010. Principales Hallazgos.

-------------- (2008). Informe de Evaluacin de la Poltica de Desarrollo Social en Mxico.

-------------- (2007). Modelo de TDR de la Evaluacin de Consistencia y Resultados 2007, Anexo
02, Nota Tcnica con los Principales Conceptos de la Matriz de Indicadores.


7.4. Documentos tericos y metodolgicos

Aldunate, Eduardo. (2004). Metodologa del Marco Lgico. Boletn del Instituto, 15,
Latinoamericano y del Caribe de Planificacin Econmica y Social (ILPES). Santiago de Chile.

Aldunate, Eduardo y Julio Crdoba. (2011). Formulacin de programas con la metodologa de
marco lgico. Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile.
Bonnefoy, Juan Cristbal y Marianela Armijo. (2005). Indicadores de desempeo en el sector
pblico.Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile.
Camacho Hugo, et. al. (2001). El enfoque del Marco Lgico: 10 casos prcticos. Cuaderno para la
identificacin y diseo de proyectos de desarrollo. Madrid, Fundacin Cideal.

Comisin Econmica para Amrica Latina. (2001). El uso de los indicadores socioeconmicos en
la formulacin y evaluacin de proyectos sociales: aplicacin metodolgica. Serie Manuales, 15,
ILPES-CEPAL, Santiago de Chile.

--------------- (2004). Uso de los indicadores socioeconmicos en la evaluacin de impacto de
proyectos y programas de lucha contra la pobreza. Serie Manuales, ILPES-CEPAL, La Paz, Bolivia.

Daz, Luis Fernando. (2001). La metaevaluacin y su mtodo, Revista de Ciencias Sociales, Vol.
II-III, Nmero 92-93, pp. 171-192, Universidad de Costa Rica.

Glass, G.V., McGraw, B., & Smith, M. L., (1981). Meta-analysis in social research. Beverly Hills:
Sage Publications.

Martin, Paula H. (1982). Meta-Analysis, Meta-Evaluation and Secondary Analysis. Washington,
DC: ERIC Clearinghouse.

Scriven, Michael. (1991). Evaluation Thesaurus. Newbury Park: SAGE Publications.



157

8. Anexos

8.1. Anexo 1 Sntesis de Evaluaciones 2007-2012.

8.2. Anexo 2 Sntesis de Evaluaciones de programas similares internaciones.

8.3. Anexo 3. Agenda de evaluacin.

8.4. Anexo 4. FODA.

8.5. Anexo 5. Anlisis histrico y propuestas de mejora de la MIR