M&E de programas sociales en Mxico

Ponente del pas: Gonzalo Hernndez

Director General de Monitoreo y Evaluacin de Programas Sociales, Secretara de Desarrollo Social (SEDESOL), Gobierno de Mxico

Q
Introduccin

UISIERA ESBOZAR LOS ESFUERZOS QUE hemos realizado en Mxico y, especcamente, en la Secretara de Desarrollo Social (SEDESOL) para desarrollar un sistema de monitoreo y evaluacin (M&E). Este es un reto de poltica pblica importante. Cuando llegu a la Secretara hace unos cuantos aos, quera usar muestras y puntuaciones de propensin apareadas, y otras teoras de mis das en el mundo acadmico. Pero me di cuenta que es importante tener conocimiento de la poltica pblica y no slo de las cuestiones tcnicas.
En primer lugar tenemos que considerar qu sistema de M&E sera el ideal. Cul es su objetivo? Qu estamos haciendo? Qu tenemos que hacer en el futuro para lograr tal sistema? Tambin tratar la creacin del sistema en la SEDESOL, cmo funciona y los retos que enfrenta Mxico. En la SEDESOL tenemos una estructura muy interesante y necesitamos mirar cmo encaja en la estructura general de M&E en Mxico. Cuando pensamos acerca de la poltica social en Mxico, nosotros slo pensamos en los programas de asistencia social, pero eso no es todo lo que implica la poltica social. Tenemos que identicar y examinar los problemas sociales. Slo despus de eso podremos enfocarnos en los programas y los sistemas operativos. El monitoreo hace dos cosas muy importantes. Primero, monitorea los procesos. Nos permite saber si un programa

y sus objetivos son funcionales y, si no es as, si se puede corregir. Adems, nos permite saber si un objetivo dado, como reducir la malnutricin o el analfabetismo, se est alcanzando como resultado del programa. Eso es lo que queremos decir cuando hablamos de los procesos de monitoreo y la evaluacin integrada de los programas. Pero la historia no termina all. La evaluacin y el monitoreo suministran informacin importante que nos permite redisear programas, presupuestos y operaciones y mejorar la poltica social. Entonces el M&E sirve como un catalizador para la provisin de informacin, y esto nos permite saber dnde estamos en relacin a los programas, hacia dnde tenemos que ir y tambin cmo vamos a usar esa informacin para mejorar la poltica social.

Demanda de monitoreo y evaluacin Si nadie usa la informacin de evaluacin, el sistema est incompleto. Tenemos que crear un sistema a travs de la poltica pblica, un sistema que suministre automticamente esta informacin. Un dueo de un negocio tiene un buen sistema de monitoreo pero no creo que tenga mucho sentido hablar de la poltica de M&E en el mundo empresarial. Un dueo de negocio sabe, o quiere saber, la repercusin de las acciones en las utilidades. As, lo que es algo automtico o inmediato en el mundo empresarial no es automtico e inmediato en el mundo de asistencia social. En el mundo social, uno tiene que crearlo. La primera cuestin es quin desea saber acerca de los benecios de un programa social. En el mundo empresarial, obviamente los accionistas o los dueos de la empresa

51

HACIA LA INSTITUCIONALIZACIN DE LOS SISTEMAS DE MONITOREO Y EVALUACIN EN AMRICA LATINA Y EL CARIBE

quieren tener un sistema de M&E. Pero en el mundo de asistencia social, no est claro quin desea estudios de M&E. En Mxico, durante varias dcadas, tuvimos muchos programas de asistencia social. Pero cuando preguntamos acerca de la repercusin especca de aquellos programas sobre la poblacin, nadie respondi. No haba ninguna solicitud especca de la gente para saber cul haba sido la repercusin. Entonces logramos la democracia en Mxico. Queramos transparencia, y fue entonces cuando la gente empez a pedir informacin. Un sistema de M&E requiere que alguien desee saber lo que est sucediendo. As que cuando contamos con un sistema de M&E, necesitamos identicar a esa persona y hacer arreglos para proporcionar la informacin de una manera sistemtica. La primera pregunta es sencillamente cul es exactamente el benecio de un programa social? El mundo empresarial sabe que lo ms importante es la utilidad; por eso la monitorean. Pero cuando hablamos acerca de los programas sociales, no sabemos exactamente los benecios que necesitamos examinar o cul es el benecio ms importante. Por lo tanto necesitamos sistematizar el proceso para tener mejores ujos de informacin. Necesitamos reexionar sobre cmo vamos a usar la informacin que se genera para adoptar las decisiones relacionadas con el presupuesto. Necesitamos institucionalizar el sistema para responder a esta pregunta.

El desarrollo de la evaluacin en Mxico Cmo ocurrieron las primeras evaluaciones y cmo se llevaron a cabo? Durante los aos noventa se realizaron las primeras evaluaciones aisladas de programas sociales tales como los de asistencia y alimento y nutricin rurales y se hicieron muchos esfuerzos para incorporar las evaluaciones desde el principio, pero sin mucho xito. Uno de los programas de Mxico es Progresa (Oportunidades), que fuera creado en 1997. Su evaluacin de impacto se instituy de una manera muy especca y clara. Ese programa tena un objetivo muy denido, y la evaluacin tuvo resultados casi inmediatos, teniendo en cuenta dos actores principales. Primero, Progresa tena recursos del BID y ste requiri una evaluacin externa del programa. As tenemos un primer actor que requiere una evaluacin, en este caso un donante internacional. En segundo lugar, los actores polticos de ese tiempo acogieron con beneplcito evaluaciones bien realizadas de este tipo de programa social.

A partir de 2000, el Congreso requiri, por ley, una evaluacin anual de todos los programas manejados por el Poder Ejecutivo Federal. Cmo ocurri y de dnde vino esta demanda? En 1999, con un Congreso ms pluralista que en aos anteriores y enfrentndose a una eleccin Presidencial muy difcil en 2000, la entonces oposicin en el Congreso exigi ciertas cosas para evitar una situacin en donde los programas sociales se pudieran usar para obtener o para comprar votos, como quizs se haba hecho en el pasado. De esta forma el Congreso comenz a requerir una evaluacin externa de todos los programas sociales, para lograr mayor transparencia y rendicin de cuentas. Es importante tener presente que el Congreso exige un proceso de evaluacin externo no debido a una inquietud presupuestaria, sino ms bien para la rendicin de cuentas. Esta distincin es importante. Luego en 2001, se cre la Subsecretara de Planicacin y Evaluacin Social en la SEDESOL. Su objetivo principal es realizar la evaluacin de los programas sociales. Este mandato de la SEDESOL, dado por el Congreso, condujo a la creacin de la Subsecretara y Ocina General, que est a cargo de cumplir con este mandato. En 2002, el Ministro de Finanzas y el Contralor General (el ltimo ahora es una ocina pblica independiente) convinieron en mejorar las evaluaciones, por lo tanto ahora las evaluaciones presentadas al Congreso deben cumplir ciertas normas mnimas. Por ltimo, en 2004, el Congreso aprob una Ley de Desarrollo Social que, entre otras cosas, institucionaliza el proceso de evaluacin y crea un Consejo Nacional de Evaluacin, que entrar en vigencia a nes de 2005. Entonces, una vez ms, fue el Congreso el que inici una ley creando un Consejo Nacional de Evaluacin. Esto le dar mayor autonoma a las evaluaciones que se realicen en el futuro. Debemos observar dos inuencias importantes en el lanzamiento de este sistema. Primero, se dio el inicio de la democracia y la transparencia en Mxico, sin las cuales pienso que un sistema de M&E nunca habra tenido mucho xito o demanda. En segundo lugar, haba mejores tcnicas e instrumentos de evaluacin, que han posibilitado mejores evaluaciones de los programas sociales.

Fortalezas y debilidades Nuestro primer punto fuerte fue que cambiamos las reglas del juego, y esto inici un cambio cultural en el rea de la evaluacin. En 2000, de repente, de un da para el otro, se requiri una nueva evaluacin de los programas sociales.

52

M&E DE PROGRAMAS SOCIALES EN MXICO

Esto caus mucha sorpresa entre muchos actores, pero con el tiempo condujo a la creacin de una nueva cultura de evaluacin o, al menos, aceler el cambio hacia esa cultura. Los actores, incluidos los directores de programa, se ven obligados a pensar en trminos de evaluacin, no siempre favorablemente, pero sin renuencia. Actualmente, al menos en la SEDESOL, los directores de programa saben que se est llevando a cabo una evaluacin y que tienen que prestarle atencin, ya sea para bien o para mal. Los actores son responsables del programa. Este cambio institucional, iniciado cuando el Congreso requiri mediante una ley una evaluacin anual de los programas sociales, aceler los cambios sociales y culturales. Ahora hablemos de los puntos dbiles o las dicultades. Primero, los actores no estaban capacitados tcnicamente para esto. No se explic a nivel de ministerio la importancia de la evaluacin. Carecamos de capacitacin tcnica de los evaluadores y de los encargados de adoptar las decisiones y dictar las polticas. Adems, no comenzamos con un buen sistema de indicadores de desempeo. As tenamos evaluaciones ao tras ao en las que faltaba informacin muy importante: indicadores de desempeo y otra informacin importante. Como se menciona ms arriba, el Congreso requiri evaluaciones externas de los programas sociales federales, inicialmente no para la toma de decisiones presupuestarias, sino con miras a la rendicin de cuentas. No obstante, era necesario vincular estas evaluaciones con un ciclo presupuestario ms claro, abierto. Guillermo Bernal, el Director del Presupuesto, hablar ms acerca de este tema. El Ministerio de Finanzas todava necesita trabajar mucho para incorporar el proceso de evaluacin y resultados en las decisiones presupuestarias.

objetivo principal es fortalecer la evaluacin interna de los programas, a la vez que tambin sirve como un insumo y fuente de informacin para las evaluaciones externas y para mejorar el desempeo de los programas sociales. El cuarto componente es una medicin ocial de la pobreza en Mxico, que comenz en 2001 y tiene por objeto medir el grado del progreso logrado. Evaluacin externa Las evaluaciones externas hechas para el Congreso son realizadas por un evaluador externo (Recuadro 9). Estas son presentadas anualmente al Congreso, al Ministerio de Finanzas, al ministerio sectorial y al Contralor General, en septiembre u octubre, para que las evaluaciones se tomen en cuenta al preparar el presupuesto del ao siguiente. El Ministerio de Finanzas ja ciertas normas mnimas que la evaluacin debe cumplir, como la cobertura, el impacto, el anlisis de costos-benecios y las percepciones de los usuarios. Hay una lista completa de los elementos o los factores que se deben considerar, aunque en la prctica no se puede cumplir con todos ellos debido a la falta de recursos o a la falta de tiempo, pero los ms importantes son la cobertura y la focalizacin en objetivos especcos. Aqu me gustara recalcar un punto. Hace tres aos, cuando evalubamos los programas sociales, nuestra actitud era la de un juez o un crtico. Esta actitud no nos llev a ningn lado. En nuestras evaluaciones anuales ha sido mejor

RECUADRO 9:

Mxico-Evaluaciones externas para el Congreso

Componentes del sistema de evaluacin Existen cuatro componentes en el sistema de evaluacin de Mxico y explicar la justicacin de cada uno de ellos. En primer lugar, est la evaluacin externa requerida por el Congreso de todos los programas sociales. Esto excluye, por razones que explicar ms adelante, al segundo componente: las evaluaciones de impacto. Sin embargo tenemos evaluaciones de impacto de slo algunos de los programas, como explicar ms adelante. El tercero es un componente principal del sistema de evaluacin que estamos estableciendo: un sistema de monitoreo basado en resultados, cuyo

Las lleva a cabo un evaluador externo. Se presentan al Congreso, al Ministerio de Hacienda y al Contralor General de forma anual (septiembre). Requisitos mnimos: cobertura, impacto, anlisis de costo-benecio, percepcin de los beneciarios. La Direccin General de Evaluacin elabora los trminos de referencia para el programa social. El evaluador externo presenta informes peridicos durante todo el ao, sobre la base de retroalimentacin proporcionada por la SEDESOL.

53

HACIA LA INSTITUCIONALIZACIN DE LOS SISTEMAS DE MONITOREO Y EVALUACIN EN AMRICA LATINA Y EL CARIBE

RECUADRO 10:

Mxico-Fortalezas y debilidades de la evaluacin externa

Fortalezas

Se fuerza a los actores a pensar en trminos de evaluacin y rendicin de cuentas. Los hallazgos de la evaluacin sirven para mejorar el programa.
Debilidades

Falta de aptitudes para la evaluacin. Proceso de licitacin complicado con repercusin negativa en la calidad. Informes anuales ambiciosos para todos los programas. El programa no tiene los datos mnimos para que el evaluador haga su tarea. En algunos programas se percibe a la evaluacin como impuesta y poco til. No se relaciona directamente con las decisiones presupuestarias.

que tomemos el timn del barco, junto con los evaluadores y los gerentes de los programas sociales, incluyndolos desde el principio del proceso en la redaccin de los trminos de referencia y reunindonos con ellos para revisarlos (Recuadro 10). Slo de esta forma, creemos, podemos tener evaluaciones que sean objetivas pero al mismo tiempo tiles, para que la informacin que surja tambin pueda ser utilizada por los directores de programa. Qu hacemos con las evaluaciones externas? Hace dos aos, cuando completbamos las evaluaciones las presentbamos ocialmente a los directores de programa, que las lean, las archivaban o las guardaban. An no sabemos exactamente qu hacan con los resultados. Luego presentbamos la evaluacin al Congreso, al Ministerio de Finanzas y a todos los otros interesados. Durante los ltimos aos hemos hecho un pequeo cambio que ha trado grandes benecios: ahora nosotros presentamos ocialmente una versin muy resumida de la evaluacin a cada director del programa, mostrando los puntos dbiles y los retos que el evaluador externo ha encontrado y les preguntamos ocialmente que nos

digan cmo piensan que se podran resolver los problemas identicados en la evaluacin. Gracias a esto hemos cambiado la manera en que usamos la informacin en la SEDESOL. Actualmente, los directores de programas sociales saben que ellos deben tener un plan de accin para resolver los problemas detectados en la evaluacin externa. Este plan de accin es algo que el Ministro y la ocina interna del contralor del ministerio tienen en sus escritorios. Este enfoque ha trado cambios signicativos en la evaluacin. En primer lugar, sabemos que las evaluaciones se toman en cuenta en la toma de decisiones, al menos ms que antes. En segundo lugar, el evaluador mejora su trabajo y le dedica ms tiempo a cada recomendacin porque est claro que se van a usar en las decisiones relativas al programa. Por lo tanto, tenemos evaluaciones de mejor calidad, porque los evaluadores saben que se estn usando sus evaluaciones. Los programas han hecho cambios importantes sobre la base de este nuevo enfoque. Para las negociaciones de los presupuestos de 2005 de cada programa, el Secretario tena delante de s las respuestas ociales dadas por los directores de programa como prueba de que los programas estaban conduciendo a ciertos benecios y que estaban cumpliendo con las recomendaciones de los evaluadores. Ese fue un cambio positivo en la SEDESOL. Por lo tanto, se requiere que los actores hagan evaluaciones. Se hacen hallazgos importantes, unos ms importantes que otros, para mejorar los programas, pero tambin se encuentran puntos dbiles importantes. Sin embargo, se necesita ms capacitacin para los evaluadores. La evaluacin externa se hace para todos los ministerios y cada ao estamos evaluando cerca de 150 o 200 programas diferentes. Mxico todava no tiene la capacidad tcnica o los recursos humanos para realizar tantas evaluaciones de buena calidad. Esto tambin complica la contratacin o el proceso de licitacin de los evaluadores. Adems el programa y los evaluadores no siempre tienen la informacin bsica disponible para hacer un buen anlisis. Esto no ayuda si, como en muchos casos, la evaluacin se ve como algo impuesto y que viene de afuera y muchas veces no se hace debido a razones presupuestarias. Evaluaciones de impacto Estas son un poco ms cientcas, parecidas a las de Progresa y Oportunidades. Se ha puesto mucho nfasis en que la SEDESOL realice evaluaciones de impacto pero

54

M&E DE PROGRAMAS SOCIALES EN MXICO

tambin complementadas por medidas cualitativas, que son tan importantes como las medidas cuantitativas. Tambin recibimos recursos del Banco Mundial y del BID para realizar evaluaciones de impacto, y del Fondo Mexicano de Ciencia y Tecnologa, para aumentar el nanciamiento de las evaluaciones de impacto, al menos para la parte tcnica de las mismas. Tenemos entre ocho y once programas, como el programa de la leche, el programa nutricional, el programa del hbitat, el programa de la vivienda y programas para la juventud y de oportunidades, en los cuales nos estamos centrando en mejorar la evaluacin. Todos estos programas incluyen una gran cantidad de recursos. No queremos tener una evaluacin de impacto para todos los programas, slo para los ms importantes. El Ministerio ha tomado la evaluacin muy en serio, aunque los directores y gerentes de programa estn interesados en que el programa se mantenga a travs de diferentes administraciones. Progresa sobrevivi como un programa de seis aos y hasta sobrevivi la transicin a un partido poltico distinto, porque estaba teniendo un gran impacto. Lo que muchos operadores de programa ahora comprenden es que si no tienen una buena evaluacin de impacto que identique buenos resultados, entonces el programa no va a sobrevivir. Monitoreo basado en resultados Est bien que el Congreso nos exija que evaluemos los programas, y esto ha conducido a un cambio importante de cultura, pero al mismo tiempo carecemos de insumos bsicos. El evaluador externo requiere una cantidad mnima de informacin que no siempre est disponible. Muchas veces es casi como si contratramos a un auditor y le dijramos: ahora que lo hemos contratado, por qu no hace usted la tenedura de libros, porque no la hemos hecho. La situacin ideal, como ya la he presentado, sera que cada programa tuviera un cierto nivel de evaluacin interna para que la evaluacin externa slo compruebe ciertos datos o corrobore cierta informacin y haga una evaluacin general del programa. Para hacer esto y esto es algo en lo que estamos trabajando necesitamos fortalecer el sistema de monitoreo orientado a resultados. Esto sigue siendo un reto importante. Al analizar un programa social podemos usar la estructura sugerida de insumos a procesos y a productos para alcanzar las metas. Tenemos ya muchos indicadores en la primera

parte. Tenemos buenos indicadores presupuestarios y nancieros, que tambin son requeridos por el Ministerio de Finanzas, el Congreso y la Presidencia. Por lo tanto nos exigen que tengamos indicadores para ver cmo va evolucionado la fase inicial. Sin embargo, pienso que tenemos demasiados indicadores que no siempre son tiles, ya sea para el Ministerio de Finanzas o para la Presidencia o para el Congreso, en esta primera etapa. Pero para las etapas posteriores, no tenemos sucientes indicadores orientados a resultados. Por lo tanto, con la ayuda del Banco Mundial y otros estamos tratando de desarrollar un sistema de monitoreo basado en resultados que tenga indicadores signicativos en todos los procesos del programa social, no slo al comienzo. Esto debe conducirnos a un mejor desempeo y tambin a producir mejor informacin para las evaluaciones futuras. Queremos convencer a los directores de programa que es importante tener un buen sistema de evaluacin. Aunque el Congreso no nos exigiera que lo hiciramos por ley, sera til que nosotros lo hiciramos de todas formas, para adoptar buenas decisiones. Tal enfoque posibilitara tener mejores y ms ecientes evaluaciones externas y adems, ms adelante, tener menos indicadores, lo cual sera ms til para la toma de decisiones. Qu pasos se necesitan para fortalecer este sistema de monitoreo? Tenamos una evaluacin de preparacin muy til hecha por el Banco Mundial hace ms o menos un ao y medio. El Banco Mundial vino a la SEDESOL y realiz esta evaluacin en una visita de una semana. Realizamos talleres de M&E que fueron un gran xito. El taller de tres das que tuvimos en febrero de 2005 tambin fue muy exitoso, con cerca de 150 concurrentes. Muchos de ellos preguntaron: Por qu no tuvimos esos talleres o seminarios hace cuatro aos? Adems, nos hemos acercado al Ministro de Finanzas, al Presidente y a otros, para explicarles el sistema y para procurar sus observaciones y apoyo a este sistema, porque ellos tambin son usuarios de la informacin. Oportunamente queremos tener menos indicadores, pero ms tiles. Esta es una cuestin importante, no slo para la SEDESOL, sino tambin para nuestros socios. Estamos en el proceso de contratar a un consultor para fortalecer este sistema, usando cuatro proyectos piloto. Queremos promover un dilogo entre los programas para intercambiar experiencias para mejorar los sistemas de monitoreo.

55

HACIA LA INSTITUCIONALIZACIN DE LOS SISTEMAS DE MONITOREO Y EVALUACIN EN AMRICA LATINA Y EL CARIBE

Medicin de la pobreza A partir de 2001, se solicit a un grupo de investigadores que presentara al Congreso y al gobierno una medicin ocial de la pobreza en Mxico. Se reunieron cerca de diez investigadores y despus de largas discusiones y debates, se formularon tres mediciones ociales de la pobreza. Sabemos que no son totalmente satisfactorias, porque esto es muy difcil de lograr, pero al menos tenemos tres maneras mediante las cuales el gobierno puede medir la reduccin de la pobreza. Sin embargo, enfrentamos el reto de vincular esas mediciones con el impacto de los programas sociales sobre la pobreza. Por lo tanto, este componente no est necesariamente vinculado a los otros indicadores, y ste sigue siendo un reto. La prxima semana, este equipo de expertos presentar la medicin ocial de la pobreza para 2004 y vamos a poder apreciar la tendencia desde 2002 y 2003.

esfuerzos en la medicin del impacto, pero todava necesitamos esforzarnos mucho ms para generar la informacin necesaria. No obstante, necesitamos hacer ms para fortalecer, e incluso a veces para crear sistemas de monitoreo basados en resultados. Tambin hemos logrado avances en la SEDESOL respecto de qu hacer con los resultados de evaluacin, sobre la base del sistema que ya expliqu. Tenemos mucho ms trabajo para hacer si es que hemos de vincular mejor las evaluaciones de programas con las decisiones presupuestarias. En general, creo que los desafos son muy importantes, pero al mismo tiempo, creo que lo que hemos hecho en Mxico en la SEDESOL durante los ltimos tres aos ha sido muy signicativo.

Experto: Guillermo Bernal Miranda

Conclusiones Hemos logrado muchos avances al saber que hay usuarios de la informacin de evaluacin: el Congreso, los ciudadanos, los donantes externos (Recuadro 11). Todos son buenos usuarios y demandantes de esta informacin, y la presin que ejercen acelerar la disponibilidad de la informacin. Tambin hemos logrado grandes avances en identicar los benecios de cada programa. Hemos hecho grandes

Jefe de la Ocina del Presupuesto, Gobierno de Mxico

RECUADRO 11:

Mxico-Metas

Lograr un sistema de M&E integrado. Fortalecer el sistema de M&E y la evaluacin interna. Tener un vnculo ms fuerte con las evaluaciones presupuestarias. Mejorar las aptitudes de los investigadores locales y tambin las de los usuarios potenciales de las evaluaciones (Congreso, etc.). Mejorar las evaluaciones cualitativas. La transicin hacia el nuevo Consejo Nacional de Evaluacin no ser fcil ni automtica. La evaluacin a nivel estatal o municipal prcticamente no existe.

Como comentarista, quisiera apartarme de mi rol de funcionario pblico de Mxico. He sido muy afortunado de haber tenido la oportunidad de conversar con Gonzalo Hernndez. Nunca habamos podido hablar de forma directa sobre estos asuntos en el pasado, y esto me da una idea de los problemas que tenemos hoy en Mxico. Oportunidades es un programa nico, por la forma en que fue establecido y acreditado y tambin por los resultados tan importantes del monitoreo y la evaluacin que nos ha proporcionado. Se estableci dentro de la Tesorera en el Ministerio de Finanzas, contrariando los deseos de las otras secretaras participantes, los ministerios de desarrollo social, educacin y salud. Oportunidades se basa en el presupuesto que se haba asignado a una gama amplia de programas bajo la Secretara de Desarrollo Social, SEDESOL. Es precisamente esta evaluacin la que nos permiti superar la resistencia de las distintas secretaras, as como del propio Congreso, que era crtico del programa. En Mxico, el requisito legal de tener metas e indicadores dentro del presupuesto empez en los aos ochenta, cuando se instituy la legislacin de la planicacin. Esta ley estableci que habra un plan de desarrollo y planes sectoriales, y que luego stos se reejaran en los programas y los presupuestos presentados al Congreso. El presupuesto tena que incluir indicadores para cada programa. As que durante muchos aos hubo la costumbre burocrtica de

56

M&E DE PROGRAMAS SOCIALES EN MXICO

denir ms de 3.000 indicadores en el presupuesto, en trminos muy amplios y con metas que generalmente fueron generadas por los gerentes del presupuesto. Bsicamente, se trataba de un dilogo acerca de nmeros, pero no acerca de las metas y tambin se examinaba desde ese punto de vista por el Congreso, con kilogramos y kilogramos de documentos que se producan pero que no se usaban. Ms bien, la discusin del presupuesto era sobre las diferentes partidas o insumos para distintas ocinas o unidades organizativas. As el Congreso controlaba las asignaciones, por decirlo as, de los lpices azules y los lpices verdes, y le permita cierta exibilidad al Ejecutivo para decidir si compraba lpices azules o verdes. El Congreso no estaba interesado en los resultados o indicadores de los programas. Como bien seal Gonzalo Hernndez, ha habido un cambio en el Congreso y ahora existe la obligacin de evaluar los programas anualmente, para ver si se deben mantener o extender en el presupuesto. Sin embargo, esta cultura todava no est bien arraigada en el Congreso, y la mayora de las evaluaciones son de calidad deciente, por las razones explicadas por Gonzalo: capital humano limitado y rigideces en la contratacin de consultores de evaluacin. Por ejemplo, el sistema facilita la contratacin de las universidades pblicas, pero no as de las universidades privadas o de las ONG para realizar las evaluaciones, que podra ser ms aconsejable, especialmente si el costo es inferior. Por lo tanto, las evaluaciones son de mala calidad y la mayora no satisface los requisitos para la toma de decisiones con respecto a las asignaciones presupuestarias de los programas. Durante los ltimos tres aos, hemos avanzado signicativamente hacia la presupuestacin basada en resultados. A veces, sin la participacin del Congreso, hemos buscado la discusin y la aprobacin del presupuesto a un nivel global; hemos tratado de dejar a un lado la presentacin del presupuesto por ocina o unidad organizativa. Ms bien, hemos tratado de organizarlo de tal manera que los programas se vinculen con las agencias, a las que denominamos entidades institucionales. Estas entidades institucionales son las que reciben un indicador. Hasta 2002 no haba ningn indicador de resultados para el programa Oportunidades. Esto permite que las diversas ocinas de varios ministerios participen en un nico esfuerzo de evaluacin que se reeja en un nico resultado o un simple indicador, por lo general generado por las instituciones que participan en la implementacin del programa. De esta forma, hemos

reducido el nmero de indicadores de 450 a 350, y pensamos que lo ptimo sera tener 250 indicadores para el presupuesto. Se han dado ciertos sucesos afortunados. El presidente Fox estableci un sistema de metas presidenciales, en el que las ocinas del gobierno contraen un compromiso con la Presidencia. As, las metas importantes de las ocinas del gobierno se convierten en las metas del Presidente y luego stas se traducen al presupuesto. Todava hay numerosos problemas para resolver, por ejemplo, el permitir a los gerentes tener una mayor participacin en la denicin de los indicadores y mejorar la revisin del Congreso del presupuesto segn el programa y sus indicadores y no slo sobre la base de asignaciones especcas por ocina. Desde luego, la legislacin estipula que debe haber evaluaciones de mejor calidad y ms nanciamiento para la evaluacin. En general, yo no estoy de acuerdo con un mayor gasto, porque pienso que el dinero no gastado es dinero bien gastado. Sin embargo, s creo que vamos a encontrar una solucin al problema poltico en Mxico, en cuanto al conicto entre el Ejecutivo y la Legislatura en la aprobacin del presupuesto.

Experto: Mark Hagerstrom

Lder Sectorial de Pas para el Desarrollo Humano del Banco Mundial, Mxico

Para m, es extremadamente difcil ser conciso acerca de la SEDESOL en el rea de las evaluaciones. Creo que el papel de la SEDESOL en cuanto a la institucionalizacin y el progreso reciente en la gestin orientada a la consecucin de resultados es muy importante. Hemos odo mucho acerca de los programas Progresa y Oportunidades de la SEDESOL, pero necesitamos ver si es o no una isla de excelencia, necesitamos evaluar el impacto de la SEDESOL en el monitoreo y la evaluacin en general en Mxico, y quiz pudiera proporcionar lecciones para otros pases en la promocin del M&E. Sabemos que la SEDESOL representa slo alrededor del diez por ciento del gasto social federal, quizs un poco menos. Pero es importante entender que ella ha tenido un impacto enorme sobre el M&E en Mxico. La administracin Fox ha demostrado una suerte de empoderamiento en cuanto a Oportunidades. La administracin siempre habla de la importancia de la rendicin de cuentas y del impacto

57

HACIA LA INSTITUCIONALIZACIN DE LOS SISTEMAS DE MONITOREO Y EVALUACIN EN AMRICA LATINA Y EL CARIBE

del gasto. Mostrarle al resto del mundo lo que la SEDESOL est haciendo sienta la pauta para otros programas. Tambin tenemos el impacto de la SEDESOL en el Gabinete. Hoy en da, el Gabinete siempre est hablando del impacto y parece haber cierta competencia entre los distintos ministros para demostrar que sus programas s tienen repercusiones. El gobierno tambin tiene un programa para medir la pobreza. Eso juega un papel importante en cuanto a la promocin del M&E y tambin por primera vez tenemos, con relacin al Banco, la oportunidad de examinar el gasto pblico federal y creo que es la primera vez que el gobierno ha emprendido este tipo de anlisis. Sin duda, la SEDESOL trae informacin a la luz de da. La informacin no es algo que simplemente recoge polvo en un escritorio de las ocinas del Ministerio de Finanzas. Ahora, podemos hablar de otros sectores. Tenemos el ejemplo del Seguro Social, para el cual se ha hecho una evaluacin, y estoy seguro que hay otros ejemplos de la Secretara del Trabajo. En educacin, empezamos con la evaluacin de un programa educativo compensatorio para nios rurales pobres y si bien hubo mucha resistencia al inicio, la evaluacin es ahora parte del programa. Otro ejemplo, que tuvo el apoyo del Banco Mundial, fue un programa para brindar prstamos a estudiantes, y tambin hay un programa para establecer escuelas de calidad. En educacin tambin hay una evaluacin de la capacitacin de jueces que la est llevando a cabo la Rand Corporation. Ahora estamos emprendiendo un esfuerzo muy importante en evaluaciones de impacto con el Ministerio de Educacin. Debemos destacar la importancia que el Minis-

tro de Educacin le da al PISA (Programa para la Evaluacin de Estudiantes Internacionales), a los resultados del examen o las pruebas de los estudiantes. El PISA es un esquema voluntario y se debe hacer una peticin a la OCDE (Organizacin para la Cooperacin y el Desarrollo Econmicos) para participar en el mismo. Pero los resultados de estas pruebas se estn publicando y se est ampliando la cobertura para incluir a los estados. Esto tendr un impacto enorme, porque aquellos estados que asumen la responsabilidad de la educacin bsica son los que estn adoptando esta evaluacin. No ha habido mucha publicidad acerca de los resultados en educacin. Como ocurri en la SEDESOL, se llev a cabo una reestructuracin en el Ministerio de Educacin en la cual se estableci una ocina de planicacin, dependiente del Ministro de Educacin, a cargo de evaluar los insumos y los productos de los programas, as como del monitoreo de los procesos. Esta es una reestructuracin muy reciente que se debe apoyar. Ya sabemos que los estados juegan un papel importante en la prestacin de servicios sociales en Mxico. Quisiera saber qu piensa Gonzalo de la estrategia de promover el M&E a nivel estatal. Pienso que ese ser el prximo reto importante en Mxico. Por ltimo, hemos recibido ciertos comentarios acerca del impacto de la SEDESOL en M&E. El economista principal del Banco Mundial, en mi rea de desarrollo humano y servicios sociales, es alguien que se hizo famoso en el rea de evaluacin y en Oportunidades. Ahora l est distribuyendo metodologas y promoviendo el M&E en muchos otros pases, por lo que nosotros en el Banco debemos agradecer a Oportunidades y a la SEDESOL por esto.

58