La evaluacin de polticas pblicas y sociales. Un anlisis entorno a los actores. Ma. Jimena Garca Puente.

Introduccin: Los procesos de Reforma del Estado1 desarrollados en la ltima dcada en Argentina modificaron la correlacin de fuerzas, el alcance y el modo de intervencin estatal, lo que implic una redefinicin de los roles y prioridades del Estado, y un cambio en la forma de relacionarse con la sociedad civil. Se configur una nueva forma de relacin y articulacin del Estado con la sociedad civil en su triple relacin, en la funcional o la divisin del trabajo (de qu debe ocuparse el Estado), en la material o de la distribucin del excedente social (cunto le cuesta a quin) y en la de la dominacin o correlacin de poder (quin decide de qu hay que ocuparse) (Oszlak, 2001). De sta manera Oszlak seala que la antigua matriz estado-cntrica fue dando paso a un modelo de relacin cuya caracterstica central es la incorporacin de las instancias subnacionales, de los dems actores que componen la sociedad y de los actores supranacionales2. Tales cambios se evidencian en el diseo y la implementacin de las polticas pblicas y en las polticas sociales3, puesto que influyen en los contenidos o las temticas que ingresan a la agenda estatal (y cmo lo hacen), en las formas de resolucin y en tipo de soluciones. Por ello una forma de visualizarlos es por medio del anlisis de los objetivos, el diseo y las prcticas de gestin de las polticas pblicas, asimismo se pueden visualizar por medio del anlisis de los diversos actores que participan en dichos procesos y del modo que interactan y se relacionan en esos marcos institucionales especficos. A modo de sntesis podemos sealar que los rasgos sobresalientes de las principales transformaciones de las polticas sociales se vinculan con la descentralizacin (el traslado de responsabilidades de gestin jurisdiccional a las provincias y a los municipios), la focalizacin (polticas orientadas a poblaciones claramente definidas), la privatizacin de

Por procesos de reforma del Estado nos referimos tanto a lo que se denomin primera reforma como segunda reforma del Estado. 2 Cabe aclara que Oszlak (2001) sostiene no se trata de una variacin de las reglas fundamentales (es decir las que se fundan el sistema capitalista como modo de organizacin social) en que se basan los vnculos entre el Estado y la sociedad. Lo que ha cambiado son algunos actores, sus estrategias y resultados mismos del juego. 3 A los fines del presente trabajo, no nos centraremos en la distincin de polticas sociales respecto a las dems polticas pblicas y abordamos su tratamiento en conjunto. No obstante ello se va a considerar a las polticas sociales como un subconjunto de polticas pblicas, cuya finalidad es dar una respuesta a determinadas problemticas sociales, es decir, modificar situaciones de exclusin, vulnerabilidad, desigualdad y pobreza, cuyos los principios rectores son la equidad, la inclusin y la seguridad social. 1

servicios pblicos (ya sea en empresas privadas nacionales o internacionales) y la terciarizacin de ciertas actividades. Rasgos que marcan la presencia de nuevos actores en el proceso de diseo y de gestin de las polticas. Tales actores no se limitan al mbito estatal (ya sea jurisdiccional o intrasectoriales) sino que incluyen actores sociales (organizaciones no gubernamentales y otras formas de accin y participacin comunitaria) e internacionales (organismos multilaterales de crdito). Otro de los cambios que experimentaron se vincula con el mayor nfasis en el monitoreo y la evaluacin (Repetto, 2003) de las diversas polticas sociales como de la gestin pblica. Tales modificaciones afectaron tanto a los marcos institucionales como a la configuracin del mapa de actores relevantes que interactan alrededor de las polticas pblicas. Por ello para analizar las polticas pblicas es necesario considerar la presencia plural de actores polticos y sociales e internacionales. El presente trabajo se propone indagar slo sobre uno de los rasgos de las polticas sociales sealados: la evaluacin, con el propsito de vislumbrar el mapa de actores que interactan en esa fase y el entramado institucional en el cual se desarrollan. Esto se realiza a partir del anlisis de los actores en la fase evaluacin de una poltica social particular, el Programa Trabajar, luego el foco de anlisis se ampla con el fin de analizar algunos aspectos de la institucionalizacin de la evaluacin de polticas sociales en un organismo estatal, el Sistema de Informacin, Monitoreo y Evaluacin de Programas Sociales (SIEMPRO).

Polticas pblicas: una mirada en torno a los actores. Existen diversos modos de abordaje para analizar las polticas pblicas, que implican diferencias en torno a su conceptualizacin y, en tanto marcos analticos, formas diferentes de observar la relacin entre el Estado y la sociedad civil4. Puesto que el trabajo est enfocado en las polticas pblicas creemos pertinente especificar en base a qu concepcin terica realizaremos el anlisis.

Al respecto nos referimos, a riesgo excesiva simplificacin, a los enfoques denominados socio-cntricos que explican a las polticas pblicas en base a los intereses, relaciones y estructuras de la sociedad civil; a los estado-cntricos que postulan al Estado como autnomo en sus decisiones de las presiones de los actores de la sociedad, por lo tanto a las polticas pblicas como expresin de los intereses y preferencias de los actores estatales, y por ltimo al enfoque que analiza las polticas pblicas como la expresin conflictiva de la interaccin de actores estatales y sociales, mediados por entramados institucionales. 2

De acuerdo con Oszlak y ODonnell las polticas pblicas5 permiten una visin del Estado en accin, desagregado y descongelado como estructura global y puesto en un proceso social en el que se entrecruzan complejamente con otras fuerzas sociales, lo que permite analizar el proceso social tejido alrededor del surgimiento, tratamiento y resolucin de cuestiones ante las que el Estado y otros actores adoptan polticas (1984: 99 y s). Entonces el anlisis de las polticas pblicas, en tanto que stas expresan el accionar de los actores fundamentales, permite comprender la compleja relacin entre el Estado y la sociedad y las reglas que juego que articulan la relacin. En concordancia con ese enfoque, Fox sostiene que es necesario, adems analizar los conflictos, contrastes, intereses e identidades de los diversos actores en el interior del Estado y en la sociedad, que pueden capturar los lmites y las posibilidades de accin estatal (1994: 11). Las polticas pblicas son, para ste autor, el resultado de una relacin recproca, causa y efecto entre los cambios en la balanza de poder dentro del Estado y dentro de la sociedad civil (Ibdem: 22). Tal perspectiva nos conduce a analizar y considerar a una poltica pblica como el resultado de la forma en que se lleva adelante la disputa entre diversos actores en el marco de cierta distribucin de poder y reglas de juego, en otras palabras explicar a las polticas en funcin del proceso que resulta del sistema de instituciones polticas que organizan el poder en la sociedad y el entramado de actores involucrados, sus capacidades y comportamientos(Acua y Repetto, 2001: 15). Considerando, entonces a una poltica pblica como el resultado de la interaccin entre los actores relevantes del Estado y la sociedad civil, centraremos el anlisis en los actores intervinientes en ellas. En el presente trabajo se analiza, en primer lugar, utilizando la perspectiva analtica que subdivide a una poltica pblica en ciclos o fases y concentrndonos en una de ellas la evaluacin, el mapa de actores que interactan en una poltica social. En funcin de ello, en segundo lugar, se destacan algunos aspectos de la evaluacin como una poltica pblica, es decir evaluacin de polticas sociales con el fin de observar la institucionalizacin en un organismo estatal de la funcin evaluacin de polticas sociales.

Los autores definen a las polticas pblicas como un conjunto de acciones y omisiones que manifiestan una determinada modalidad de intervencin del Estado en relacin a una cuestin que concita inters o movilizacin de otros actores de la sociedad civil (Oszlak y ODonnell, 1994: 112). 3

Porqu analizar la evaluacin de las polticas pblicas y sociales a partir de los actores? La evaluacin de programas y proyectos sociales es una actividad programada de reflexin sobre la accin, basada en procedimientos sistemticos de recoleccin, anlisis e interpretacin de informacin, con la finalidad de emitir juicios valorativos fundamentados y comunicables, sobre actividades, resultados e impactos de esos proyectos o programas y formular recomendaciones para tomar decisiones que permitan ajustar la accin presente y mejorar la accin futura (Nirenberg et. at., 2000: 32). La evaluacin ha conformado histricamente un momento de anlisis del proceso de las polticas, sin embargo, como se seal en la introduccin, tal preocupacin ha adquirido mayor relevancia en la agenda de las reformas del Estado ligada al inters por la responsabilizacin y la rendicin de cuentas en el mbito pblico (Hintze, 2001) En el mismo sentido Ospina seala que el tema de la evaluacin de proyectos y programas pblicos no es nuevo, pero que la preocupacin actual se enmarca dentro de una agenda ms amplia de reforma del Estado y la modernizacin de sus instituciones (2001: 93). Tal preocupacin se basa en la necesidad de reevaluar el papel del Estado y de mejorar la eficiencia, eficacia y calidad de los servicios pblicos. La autora seala que el mejoramiento de la administracin pblica, a lo que podemos agregar, la formulacin, el diseo y el desempeo de sus polticas en pos de una mayor equidad, es un pre-requisito para recuperar la legitimidad del Estado, en su papel, ahora ms reducido pero igualmente crtico, como co-actor de la resolucin de los problemas colectivos. La evaluacin de polticas pblicas est vinculada, entonces no slo con la preocupacin de lograr mayor transparencia del aparato estatal sino tambin con el fin de mejorar el desempeo administrativo y el accionar del Estado, lo que conduce a una revisin del modo de resolucin de los problemas, (y de seleccin de los mismos) de su diseo, gestin y resultados. Por lo tanto qu actores interactan, y cmo, en el proceso de la evaluacin de una poltica pblica se convierte en esencial para vislumbrar no slo el enfoque de las evaluaciones, qu dimensiones analizan de la poltica pblica, en funcin de sus intereses o los que representan, sino tambin los recursos y las capacidades con los que cuentan cada uno para convertirse en actores relevantes en dicho proceso. Por otro lado el anlisis del mapa de actores y la institucionalidad resultante de la evaluacin como poltica pblica nos permite reflexionar y observar sobre las restricciones y oportunidades de los diversos actores para participar en tal proceso evaluativo.
4

La evaluacin como una fase de la poltica pblica La evaluacin de las polticas pblicas puede ser entendida como un ciclo o una etapa de la poltica o se la puede analizar como una poltica pblica en s misma6. De acuerdo con el primer enfoque se puede analiza una poltica pblica como un proceso que se desenvuelve por etapas, de las cuales, cada una posee sus actores, restricciones, decisiones, desarrollos y resultados propios, que influyen en las dems y son afectadas por lo que sucede en otras (Aguillar Villanueva, 1993: 15). Los autores que analizan las polticas pblicas en tanto procesos o ciclos, realizan una operacin analtica para dar cuenta de las diversas etapas por las que atraviesa una poltica pblica. Dichas fases, pueden no corresponderse linealmente con la realidad, algunas no se cumplen o el orden de las mismas suele alterarse. Al margen de los distintos cortes y denominaciones, todos los autores que utilizan este marco de anlisis se refieren a las siguientes etapas: estructuracin del problema, su ingreso a las agendas pblica y gubernamental, la generacin de alternativas, la decisin, el diseo, la implementacin y su evaluacin7. Utilizaremos la perspectiva del ciclo de la poltica pblica puesto que es apropiado para abordar la evaluacin de una poltica separada, por lo menos conceptualmente, de las dems fases con la finalidad de observar el modo en que los distintos actores interactan en esa etapa. La fase evaluacin, sin embargo, no se realiza slo cuando finaliza una poltica pblica, es un proceso transversal a toda la poltica. Por otro lado, la evaluacin de una poltica implica una definicin de objetivos, del carcter de la evaluacin, de la metodologa, su instrumentacin y anlisis de resultados, lo que permite tambin subdividir a sta fase. Para Manuel Tamayo Sez, la evaluacin es la ltima fase del proceso de la poltica pblica, y como ste es cclico, es tambin la primera porque conduce a una revisin del estado del problema (1997: 288). El fin es, de acuerdo con el autor, producir informacin para orientar los nuevos procesos de decisin, introduciendo modificaciones a la poltica o la sucesin de sta por una ms adecuada (Ibdem: 306 y s). Meny y Thoenig sostienen, en
El anlisis de la evaluacin como una poltica pblica se enfoca en examen de los sistemas de evaluacin de las polticas pblicas, que constituyen estructuras institucionales de evaluacin de las acciones e intervenciones del Estado y de los respectivos aparatos administrativos estatales (Guerrero Amparn, 1995), un ejemplo de ello en el caso de Argentina respecto a las polticas sociales sera el SIEMPRO. 7 De acuerdo con Guerrero Amparn, todos los autores que han desarrollado la nocin de poltica pblica como proceso incluyen una fase de evaluacin.(1995: 50). En el mismo sentido se puede ver en el anlisis que realiza Aguilar Villanueva (1993: 16) de los diversos autores (tales como Peter DeLeon, Garry Brewer, May y Wildavky, Hogwood y Gunn, y Anderson) que sealan la evaluacin como parte del proceso de toda poltica pblica. 5
6

primer lugar, que evaluar es un gesto diario, que consiste en identificar y medir los efectos propios de la accin, es un juicio hecho sobre un dato de referencia a un valor. Pero agregan que evaluar una poltica pblica es apreciar los efectos atribuibles a una intervencin gubernamental en un campo especfico de la vida social y del entorno fsico (...) es la apreciacin sistemtica, sobre la base de mtodos cientficos, de la eficacia y de los efectos reales, previstos o no, buscados o no, de las polticas pblicas(1992: 195), a lo que Sulbrandt incorpora que es un examen, a partir de criterios especficos, de los logros de una poltica en relacin a las metas propuestas y a los efectos esperados en los grupos sociales beneficiarios(1994: 312). Por otro lado, dichos autores sealan que no slo es un instrumento tcnico. La evaluacin puede ser considerara, tambin, como un mecanismo poltico cuya finalidad es el control parlamentario, la legitimacin de acciones gubernamentales o un mecanismo de justificacin de las mismas, el reforzamiento o la destruccin de una poltica, la legitimidad de un tipo de liderazgo (Tamayo Saz, 1997: 306), desde una perspectiva, y desde otra, como una actividad poltica que se define en quin juzga la poltica y mediante qu procesos (Meny y Thoenig, 1992: 203), puesto que el contenido mismo de la evaluacin, su juicio de valor final, forma parte de la atmsfera poltica de la toma de decisiones o del apoyo o crtica a una poltica. Por tal motivo Subirats, apelando a una construccin democrtica y plural, propone un enfoque que la considere como un instrumento de poltica que busca construir consenso entre los distintos actores interesados respecto a los criterios para evaluar una poltica (1995: 5). Retomando todas las definiciones, vamos a entender a la evaluacin de polticas sociales, como una actividad tcnica y poltica, programada y sistematizada, cuyo fin es analizar los resultados de las polticas gubernamentales en base a juicios fundamentados, no la concebimos como un mero mtodo tcnico, sino por su propsito brindar informacin para la planificacin y las decisiones polticas8. Por otro lado el proceso de evaluacin, como destaca Hintze (2001), es una fuente potencial de conflictos en el cual se pone en juego la posicin de los actores institucionales que pueden vivirla como una amenaza para su poder y a la propia sobrevivencia como actores. Esta situacin conflictiva, para Cohen y Franco, proviene de las diferentes racionalidades de los actores que intervienen en la evaluacin: los polticos, burcratas,

Esta definicin es pertinente tanto para la evaluacin en el marco del ciclo de una poltica como para un sistema de evaluacin de polticas pblicas. 6

tcnicos y la poblacin objetivo, son conflictos vinculados con la diferencia entre los tiempos polticos y tcnicos, (1992: 63 y s) a los se puede incorporar, tambin sociales9. Ahora bien qu actores realizan la evaluacin de una poltica pblica? Se puede sostener que todos los ciudadanos emiten juicios sobre lo que hace el gobierno puesto que, de acuerdo con Subirats las personas directa o indirectamente interesadas en un programa de accin pblica expresan sus opiniones crticas, sopesan y evalan las polticas pblicas en funcin de sus lgicas y perspectivas particulares (1995: 10). Pero dichas evaluaciones, para Guerrero Amparn son subjetivas y dependen de referencias heterogneas, de acuerdo con la posicin social, nivel de educacin, experiencias personales e ideas polticas, su inters particular y cmo ste es afectado o satisfecho por la poltica (1995: 62). De acuerdo con las definiciones antes citadas la evaluacin de una poltica pblica como anlisis cientfico se basa en procedimientos y tcnicas, se intenta superar las evaluaciones subjetivas de los ciudadanos y, a pesar de ser un juicio, ste debe resultar de observaciones concretas en normas y valores lo ms objetivos posibles10, con el fin de acrecentar la consideracin de los hechos concretos en detrimento de la influencia de los prejuicios. Pero las evaluaciones no son neutrales, son hechas por actores, ajenos o no a la poltica, que poseen ideologas, e intereses11. En otras palabras, los criterios de la evaluacin dependern de quin los formula, de cul es su intencin y su visin del mundo, ya sean las realizadas por actores que participan en alguna fase de la poltica o por actores externos, ajenos a la misma.

Anlisis de los actores en la fase evaluacin en una poltica pblica, el Programa Trabajar. En el presente apartado se analiza el Programa Trabajar, en su fase de evaluacin, con el propsito de examinar el mapa de actores, y el papel que juegan, en la fase de

En cambio la situacin conflictiva que presenta la evaluacin para Nirenberg et. al.(2000, 42 y s), se vincula con la resistencia al cambio, puesto que evaluar conlleva para las autores una transformacin de por ejemplo la forma en que se trabaja, lo que genera oposicin y renuencia. 10 Por valores objetivos, hacemos referencia a la correccin de la subjetividad individual que se encuentra en la intersubjetividad, lograda mediante la incorporacin de diferentes actores lo cual genera espacios de confrontacin y reflexin conjunta, para permitir acuerdos y consensos sobre distintos aspectos y sobre los juicios valorativos (Nirenberg et.at, 2000: 94). 11 Entendidos como intereses objetivos o subjetivos e ideologa como mapas cognitivos. (Acua y Repetto, 2001: 18 y s) 7

evaluacin de dicha poltica pblica12. Para tal fin, y de acuerdo con el marco terico adoptado, se emplea el enfoque relacional que interpreta el contenido y la dinmica de las polticas pblicas como resultado de la interaccin entre actores relevantes, sean stos estatales, de la sociedad o del sistema internacional (Repetto, 2002:34). El Programa Trabajar, desde su primera versin hasta la tercera, ha tenido cambios en su diseo y en sus procedimientos operativos, de los cuales algunos son el resultado de los procesos de evaluacin. A pesar que se realizaron diversas evaluaciones al Programa, las mismas no constituyen un proceso integrado y sistematizado, puesto que se efectuaron en diversos momentos, con distintos objetivos y sobretodo porque las llevaron adelante actores diferentes. Por ello se analizan las evaluaciones en funcin de dos grandes categoras, las internas del propio Programa y las externas. Las evaluaciones internas, a cargo de los ejecutores del Programa, se vinculan con las previstas en el diseo del mismo. La gran mayora son evaluaciones de los proyectos de infraestructura con el objeto de determinar su viabilidad dentro de los parmetros establecidos en el programa para su aprobacin (Res. S.E.yC.L. N 397/98). Por otro lado existen instancias de evaluacin del desempeo y desarrollo del Programa, tarea que realizan las Unidades Regionales de Aprobacin (Urat), a travs de indicadores de monitoreo. Mediante stos se pretende detectar oportunamente las deficiencias, obstculos y/o necesidades de diseo y ejecucin del Programa13, son indicadores cuantitativos orientados a la comprobacin peridica de la adecuacin entre las metas y objetivos propuestos y los alcanzados. Sin embargo, los mismos se refieren al seguimiento estrictamente fsico-financiero del Programa. Situacin que dista de la propuesta de Nirenberg (2001) sobre las evaluaciones internas de programas nacionales que se concretan en proyectos que se ejecutan en diversas provincias y municipios, a cargo de organismos pblicos y de ONGs, como es el caso del Trabajar. La autora propone un modelo evaluativo aplicado por diferentes actores ubicados en los distintos niveles de gestin. De esa forma participan en el mismo los actores locales, provinciales y nacionales, con las mismas dimensiones, variables e

12

Las fuentes que se utilizan en el presente apartado referidas al Programa Trabajar son diversos documentos del Banco Mundial y del Ministerio de Trabajo y Seguridad Social. Por otro lado, el anlisis de la evaluacin al Programa Trabajar se efecta en conjunto, lo que incluye a sus tres versiones. 13 Dichos indicadores cuantitativos estn relacionados con el ciclo de los proyectos, la informacin sobre los beneficiarios directos, sobre la ejecucin del presupuesto, sobre la cobertura, los pagos a los beneficiarios, el resultado de los proyectos, el costo de los mismos, la extensin de los objetivos en reas pobres y la asistencia tcnica. Res. S.E.yC.L. 202/97. 8

indicadores, pero con diversas tcnicas de acuerdo a los niveles y con un marco conceptual y metodolgico compartido14. Por otro lado el Ministerio de Trabajo (2000a), como responsable del Programa, realiz Diagnsticos de Base, que se centran en el anlisis de la poblacin beneficiaria, donde se exponen las caractersticas de la misma en tres aglomerados, se presentan datos respecto a la caracterizacin sociodemogrfica, los antecedentes laborales, las particularidades de los hogares de la poblacin objetivo, y las diversas formas de vinculacin con el Programa. Tales estudios fueron completados por un segundo informe (Ministerio de Trabajo, 2000b) que analiza los mismos aspectos antes sealados, pero sin discriminar por lugar de residencia. De acuerdo con lo expuesto se puede concluir que desde la instancia interna, los encargados del Programa centran las evaluaciones en un control cuantitativo, basado en el monitoreo de la gestin y la implementacin y en la presentacin de informes diagnsticos enfocados en la caracterizacin de los destinatarios. Sin embargo, segn la informacin relevada, es pertinente preguntarse por la existencia de evaluaciones a posteriori o estudios que analicen cualitativamente los datos. En otras palabras, que excedan los fines burocrticos y de control y se centren en anlisis la gestin y de sus resultados, esto es en maximizar el impacto y la eficacia de los fondos a travs del conocimiento y las acciones correctivas que de ellos derivan.15 La evaluacin interna del Programa Trabajar concuerda con el diagnstico de Cohen sobre la tendencia dominante en la evaluacin de polticas sociales en Amrica Latina que utilizan como parmetros de medicin indicadores de ejecucin presupuestaria, cobertura y costos mnimos de prestacin de servicios. Sin embargo ninguno de ellos da cuenta del impacto en funcin de los objetivos sociales que los justifican puesto la eficiencia del gasto no garantiza necesariamente su impacto (Cohen et al, 2001: 20). Respecto a las evaluaciones externas a la gestin e implementacin del Programa, las realizaron dos actores. Uno fue el SIEMPRO16 y el otro el Banco Mundial (BM).
14

Nirenberg (2001) asimismo destaca la importancia de la inclusin en el diseo del proceso evaluativo no slo de los distintos niveles operativos, sino de los actores que programan y de los destinatarios de las acciones. 15 Al respecto cabe destacar que a pesar de no encontrar ningn informe de tales caractersticas, desde la Unidad Ejecutora Central y en las diversas instancias provinciales, funcionan instancias informales, que sirvieron de retroalimentacin para mejorar el desempeo del programa. (esta afirmacin se basa en una entrevista realizada a Sebastin Carrera, miembro de la UEC, el 20 de agosto de 2002 en Buenos Aires). 16 El SIEMPRO fue creado en el ao 1995 por la resolucin 2851/95 de la ex Secretara de Desarrollo. Surgi en el marco de un prstamo del Banco Mundial y actualmente posee financiamiento de dicho organismo y del Banco Interamericano de Desarrollo. A partir de diciembre de 1999 pasa a depender de la Secretara de Tercera Edad y Accin Social, la cual pertenece al Ministerio de Desarrollo Social y Medio Ambiente, y en 9

El SIEMPRO, entre sus diversas actividades, efecta monitoreos y evaluaciones de programas sociales, para lo cual realizan distintos tipos de evaluaciones. En el caso del Trabajar el SIEMPRO realiz una evaluacin diagnstica (1997)17 de la primera versin del Programa con el fin de realizar un anlisis en profundidad de la ejecucin. Es una evaluacin de procesos que centra su atencin en distintos aspectos del programa: las relaciones institucionales, la formulacin de los proyectos y su ejecucin, la focalizacin de los beneficiarios, el flujo de fondos, y en el perfil de los beneficiarios. Tal evaluacin se realiz para obtener un diagnstico de la implementacin del Programa en su primera versin y sus conclusiones y recomendaciones fueron utilizadas para modificar y redisear el Programa en su segunda versin. Por su parte el BM, realiz una evaluacin del Programa que denominaron de impacto y se basa en diversos estudios separados realizados por dicho organismo. El propsito de la evaluacin efectuada por el BM es determinar si el programa est o no logrando alcanzar sus objetivos normativos, e indicar los campos en los cuales el programa necesita una reforma a fin de maximizar su eficacia. (Baker, s/f y BM, s/f). La misma consiste en diversos estudios, con objetivos distintos, que se realizaron para evaluar los siguientes aspectos del Programa: 1. los aumentos netos de ingresos que se acumulan para los participantes en el Programa, 2. la asignacin de los recursos del programa en las diversas regiones (focalizacin) 3. la calidad de la infraestructura que los proyectos han financiado, y 4. el papel de la comunidad y las ONGs en los resultados de los proyectos. El primer aspecto lo analizaron en el estudio que se plantea evaluar de las ganancias netas en ingreso de los beneficiarios (Jalan y Ravallion, 1999). Tal objetivo no es ajeno al Trabajar, puesto que el Programa se propone reducir el impacto de la cada del nivel de ingresos de los hogares pobres por la prdida de empleo, por lo que el BM est interesado en analizar las trasferencias netas de ingreso y ello realiza por medio del clculo el costo de oportunidad, es decir los ingresos que el beneficiario deja de percibir por otros trabajos al incorporarse al programa. Los criterios y las tcnicas que se utilizaron fueron una encuesta de niveles de vida (Encuesta de Desarrollo Social EDS)18, otra encuesta realizada a los

la actualidad se ejecuta dentro del Consejo Nacional de Coordinacin de Polticas Sociales de la Presidencia de la Nacin. 17 La evaluacin fue realizada con colaboracin de CRISOL Proyectos Sociales y CEDEI. 18 La EDS fue desarrollada por el Ministerio de Desarrollo Social y financiada por el BM bajo otro proyecto. La misma fue diseada para mejorar la calidad de la informacin sobre el bienestar de las familias en Argentina, particularmente en el campo del acceso a los servicios sociales y los programas sociales. 10

fines de la evaluacin a los participantes y un grupo de control como referencia comparativa para medir los efectos de la poltica19. El estudio que analiza el segundo aspecto sealado, la focalizacin, (Ravallion, 1999) examina la asignacin de recursos del Programa por regiones con la finalidad de verificar la orientacin hacia los grupos beneficiarios especficos. Para realizar esta evaluacin el BM se bas en datos del Ministerio de Trabajo respecto a asignacin de fondos del Programa en las provincias y los compar con ndice de pobreza necesidades bsicas insatisfechas establecido a partir del censo de 199120. Es un estudio centrado en el anlisis de la focalizacin del programa en los sectores pobres, es decir si se seleccionan bien los destinatarios, pero no el impacto del programa en ellos, puesto que es un anlisis del proceso de asignacin de fondos, con el fin de aumentar la eficiencia operativa del programa. Se busca determinar la medida en que los componentes de un proyecto contribuyen o son disfuncionales a los fines perseguidos, es decir detectar las dificultades que se presentan en la programacin y en la implementacin, siendo su objetivo central medir la eficiencia con que opera el proyecto (Cohen y Franco, 1992: 110) por medio de observar, un aspecto del mismo, su focalizacin. El estudio destinado a evaluar la calidad de los proyectos de infraestructura que se financian, tercer aspecto del Programa que evala el BM, se realiz mediante el anlisis de costos-beneficios21. El anlisis se centra en el producto del programa, es decir, en los resultados concretos de las actividades desarrolladas, en ste caso, las obras de infraestructura fsica. Al ser un anlisis que se realiz una vez finalizada la obra debe brindar elementos para determinar la utilidad de la continuacin del proyecto o para (...) establecer la conveniencia de realizar otros del mismo tipo(Cohen y Franco, 1992: 183). Para evaluar el cuarto aspecto el BM efecto una evaluacin social (Estebanez y Feliu, 1998) que se propone analizar ciertos aspectos de la implementacin. Para realizar tal propsito realizaron una evaluacin que se plantean indagar sobre la participacin de

19

El grupo de control fue extrado de una muestra de la encuesta EDS y las comparaciones con los participantes del Programa se realizaron sobre la base de similitudes en las caractersticas observadas. 20 Para analizar la focalizacin la metodologa consisti en la realizacin de regresiones de los datos sobre las asignaciones de fondos en las distintas reas geogrficas con los ndices de pobreza geogrfica. El coeficiente resultante estima un diferencial de focalizacin dado por la diferencia entre las asignaciones promedio del programa a pobres y no pobres. Se descompone el diferencial nacional de la focalizacin para evaluar la contribucin del mecanismo de focalizacin del gobierno central con respecto a la focalizacin del gobierno local en el nivel provincial. 21 De acuerdo con el informe del BM realiz por medio de un muestreo y visitas al campo por parte ingenieros civiles que calificaban a los proyectos sobre la base a indicadores (agrupados en las siguientes categoras: tcnicas, institucional, ambiental, socioeconmica). ste ltimo no se realiz para las escuelas y los centros de salud. 11

las ONGs en el Programa, de las mujeres como beneficiarias, el rol de los municipios y la percepcin social de los diferentes actores involucrados. La denominan evaluacin social puesto que la finalidad del estudio evaluativo es detectar los problemas o dificultades de la implementacin a partir de la evaluacin que realizan los diversos actores, es decir est enfocada en la perspectiva de los actores del programa desde sus diversos roles, ya sea como beneficiarios directos, indirectos, tcnicos u organismos responsables22. Por lo que podemos sostener que es una evaluacin que pretende identificar los efectos del Programa desde la perspectiva de los propios intervinientes, y a partir de all analizar el proceso de implementacin. Al respecto cabe realizar una aclaracin, el anlisis que se realiza en ste tipo de evaluaciones, que incorporan las percepciones del programa de los diversos actores involucrados en el mismo est vinculado con el objeto de conocer el efecto del programa, como sealan Meny y Thoenig el efecto puede ser comprensible concreta y materialmente, pero tambin de forma simblica y abstracta (...) los efectos se refieren a las opiniones y a las percepciones de la gente (...) puede tratarse de la satisfaccin que experimentan, o no, los usuarios o los beneficiarios de una intervencin(1992: 197). Sin embargo la evaluacin social del BM no es una evaluacin pluralista como la define Guerrero Amparn (1995) puesto que sta no requiere slo de los distintos puntos de vista de los interesados, es necesario una interpretacin mltiple, dinmica y consensual de los efectos, para ello es necesario que sea un proceso colectivo del analista junto con los actores23.

Una vez descriptas brevemente las diversas las evaluaciones, la intencin es considerar rol de stos actores en el proceso mismo. Como se observ la fase evaluacin en el Programa Trabajar, no constituy un proceso integrado y continuo en el cual participaron los diversos actores, al margen de las diversas temporalidades que realizaron evaluaciones sobre el Programa, cada actor las realiz por separado y con diversos objetivos.
22

La misma fue realizada por socilogos mediante entrevistas a grupos focales para los cuatro tipo de actores que intervinieron en el Programa (organismos responsables gubernamentales, ONGs, beneficiarios directos e indirectos), asimismo se realizaron entrevistas semiestructuradas a los miembros de la oficina central del Programa y a los responsables tcnicos de las gerencias provinciales. 23 Por otro lado, tampoco es una evaluacin plural como la conceptualiza Subirats puesto que, al igual que en el caso anterior, no es suficiente con incorporar la perspectiva de los beneficiarios y los actores interesados, se deben construir criterios de evaluacin comunes con el fin de fomentar consenso mediante un proceso social de aprendizaje a travs del cual es posible resolver en conjunto los problemas que afrontan las polticas pblicas. (1995:10). 12

La evaluaciones internas pueden considerase como un monitoreo de la gestin e implementacin del programa tanto las que realizaron los ejecutores como los responsables del Programa. La evaluacin del SIEMPRO se realiz cuando el programa no posea financiamiento externo y efectu slo una al Trabajar y como se destac se centr en analizar el proceso y los aspectos de su implementacin. A modo de hiptesis se podra considerar que al realizar el BM las evaluaciones centr su atencin en otros programas sociales, pero tambin que la evaluacin que realiz el SIEMPRO fue requerida por el BM para conocer el estado de la cuestin, puesto que sus recomendaciones fueron incorporadas en la segunda versin del Trabajar. A partir de la implementacin del Trabajar II, observamos que el BM juega un papel central en el proceso de evaluacin, los dems actores (tanto los beneficiarios, organismos participantes en las distintas etapas del programa, como los encargados de implementarlo) aparecen en sta fase como informantes. Los datos de la Unidad Ejecutora Central, encargada procesar y elaborar de los indicadores de monitoreo, fueron utilizados en las evaluaciones que realiz el BM. Por otro lado, dicho organismo relev otros datos, que no surgen de tales indicadores. El proceso de evaluacin que realiz el BM fue diseado por tcnicos del organismo, e implementado conjuntamente con el equipo del proyecto de Argentina y del Banco, y se coordin con el INDEC, el Ministerio de Trabajo y el departamento de polticas del Ministerio de Desarrollo Social. Esto nos confirma que el actor relevante en este proceso es el organismo co-financiador del programa, a pesar de la participacin de otros actores. Por qu es el actor relevante? con qu recursos cont? 24 En primer lugar, el proceso de evaluacin se inici durante la preparacin del Trabajar II, que respecto a la primera versin posee modificaciones tendientes a mejorar la orientacin de los proyectos hacia los grupos beneficiarios directos, por medio de una mayor influencia en el sistema de asignacin presupuestaria del Gobierno Central de los indicadores de pobreza y desempeo provincial y una mayor atencin en la evaluacin de en la aprobacin de los proyectos de infraestructura ponderando ms altos los provenientes de reas pobres (en el Trabajar I no se explicitaba ninguna metodologa sobre la distribucin). Por otro lado, se incorporan anlisis de viabilidad (tcnico, financiero, institucional, socioeconmica y ambiental) de los proyectos, entre otras modificaciones. Las reformas se realizaron para cumplir con los requisitos planteados por el BM, a pesar tambin se incorporaron las recomendaciones que realiz el SIEMPRO. Esto demuestra la

13

capacidad de negociacin en las instancias de formulacin y gestin del programa, por medio de la cual puede modificar el diseo del Programa de acuerdo a sus intereses25. Especficamente respecto a la evaluacin, al margen de lo ya sealado, el BM es quin la dise, estableci los objetivos, determin qu dimensiones evaluar y la metodologa. Asimismo coordin a los colaboradores internos, contrat expertos y la financi. Situacin que a partir del recurso econmico y el peso poltico puede definir qu evaluar y cmo. Sin embargo ello no impide que otros actores realicen sus propias evaluaciones con otros objetivos e intereses. O bien que en el proceso de formulacin y de diseo de la evaluacin participen los dems actores involucrados en el Programa, los decisores polticos, los responsables mximos, los ejecutores, los miembros de las organizaciones intervinientes y por ltimo, y no por ello menos importante la poblacin beneficiaria. En segundo lugar, la posibilidad de acceder a la informacin durante el proceso de evaluacin, es decir, la colaboracin de las distintos participantes del programa, ms la realizada por ellos mismos, fue la que les permiti realizar las diversas evaluaciones que componen el anlisis de impacto. Este recurso que se cristaliza en la capacidad de descifrar el contexto, que le permite lograr definir un diagnstico, el problema y la solucin. La orientacin en la definicin de qu evaluar est vinculada con el concepto del problema y el inters del BM. ste organismo se pregunta por el impacto del Programa en relacin a los ingresos de los participantes, a la focalizacin (para evitar desviaciones) y a los proyectos de infraestructura, y por los problemas de la implementacin y se asignacin de recursos, por lo tanto se puede inferir que su inters est en el destino y la utilizacin de sus prstamos y es esos trminos es entendida la eficiencia, por un lado. Por otro lado el Programa Trabajar, se presenta como un programa de empleo transitorio, donde el objetivo es brindar ocupacin transitoria a desocupados en condiciones de pobreza, reduciendo el impacto de la cada del nivel de ingreso de los hogares pobres por la prdida de empleo y mejorando la empleabilidad de dichos trabajadores. (Res. S.E.y C.L. n 240/97), para de esa manera disminuir la pobreza mediante la simultnea generacin de oportunidades de empleo y de mejoramiento de la infraestructura social en las comunidades en condiciones de pobreza.
24 25

Para el anlisis de los recursos de los actores nos basamos en lo propuesto por Acua y Repetto (2001). De acuerdo con Hintze (2000) los programas con financiamiento externo, cumpliendo con las etapas del ciclo proyecto, pasan por evaluaciones ex ante destinadas a establecer la factibilidad de proyecto y en la formulacin incluyen sistemas de evaluacin y monitoreo. 14

La evaluacin del BM se pregunta por las ganancias netas en ingreso de los participantes, y pone el acento en la focalizacin, lo por tanto la problemtica de la pobreza es entendida slo como una disminucin del ingreso. Esto de acuerdo con Lo Vuolo et. al. est vinculado con el concepto de pobreza del BM, que lo entiende no como un problema de redistribucin de recursos sino principalmente uno de mejor utilizacin de recursos productivos (..) la salida que se ve para la pobreza es la fundamentalmente por la utilizacin de fuerzas productivas de los propios pobres (...) se trata de un problema de elecciones racionales entre actividades(1999: 112). Por ello uno de los criterios que utiliz el BM es el costo oportunidad de participar en el Programa en relacin al ingreso sacrificado (el ingreso de los que no participan en el mismo) y en base a ello se centran las caractersticas de los beneficiarios y su distinta clasificacin y la percepcin que poseen de la poltica que los tiene como destinatarios. Al seleccionar solamente ste impacto (las transferencias netas de ingresos), se dejan de lado los dems contenidos en los objetivos del Programa, como por ejemplo la mejora de la empleabilidad de los beneficiarios26. Considerar slo un aspecto de los resultados del Programa, reduce el objetivo del mismo. En tercer lugar la capacidad de representacin, podemos entenderla para ste actor, en sta fase, al rol de los expertos y los consultores encargados de las evaluaciones, en un sentido particular, puesto que al presentarse como miembros del BM, estn representando y cumpliendo la funcin que ste organismo les encomienda, por lo cual la actitud de los consultados, es brindar la informacin, puesto que estn los que demandan los datos estn aparados por el Banco y lo representan. A pesar que no poseen un respaldo legal que ampare su accionar (si fuera un actor estatal), ni liderazgo para expresar con legitimidad a su base (si fuera un actor social), al ser un actor que financia la mayor parte del programa, es considerada legtima su preocupacin por la implementacin del programa, por lo tanto sus miembros, representan esa inquietud. Por otro lado el BM se presenta ejerciendo el rol tradicional del evaluador, como depositario de saberes tcnicos y responsable del rigor cientfico. El rol del experto se observa en los diversos estudios que elaboraron modelos tericos, los instrumentos de recoleccin de informacin aisladamente. Asimismo sus conclusiones se presentan como
26

Sin lugar a dudas medir tal aspecto del objetivo del Programa es dificultoso y requiere de un estudio ex post ms avanzado en el tiempo y la posibilidad de conformar grupos de participantes del Programa y de observarlos despus de que hayan participado del mismo con el fin de determinar si aument o no su empleabilidad. No obstante ello los recursos econmicos y tcnicos que mostr tener el BM en las estudios analizados, tal complicacin no parece ser un problema, siempre y cuando el BM tuviera inters en ello. 15

deducciones de la racionalidad de las tcnicas empleadas, descontextualizadas de la realidad en que se desarroll el Programa y neutralmente valorativas. Respecto a los dems parmetros que hace que determinados actores se constituyan en relevantes en un proceso de una poltica pblica27, el BM no los posee sin embargo ello no constituye un impedimento ni una limitacin, puesto que en sta fase no son determinantes para ste actor. En sntesis, durante el proceso de evaluacin del Trabajar el BM demostr inters en conocer los resultados de la accin y de los fondos prestados. Respecto a los dems actores, vemos que durante esta etapa participan en funcin de tal demanda, tanto los beneficiarios al participar en la evaluacin social, como los responsables de la gestin en cooperar con la evaluacin. Nos preguntamos qu consecuencias trae aparejado que el BM sea el actor determinante en sta fase del Programa Trabajar? qu sucede con los dems actores? cul es el inters en la evaluacin? qu recursos (y o capacidades) e intereses poseen para participar en la misma? En primer lugar que el BM sea el actor relevante en la fase evaluacin, significa que las evaluaciones estarn orientadas a satisfacer los intereses de tal organismo. Pero tales intereses son los mismos que los que poseen los dems actores? Sin lugar a dudas no, por ejemplo el Estado, que a pesar sea un actor que tambin financia del Programa y que puede compartir la preocupacin por el uso eficiente de los recursos con el BM, su inters est (o debera) enfocado, tambin, hacia el xito o no de tal modalidad de intervencin. Lo que conduce a indagaciones sobre el impacto de la poltica de acuerdo al objetivo de la misma, en el sentido si se logr o no subsanar el problema que dio origen a la poltica pblica, al margen de que tambin tenga otros intereses respecto a las diversas dimensiones de la poltica pblica. Hemos sealado que evaluar una poltica significa efectuar un juicio de valor sobre la misma, por ello que tal juicio sea determinado, o exclusivamente definido, por el BM, afecta, en primer lugar la representatividad de los dems actores intervinientes en todo el ciclo de la poltica pblica.

Ahora bien cabe indagar sobre la ausencia de los dems actores en sta fase. A qu se debe? La respuesta a tal pregunta, nos conduce a analizar varios aspectos. En primer lugar nos preguntamos los dems actores no son relevantes en sta etapa porque no
27

Nos referimos a los dems recursos que sealan Acua y Repetto (2001) la capacidad de movilizacin social y de accin colectiva. 16

poseen los recursos necesarios, lo que impide constituirse como tales, o porque no poseen un inters en participar en la misma y s en otras etapas de la poltica? Lo que nos lleva a analizar qu valor le asignan a la evaluacin para que consideren importante participar en dicho proceso, y cul es lugar que ocupa la evaluacin al momento de definir y redisear las polticas pblicas. Por otro lado tambin nos lleva a preguntarnos a cmo generar el marco institucional para lograr que el proceso de evaluacin sea ms democrtico y pluralista, en el sentido que estn representados todos los actores. Para comenzar a delinear algunas posibles respuestas a tales preguntas nos alejaremos del caso presentado, considerando que el anlisis de la fase de una poltica pblica, intent dar cuenta de qu actores y en base a qu recursos participaron en tal micro proceso (es decir en la evaluacin, del macro proceso del ciclo completo del Programa Trabajar). Pero tal micro proceso en el que interactan ciertos actores nos permite realizar otro corte analtico. Nos referimos a la fase evaluacin en s misma, a su aspecto institucional, es decir a la estructura de incentivos que moldean el comportamiento de los actores en sta fase. Por ello podemos analizar a la evaluacin no slo en esa poltica pblica, sino delinear algunas conclusiones sobre las reglas de juego y la estructura de incentivos y restricciones en esa fase. Para tal propsito nos centraremos en el anlisis de la poltica del Estado frente a la evaluacin, considerando la capacidad diferencial de actuacin del Estado frente a otros actores, al momento definir y coordinar cmo, con qu objetivos y quines participan al momento de evaluar las polticas pblicas.

Algunas lneas sobre la evaluacin de polticas como una poltica pblica Para analizar los actores relevantes en el Programa Trabajar se consider a la evaluacin como una fase del ciclo de una poltica pblica, sin embargo desde otra perspectiva, la funcin de la evaluacin de polticas pblicas puede ser, tambin, entendida como una poltica estatal en s misma y con una finalidad precisa. Este segundo enfoque incluye y engloba en su anlisis todos los ciclos de evaluacin de las diversas polticas, por lo tanto a las observaciones ya sealadas. Ello no implica necesariamente que un organismo estatal lleve adelante las tareas de evaluacin, stas pueden ser delegadas a instancias no gubernamentales, pero s indica una decisin estatal frente a la temtica. En otras palabras, las consideraciones que se van a realizar se refieren a los sistemas de evaluacin de las polticas pblicas. Los sistemas de evaluacin constituyen estructuras institucionales de evaluacin de las acciones e intervenciones del Estado y de
17

los respectivos aparatos administrativos estatales (Guerrero Amparn, 1995) que requieren la definicin de polticas de evaluacin. Ospina propone una divisin analtica de los distintos niveles de evaluacin, que en su conjunto conformaran un sistema de evaluacin estatal. De acuerdo con el planteo de la autora en nivel ms micro se desarrolla la evaluacin de desempeo de los empleados que compete al rea de gestin de recursos humanos y el nivel intermedio (nivel meso) corresponde a la evaluacin de las organizaciones pblicas encargadas de proveer servicios pblicos e implementar polticas pblicas. A un nivel ms macro se encuentra la evaluacin de programas que cruzan varias organizaciones, y en un cuarto nivel la evaluacin del desempeo del gobierno, como un conjunto de instituciones que implementan polticas que se han gestado democrticamente y por lo tanto representan un pacto con los ciudadanos (2001: 104). Cada uno de los niveles requiere mediciones y evaluaciones de distinto tipo, pero para que integren un sistema deben estar interconectados y articulados. No nos centraremos en todos los niveles de evaluacin, sino solamente en el que se refiere a la evaluacin de las polticas sociales, que de acuerdo con la divisin propuesta por Ospina corresponden principalmente a los ltimos tres niveles28. En cuanto a la evaluacin de polticas sociales, en los ltimos aos, se han desarrollado diversas instancias de evaluacin al momento de formular las polticas sociales29 y se introdujeron mecanismos de seguimiento y monitoreo que se implementan desde los mbitos de gestin y de responsabilidad de cada una de ellas, sin embargo tales instancias se encuentran descentralizadas y desarticuladas entre s. Por tal motivo nos centramos en el organismo del Estado nacional que realiza evaluaciones de los programas sociales, el SIEMPRO30. Respecto al SIEMPRO queremos destacar slo algunos aspectos respecto a qu programas se evalan, cmo y quines llevan adelante el proceso (y qu sucede con las evaluaciones)31. Por lo tanto no se analizan los avances ni las debilidades del organismo en
28

A pesar de ello no hacemos referencia, especficamente, a las evaluaciones organizaciones o institucionales sino a las polticas pblicas que stas implementan. Aunque ambas dimensiones estn conectadas y son interdependientes. 29 A modo de ejemplo la definicin del Marco Lgico del BID. (BID, 1997) 30 Tambin en el Plan de Modernizacin del Estado posee como objetivo la mejora de la gestin pblica por medio del seguimiento y la evaluacin de las polticas pblicas. Sin embargo debido al poco desarrollo y avance en las reas sociales, no nos centraremos en su anlisis. 31 Las consideraciones que se efectan sobre el SIEMPRO, no forman parte de un trabajo de investigacin en profundidad sobre el organismo, sino que se basa en un conjunto de reflexiones a partir de la lectura de cierta bibliografa. Por ello son breves y se refieren slo a los aspectos sealados y se realizan con el fin de 18

materia de evaluacin de programas sociales, que exceda la recopilacin y sistematizacin de la informacin del gasto social y su grado de focalizacin, ni el rol de ese organismo en el mbito estatal, tanto intersectorial como interjurisdiccionalemente32. Si se analiza qu programas fueron evaluados, desde la implementacin del SIEMPRO hasta la actualidad, se observa que la mayora posee financiamiento de organismos multilaterales de crdito33. A qu se debe esto? Segn Neirotti (2000) porque se acta en respuesta a condiciones impuestas por dichos organismos para la obtencin de crdito, incorporando la racionalidad desde afuera. Por ello el autor seala que no estn claras las prioridades entre las reas a evaluar ni cmo se eligen los programas sujetos a la evaluacin, sino que se han llevado a cabo segn la demanda de los programas o de los organismos financiadores (Neirotti, 2001). Repetto en el mismo sentido, destaca que el nmero de estudios realizados es muy bajo y que los mismos se efectan con el objetivo de cumplir con los planes de accin acordados con las instancias financiadoras o para mejorar el desempeo de un programa en cuestin (2002: 195). Situacin que evidencia la influencia de organismos internacionales en la decisin de armar instrumentos y llevar adelante procesos de evaluacin. Para evaluar los programas el SIEMPRO utiliza diversas metodologas, con el fin de abarcar todas las fases de la gestin, la formulacin, ejecucin y resultados alcanzados: la evaluacin ex ante, las lneas de base, evaluaciones diagnsticas, evaluaciones desde la perspectiva de los beneficiados, evaluacin final de resultados, evaluaciones ex post o impacto, opiniones evaluativas a programas especficos y de tipo transversal y evaluaciones del gasto social. Las evaluaciones realizadas han sido externas (Hintze 2001), es decir fueron diseadas y llevadas a cabo por firmas consultoras u organismos internacionales34. La introduccin de las consultoras para realizar las evaluaciones y la externalidad de su demanda para Martnez Nogueira (2001) implica una reduccin de la capacidad analtica del Estado, puesto que la demanda de conocimiento y de servicios son provistos por grupos tcnicos ajenos a la administracin.

ejemplificar el estado de la evaluacin de las polticas sociales y la poltica, en este caso, del Estado nacional frente la temtica, lo que no implica que la situacin sea diversa en otros mbitos estatales. 32 Tal anlisis excede los lmites del trabajo, pero sin lugar a dudas constituye una tarea a realizar para comprender el estado de la evaluacin de las polticas sociales. 33 A modo de ejemplo: el Programa de Atencin a Nios y Adolescentes en Riesgo (PROAME), el Programa de Atencin a Grupos Vulnerables (PAGV) y el Programa Fondo Participativo de Inversin Social (FOPAR). 34 Como por ejemplo el BM, la Cepal, la OPS, CEPA- CEI, IBOPE y varios consultores evaluadores externos. Ver siempro.gov.ar 19

La prctica de la evaluacin llevada a cabo por el SIEMPRO ha introducido algunas modificaciones en los programas sin embargo estas son aisladas y no constituyen todava un aporte para el mejoramiento del diseo y la gestin de los mismos (Neirotti, 2000) 35. Por otro lado a nivel de la orientacin de las polticas los aportes provienen de la sistematizacin de la informacin social36 (que no es una contribucin menor) pero no de los resultados de las evaluaciones. Esta breve descripcin y las conclusiones que podemos sacar de ella concuerdan con las efectuadas respecto a la evaluacin del Trabajar. Se observa una ausencia, a pesar del nfasis en el monitoreo y en el control financiero y de focalizacin del gasto social y de la respuesta en funcin a las demandas externas, de un inters real por parte del Estado en la evaluacin de las polticas pblicas. Esto es un inters en evaluar las diversas las prcticas de gestin e implementacin y de los impactos de las polticas sociales. Esta ausencia se encuentra tanto en el rol de coordinacin de las evaluaciones, en la seleccin de los programas como en la definicin del alcance y enfoque de las mismas, lo que nos permite suponer el relativo empleo de las evaluaciones como insumo para la toma de decisiones. Asimismo se puede vislumbrar la nula incidencia de los destinatarios de las polticas en el proceso evaluativo y la presencia de los organismos internacionales de crdito en la temtica y respecto a qu programas evaluar. Por otro lado, un rasgo a destacar es la externalidad de la evaluacin y la relativa cantidad de evaluaciones realizadas respecto a los programas sociales existentes.

Democratizar y pluralizar la evaluacin Frente a la situacin descripta destacamos el estado embrionario de la evaluacin como prctica regular y sistemtica, y en los casos que se realizaron sus resultados no alimentan debates en torno a problemas o a las iniciativas para superarlos, los mbitos que deberan dar sentido a los trabajos a travs de lecturas transversales no existe. De acuerdo con ello, en la prctica, no existen an acuerdos generalizados y de implicancia prctica

35

Segn Nerotti (2000) no se desarroll una instancia de intercambio y difusin de las experiencias evaluativas para el aprendizaje colectivo de la prctica de la evaluacin y la discusin de estrategias para llevarla a cabo. 36 En siempro.gov.ar se encuentran diversos informes sobre el gasto social, informes integrales de algunas provincias, informes sobre la situacin social y pobreza, informacin estadstica y las guas de los programas sociales nacionales. 20

sobre el valor que generan buenas evaluaciones (incluyendo monitoreos) en las decisiones y acciones estatales (Repetto, 2003), puesto que el sistema poltico no se orienta por ellas. Como consecuencia de ello las evaluaciones no aportan contribuciones significativas a la construccin de sentido de las polticas, a la memoria institucional y al aprendizaje social. Sirven, a lo sumo, para introducir cambios incrementales, pero no para producir modificaciones de segundo orden como seran la adopcin de enfoques alternativos o del cuestionamiento a las conceptualizaciones que responden las polticas sociales (Martnez Nogueira, 2001). Es decir, no constituyen medios eficientes para alimentar un aprendizaje social y poltico que conduzca a la redefinicin de problemas o a la adopcin de nuevos marcos interpretativos mediante la reconstruccin de los procesos sociales, la identificacin de las lgicas operantes y las estrategias de los diversos actores. La evaluacin de polticas sociales est atravesada por decisiones polticas en trminos de definicin de prioridades sociales, distribucin de recursos y, en ltima instancia, de poder. Por ello las reflexiones producto de la evaluacin respecto a la importancia de un programa, su significado, el de sus logros y la efectividad alcanzada reflejan un proceso de toma de decisiones y establecimiento de prioridades (Nirenberg et al, 2000: 97) Asimismo los juicios valorativos sobre esas dimensiones se relaciona con los intereses de los actores que realizan la evaluacin. Por ello apelamos no slo a la construccin de un proceso sistemtico de evaluacin sino tambin a que ste sea un proceso abierto y participativo, en el cual puedan estar representados los intereses, valores, necesidades y demandas de todos los actores intervinientes, ya sea los que toman las decisiones, los que financian las polticas, los que las implementas como, y fundamentalmente, los destinatarios de las mismas. De acuerdo con ello crecemos necesario que se deben generar ciertas precondiciones para que efectivamente pueda avanzarse en un doble proceso de mejorar y democratizar el proceso evaluativo de las acciones gubernamentales. Mejorar en el sentido de extender la prctica evaluativa en todos los niveles e instancias y que las mismas formen parte de un sistema evaluativo, y por democratizar apelamos a polticas participativas en el proceso de evaluacin. En primer lugar es necesario que el Estado37 se apropie de la evaluacin, en el sentido que comience a demandarla y a orientar sus decisiones en torno a los resultados de
37

Sostuvimos al inicio del trabajo que el Estado no se presenta como un actor nico, sino que en su interior existen actores con intereses contrapuestos y tales divisiones internas dentro del aparato estatal tambin 21

las mismas. Considerando que la evaluacin es una herramienta para reformar polticas y un mecanismo de transformacin y mejoramiento de los programas sociales, que no es un fin en s misma ni un mero instrumento de control sino de aprendizaje, y que requiere ser institucionalizada a travs de una cultura de la evaluacin (Hintze: 2001) En pocas palabras que el Estado demuestre un inters real y no aparente en evaluar las polticas sociales, lo que lo constituira como un actor relevante en el proceso evaluativo. Esto implica que a partir de tal decisin poltica, el Estado desarrolle la capacidad poltica necesaria para fijar objetivos, movilizar recursos y llevar adelante acciones y capacidad organizacional y de gestin para definir y articular distintos los roles y las funciones de los diversos actores involucrados y coordinar los diversos procesos evaluativos. En segundo trmino nos podemos plantear cmo hacer para superar las deficiencias y la ausencia de ciertos actores en esta fase, lo que nos lleva a considerar el entramado institucional en el cual las normas, prcticas y las interrelaciones entre los diversos actores involucrados en la evaluacin promueven debilidad y prcticas hegemnicas en la evaluacin. Y aqu, se pueden considerar dos posibles caminos. Uno es que el Estado utilice los recursos con los que cuenta, por esto nos referimos al recurso que le es propio: la capacidad de autoridad, es decir la posibilidad de ejercer el poder pblico en funcin de que en ltima instancia las polticas son fijadas e implementadas por el Estado. Lo que sin duda requiere que se d lo que sealamos ms arriba como primera condicin. Con el recurso de autoridad el Estado podra generar nuevas reglas de juego e interrelaciones entre los diversos actores y, lo que consideramos ms importante, generar y articular los mecanismos y canales de representacin de los diversos actores intervinientes en el proceso evaluativo, sobre todo de los actores que no se constituyen como tales en sta fase. Otro camino sera, en el caso que los resultados de las evaluaciones se conviertan en decisivos al momento de definir la continuidad o la transformacin de una poltica, que los actores hasta el momento ausentes en sta etapa, evalen la trascendencia de participar en dicho proceso, por lo que podran movilizar recursos que utilizan en otras etapas de las polticas pblicas, como por ejemplo la capacidad de movilizacin social y de accin

establecen relaciones con los diversos actores sociales, en funcin de sus intereses. No obstante ello cuando hacemos referencia, en esta parte del anlisis, al Estado, queremos expresar la necesidad (o el deseo) que el resultado de dichas disputas se orienten hacia la una concepcin que valore la evaluacin de las polticas sociales. 22

colectiva, con el fin de presionar para participar del proceso. Sin embargo ste camino, no soluciona el problema de los actores ms dbiles. En tercer lugar, sin entrar en la discusin sobre qu metodologas y tcnicas de evaluacin utilizar para realizar evaluaciones plurales y participativas38, que desarrollan visiones conjuntas entre los diversos actores internos con de los evaluadores externos, es necesario asimismo que dadas esas precondiciones se recuerde que evaluar implica estimar, calcular, apreciar el valor de una cosa (Lo Vuolo et al, 1999: 73) lo que conduce a indagar sobre los valores y las cualidades de una poltica social que la hacen valiosa, es decir permitir la discusin abierta y plural, para construir consensos sobre el valor de los objetivos que persigue una poltica social en relacin al sistema social y poltico.

38

Hintze (2001), Nirenberg et al (2000) como Sulbrant (1994), slo por citar algunos autores, desarrollaron modelos de evaluacin participativos. 23

Algunas reflexiones finales: Durante el transcurso del trabajo se intent, a partir de un enfoque centrado en los actores, analizar quines son los actores relevantes en el proceso evaluativo en una poltica social, el Programa Trabajar, y en una instancia de institucionalizacin de la evaluacin del Estado nacional como el SIEMPRO. A partir de ello se observ el modo en que se presenta la relacin entre los principales actores, lo que seal la poca o nula capacidad de influir en el proceso evaluativo, y por lo tanto en el modo en que se evala y aprecia una intervencin estatal, ya sea en su proceso de diseo, ejecucin como interpretacin de los resultados, de los diversos actores estatales y de los beneficiarios de las polticas. Por lo cual sealamos la necesidad de modificar del actual entramado de reglas formales e informales actualmente resultante, e hipotetizamos algunos caminos posibles para lograr y superar la externalidad de la evaluacin y las evaluaciones espordicas que excedan el monitoreo de la gestin, y sobre todo para que en ella estn representados todos los actores intervinientes. En otras palabras que mejoren la organizacin y representacin entre los de agentes estatales (ya sea polticos, expertos y administradores de los distintos niveles) y los diversos sectores que componen la sociedad, en especial aquellos con menores recursos de organizacin y voz para expresar sus necesidades y valores. La reflexin sobre los diversos caminos o precondiciones necesarias para lograr una evaluacin plural y democrtica no est cerrada y ello requiere la realizacin de estudios ms profundos que se orienten en esa relacin. Sin embargo creemos importante sealar a modo de comentarios finales que la evaluacin de las polticas pblicas, y de las sociales, es una necesidad democrtica, que no slo se basa en el conocimiento de la ciudadana de los resultados de los programas y en control de las acciones gubernamentales sino que tambin implica su incorporacin e interaccin al momento de evaluar, lo que enriquece el debate social y poltico y viabiliza la participacin y la democratizacin las intervenciones sociales. Por otro lado constituye un insumo que el Estado no debe menospreciar si su objetivo es no slo mejorar su desempeo administrativo sino un fortalecimiento en cuanto a mejorar el impacto y la eficiencia de las polticas pblicas y sociales, lo que implica una constante evaluacin del alcance de las polticas, para poder tomar decisiones orientadas a reducir la injusticia social y a promover el desarrollo econmico, en base a la informacin provistas por las evaluaciones.

24

Porque si el objetivo es lograr un Estado mejor (no solamente ms chico) es necesario fortalecer las instituciones y las polticas pblicas que redefinan la actual distribucin del ingreso y de poder social. Ello conlleva a preguntarse y discutir los objetivos de las polticas pblicas entre todos los sectores y actores sociales involucrados, pero sobretodo con la incorporacin de los grupos ms alejados del poder, por medio de creacin de canales de participacin efectiva que reduzca las desigualdades, lo que implica una nueva forma de entender la relacin entre el Estado y la sociedad civil.

25

BIBLIOGRAFA: ACUA, Carlos y REPETTO, Fabin. (2001) Marco de anlisis de las polticas sociales, Mimeo, Buenos Aires. AGUILAR VILLANUEVA, Luis F. (1993) Estudio Introductorio en Aguilar Villanueva (comp.) Problemas Pblicos y Agenda de Gobierno, Miguel Porrua, Mxico. Banco Interamericano de Desarrollo. (1997) Evaluacin: Una herramienta de gestin para mejorar el desempeo de los proyectos, Oficina de Evaluacin (EVO), Washington, D.C. Banco Mundial (s/f) Evaluacin de los beneficios del trabajo subvencionado: Programa Trabajar de Argentina, Washington, D.C, www.worldbank.or BAKER, Judy (s/f) Anexo 1.1 Evaluacin de los beneficios de los programas de trabajo pblicos con salario mnimo para los pobres: El programa TRABAJAR de Argentina, en Evaluacin del impacto de los proyectos de desarrollo en la pobreza, Banco Mundial, Washington, D.C, www.worldbank.org COHEN, Ernesto y FRANCO, Rolando (1992) Evaluacin de Proyectos Sociales, Siglo Veintiuno Editores, Mxico. COHEN, Ernesto; TAPIA, Leonel; NAVARRETE, Cecilia; GIL, Carlos; FANTA, Gloria. (2001) Los desafos de la reforma del Estado en los programas sociales; tres estudios de casos, Serie Polticas Sociales N 45, Enero, CEPAL, Santiago de Chile. ESTEBANEZ, Mara Elina y FELIU, Patricia (1998) Programa Trabajar II. Evaluacin Social. Informe Final, Buenos Aires, www.wordbank.org FOX, Jonathan (1994) Captulo 2: State-Society Internacional and Distributive Reform in Mxico, en The Politics of Food in Mxico, Cornell University Press, Ithaca and London. GUERRERO AMPARAN, Juan Pablo (1995) La evaluacin de las polticas pblicas: enfoques tericos y realidades en nueve pases desarrollados, en Gestin y Poltica Pblica, Vol. IV, N1, Primer Semestre, Mxico. HINTZE, Susana (2001) Reflexiones sobre el conflicto y la participacin en la evaluacin de polticas sociales, ponencia presentada en el VI Congreso Internacional del CLAD, Buenos Aires. JALAN, Jyotsna y RAVALLION, Martin (1999) Income Gains to the Poor form Workfare: Estimates for Argentinas Trabajar Program, Banco Mundial, Washington DC, www.worldbank.org LO VUOLO, Rubn, BARBEITO, Alberto, PAUTASSI, Laura y RODRGUEZ, Corina (1999), La Pobreza...de la poltica contra la pobreza, Mio y Dvila Editores, CIEPP, Buenos Aires. MARTINEZ NOGUEIRA, Roberto (2001) Historia, aprendizaje y gestin pblica: las polticas dirigidas a la pobreza en el Estado remanente, trabajo presentado en el Seminario Historia y polticas sociales, Universidad Nacional de General San Martn. Ministerio de Trabajo y Seguridad Social (2000a) Resultados del Diagnstico de Base: Poblacin Beneficiaria del Programa Trabajar en Resistencia, Mendoza y Tucumn, mimeo, Buenos Aires. Ministerio de Trabajo y Seguridad Social (2000b) Segundo informe: Programa Trabajarmimeo, Buenos Aires.

26

MENY, Yves y THOENIG, Jean-Claude (1992) Cap. VII: La evaluacin, en Las polticas pblicas, Ariel, Barcelona. NIRENBERG, Olga; BRAWERMAN, Josette y RUIZ, Violeta (2000) Evaluar para la transformacin, Paids, Buenos Aires. NIRENBERG, Olga (2001) Nuevos enfoques en la evaluacin de proyectos y programas sociales, ponencia presentada en el VI Congreso del CLAD, Buenos Aires NEIROTTI, Nerio (2000) Reflexiones sobre la prctica de la evaluacin de programas sociales en Argentina (1995-1999), ponencia presentada en el V Congreso del CLAD, Santo Domingo. NEIROTTI, Nerio (2001) La funcin de evaluacin de programas sociales en Chile, Brasil y Argentina, ponencia presentada en el VI Congreso del CLAD, Buenos Aires. OSPINA, Sonia (2001) Evaluacin de la gestin pblica: conceptos y aplicaciones en el caso latinoamericano, en Revista Reforma y Democracia del CLAD N 9, Febrero, Caracas. OSZLAK, Oscar y ODONNELL, Guillermo (1984) Estado y polticas estatales en Amrica Latina: Hacia una estrategia de investigacin, en Kliksberg, Bernardo y Subirandt, Jos (comp.) Para investigar la Administracin Pblica, INAP, Madrid. OSZLAK, Oscar (2001) Estado y Sociedad: nuevas reglas de juego? En Revista Reforma y Democracia del CLAD N 9, Febrero, Caracas. RAVALLION, Martin (1999) Monitoring Targeting Performance when Decentralized Allocations to the Poor are Unobserved, Banco Mundial, Washington DC, www.worldbank.org REPETTO, Fabin (2001) Notas sobre los aspectos poltico-institucionales que impiden la construccin de la autoridad social en el caso argentino, ponencia presentada en el VI Congreso del CLAD, Buenos Aires. REPETTO, Fabin (2002) Gestin pblica y desarrollo social en los noventa. Las trayectorias de Argentina y Chile, Prometeo Libros, Buenos Aires. REPETTO, Fabin (2003) Capacidad institucional: un camino para enfrentar los desafos de la poltica social www.top.org.ar SIEMPRO (1997) Evaluacin Diagnstica del Programa Trabajar I, www.siempro.gov.ar SUBIRATS, Joan (1995) Los instrumentos de las polticas, el debate pblico y el proceso de evaluacin, en Gestin y Poltica Pblica, Vol IV, N1, Primer Semestre, Mxico. SULBRANDT, Jos (1994) La evaluacin de los programas sociales. Una perspectiva crtica de los modelos usuales, en Kliksberg, Bernardo (comp.) Pobreza. Un tema impostergable, CLAD/PNUD, Caracas. TAMAYO SEZ, Manuel (1997) El anlisis de las polticas pblicas, en Baon, Rafael y Castillo, Ernesto (comps.) La nueva Administracin Pblica, Alianza Universidad, Madrid. Resoluciones del Ministerio de Trabajo y Seguridad Social: N 240/97 y N 327/98. Resolucin de la Secretara de Empleo y Capacitacin Laboral: N 202/97 y N 397/98.

27