Unidad 04 de la GTZ Desarrollo de la Empresa OE 042 Evaluacin Interna

Modelo de resultados

Efecto directo

Objetivo

Vaco de atribucin

Impacto (Efecto indirecto)

Aprovechamiento (uso) de los productos

Productos Actividades
tes nan e do os d

Ins u m

m Ins u

os d

e co

ntr a p ar

t es

Monitoreo basado en resultados Gua para los proyectos y programas de Cooperacin Tcnica
Mayo de 2004

It is better to be approximately right than precisely wrong. *

John Maynard Keynes

Editor:
*

Deutsche Gesellschaft fr Technische Zusammenarbeit (GTZ) GmbH

Es preferible estar aproximadamente acertado que exactamente equivocado.

3 Redaccin: Unidad de Desarrollo de la Empresa, Equipo de Evaluacin Interna

Contenido
CONTENIDO Contenido Indicaciones generales sobre esta gua 1. Concepto de un monitoreo basado en resultados 4 7 8

1.1 QU SON RESULTADOS? ...................................................................................................................8 1.2 CMO SE GENERAN LOS RESULTADOS? ...........................................................................................8 1.3 EL MODELO DE RESULTADOS DE LA GTZ .........................................................................................9

2. Tareas de un monitoreo basado en resultados

12

2.1 TAREAS DE MONITOREO HASTA EL NIVEL DEL VACO DE ATRIBUCIN...........................................12 2.2 TAREAS MS ALL DEL NIVEL DEL VACO DE ATRIBUCIN.............................................................13

3. Seis pasos en el monitoreo basado en resultados

PASO 2: CONCERTACIN DE OBJETIVOS Y PROCEDIMIENTOS PARA UN MONITOREO BASADO EN
RESULTADOS

15

PASO 1: IDENTIFICACIN DE LOS LMITES DEL SISTEMA ......................................................................15 ...........................................................................................................................................17

PASO 3: CONCERTACIN DE HIPTESIS DE RESULTADOS ......................................................................17 PASO 4: CONTROL DE INDICADORES Y FIJACIN DE HITOS...................................................................19 PASO 5: IMPLEMENTACIN DE UNA RECOPILACIN DE DATOS .............................................................21 PASO 6: APROVECHAMIENTO DE LOS CONCLUSIONES DEL MONITOREO ...............................................23

Bibliografa

25

Gestin basada en resultados: Desafo a nivel de toda la empresa

Quien hoy en da practica la cooperacin para el desarrollo mediante la utilizacin de recursos provenientes de los impuestos, ser preguntado por las resultados o la eficacia . Ya no es suficiente alegar que se cuenta con una buena planificacin y que la ejecucin ha cumplido con el plazo fijado, a la vez que se presenta informes optimistas. El sealar que la influencia propia es demasiado limitada como para producir un cambio fundamental en la situacin mundial tampoco evita las interrogantes referentes a los resultados. Precisamente debido a lo reducido de los parmetros de accin, se exige que la cooperacin para el desarrollo demuestre de modo fidedigno que ha utilizado en forma efectiva todos los medios a su disposicin, contribuyendo con un aporte significativo al desarrollo econmico y social de los pases contraparte. La GTZ ha aceptado este desafo y ha reaccionado oportunamente. En la dcada de los 90, el control de calidad se basaba principalmente en el enfoque quality at entry (calidad al inicio); a partir de 1998, el concepto de quality at exit (calidad al trmino) ha pasado cada vez ms a primer plano. El sistema de evaluacin fue reformado nuevamente por decisin de la Direccin, que defini las autoevaluaciones y las evaluaciones externas como componentes complementarios del sistema de evaluacin de la GTZ. Se hizo un esfuerzo especial para revisar los mtodos de evaluacin ya existentes, y para desarrollar nuevos procedimientos acordes con los principios de descentralizacin. Mediante la introduccin del nuevo marco para la gestin de contratos y de cooperacin de la poltica de desarrollo (AURA), en agosto de 2002, la gestin basada en resultados se convirti en un aspecto clave de los contratos entre el BMZ y la GTZ. 1 El logro de los objetivos de la poltica de desarrollo se transform en el aspecto central. El xito de los proyectos o programas se mide ahora de acuerdo a los objetivos logrados, y no de acuerdo a las prestaciones efectuadas. La gestin de contratos y de la cooperacin ha adquirido una creciente libertad de accin, aunque al mismo tiempo se le impone una mayor responsabilidad compartida con la contraparte para el logro de los objetivos fijados en la poltica de desarrollo. Todas estas modificaciones, al igual que la tendencia a organizar la cooperacin para el desarrollo en forma de programas, conllevan consecuencias de gran alcance para la gestin de contratos y de cooperacin. La actual Poltica para la Gestin de Contratos y de Cooperacin refleja este cambio. Expone qu entiende la GTZ bajo el concepto de contrato, cmo orienta la ejecucin de acuerdo a los resultados, cules son las responsabilidades a
1

GTZ/BMZ, Directives for the Preparation of AURA Offers (GTZ/BMZ, Pautas para la Preparacin de Ofertas AURA), Eschborn, setiembre de 2003.

6 cargo de la empresa, de qu forma lleva a cabo las contribuciones y qu tiene en cuenta durante la planificacin, la conduccin y el control de calidad de proyectos o programas. 2 A fin de que la gestin de contratos y de cooperacin sea capaz de afrontar debidamente las crecientes exigencias del monitoreo basado en resultados, es necesario precisar y perfeccionar los instrumentos existentes, por ejemplo a travs de la introduccin de e-VAL, iniciada a mediados de 2003. No existen dudas con respecto a la necesidad de efectuar este tipo de reformas. La gestin de contratos y de cooperacin necesita contar con un monitoreo basado en resultados para la exitosa conduccin de los proyectos y programas y la presentacin de informes. La empresa requiere resultados, de modo que pueda rendir cuentas en forma fidedigna ante la opinin pblica y los comitentes. Por ltimo, los socios de la GTZ estn sumamente interesados en los resultados de los proyectos y programas.

GTZ, Policy on Contract and Cooperation Management (GTZ, Poltica para la Gestin de Contratos y de la Cooperacin). Eschborn, agosto de 2003.

Indicaciones generales sobre esta gua

Desde hace aos ha venido creciendo el nmero de iniciativas en la GTZ dirigidas a orientar ms decididamente el trabajo de poltica de desarrollo de la empresa a los resultados. Gracias a estas iniciativas, la gestin basada en resultados se ha transformado actualmente en un principio para el desarrollo corporativo de la GTZ. La presente Gua para el monitoreo basado en resultados constituye un nuevo hito en el camino hacia la implementacin de esta pauta. Tanto los proyectos como los programas necesitan contar con la libertad de accin suficiente para encontrar por cuenta propia las soluciones adecuadas para cada situacin. Sin embargo, sera incorrecto y no rentable comenzar siempre a instaurar sistemas de monitoreo basados en resultados partiendo de cero. Las diferencias entre los diversos proyectos o programas no son fundamentales en lo que respecta a qu constituye un objetivo, cul es el camino para que un proyecto alcance el objetivo deseado y cmo determinar los resultados de desarrollo logrados. La presente gua pretende captar las caractersticas generales y unirlas en un concepto integrado. Aspira a facilitar el trabajo bsico relativo a la instauracin de sistemas de monitoreo basados en resultados, y proporcionarle una orientacin concordante con la identidad de la empresa sin establecer normas restrictivas. Esta gua est conformada por tres partes: La primera parte describe el marco conceptual para un monitoreo basado en resultados. La segunda parte describe y resume las tareas a realizar derivadas del marco conceptual. La tercera parte describe seis pasos generales, mediante los cuales es posible avanzar desde el diseo del proyecto o programa hasta el aprovechamiento de los resultados del monitoreo.

En una corta bibliografa se indican los textos que han sido utilizados para la gua y aqullos apropiados para una lectura posterior. Son sumamente bienvenidas todas las sugerencias sobre literatura complementaria referentes al proyecto estratgico Gestin basada en resultados. La Gua para el monitoreo basado en resultados est concebida para todas las personas que tengan a su cargo la planificacin, ejecucin o evaluacin de proyectos o programas de la Cooperacin Tcnica (CT) alemana. Substituye a todas las guas, manuales o instrucciones anteriores de la GTZ referentes al tema del monitoreo.

1.

Concepto de un monitoreo basado en resultados

Nos referimos a un monitoreo basado en resultados cuando todas las actividades de monitoreo de un proyecto o programa estn dirigidas a la observacin de los resultados. El monitoreo basado en resultados forma parte de la autoevaluacin del proyecto o programa. Est dirigido a encauzarlo en forma continua en direccin a sus resultados. El monitoreo basado en resultados toma en cuenta toda la cadena de resultados desde los insumos, pasando por las actividades hasta llegar a los productos e impactos, y constituye otra faceta de un procedimiento de monitoreo ya establecido. La peculiaridad reside en que no solamente se observan las acciones efectuadas, sino que se intenta descubrir cules son los cambios ocasionados por dichas acciones.

1.1

Qu son resultados?

Deben clasificarse como resultados solamente los cambios que puedan atribuirse a un proyecto o programa. No es suficiente el mero hecho de que ocurra un cambio para que ste sea considerado como resultado de un proyecto o programa, aun si dicho cambio forma parte de la planificacin y de las consecuencias deseadas del mismo. Solamente en el caso de que exista una relacin causal evidente, o cuando mnimo plausible, podr catalogarse el cambio observado como un resultado. Los resultados pueden clasificarse en voluntarios e involuntarios, esperados o inesperados, positivos o negativos. No solamente conciernen a los grupos meta, sino tambin a las contrapartes y a los intermediarios, y pueden presentarse en una multiplicidad de reas diferentes. Adems, los resultados no surgen recin cuando ha finalizado un proyecto o programa, sino que se presentan desde su comienzo y a lo largo de todo el perodo de duracin del mismo. Incluso el poner a disposicin recursos de personal, financieros o materiales puede ser suficiente para desencadenar los primeros resultados, los cuales influyen en forma importante sobre las perspectivas de xito del proyecto o programa. Del mismo modo, las actividades de un proyecto o programa no solamente pueden traer consigo productos que beneficien a otros, sino que tambin pueden repercutir sobre el equipo del proyecto o programa, como en el caso de las medidas de capacitacin.

1.2

Cmo se generan los resultados?

La investigacin moderna en busca de innovaciones ha fomentado la comprensin de los procesos de desarrollo y las relaciones causales de los resultados. Contrariamente a lo

9 expresado por Rogers en la dcada de los 70, las innovaciones no llegan en lnea recta partiendo de cientficos ingeniosos y a travs de asesores entusiastas hasta los campesinos dispuestos a implementarlas, sino que surgen gracias a una interaccin social.3 Los cambios profundos en la sociedad o en el medio ambiente, que constituyen el objetivo de la cooperacin para el desarrollo, se basan en un denso entramado de actores con intereses especficos y diferentes grados de poder. Y cuanto mayor sea el nmero de actores que participan en un cambio, menor ser el peso factorial relativo de cada contribucin individual desde la perspectiva estadstica. De ello se desprende que cuanto mayor sea la distancia entre el proyecto o programa y las reas en las cuales se producen los cambios ms se dificulta la atribucin de los resultados a sus causas primarias.

1.3

El modelo de resultados de la GTZ

El modelo de resultados de la GTZ se relaciona estrechamente con la cadena general de resultados definida en el Glosario OCDE-CAD4. Trata explcitamente el conocido problema de la atribucin en la evaluacin de la ayuda al desarrollo, mediante la inclusin del vaco de atribucin como elemento conceptual clave. Los proyectos y programas de desarrollo obtienen recursos a partir de los aportes alemanes y de las contrapartes. Al utilizar estos insumos, se llevan a cabo actividades que generan productos. stos son luego utilizados por los grupos meta o intermediarios (aprovechamiento de productos), creando resultados de desarrollo de medio y largo plazo que constituyen efectos directos e impactos. Hasta el nivel del aprovechamiento de productos, la atribucin suele ser relativamente sencilla en la mayora de los casos. Sin embargo, a medida que nos acercamos a los niveles de los efectos directos e impactos (efectos indirectos), los factores externos que no pueden ser influenciados por los proyectos o programas adquieren una creciente importancia. El vaco de atribucin se incrementa a tal punto que los cambios observados ya no pueden relacionarse directamente con los productos del proyecto. Mientras se logre demostrar una relacin causal entre los productos y los cambios de desarrollo observados, los proyectos tienen derecho a considerar que dichos cambios positivos constituyen un beneficio directo. Los objetivos de los proyectos y programas se fijan a este nivel.

The social organization of innovation. A focus on stakeholder interaction. (La organizacin social de la innovacin. Enfoque en la interaccin de las partes interesadas.) Royal Tropical Institute, Amsterdam, 1997. OCDE-CAD (2002): Glossary of Key Terms in Evaluation and Results Based Management (Glosario de los Principales Trminos sobre Evaluacin y Gestin basada en Resultados)

10 Tal como ya se ha mencionado, los proyectos y programas aspiran a generar impactos ms all del nivel de objetivos, los cuales suelen constituir la razn primordial de una intervencin. En general, no es posible identificar una relacin causal que explique cmo se generaron estos beneficios indirectos, puesto que son demasiados los actores involucrados como para poder aislar claramente el efecto de una intervencin individual. No obstante, es necesario no perder de vista los resultados de desarrollo altamente agregados (como por ejemplo el progreso en trminos de los Objetivos de Desarrollo del Milenio). Si bien no es posible lograr una atribucin integral, la GTZ espera que sus responsables puedan formular hiptesis plausibles sobre las contribuciones del proyecto o programa a los resultados de desarrollo de nivel superior.
Grfico 1: Modelo de resultados

Modelo de resultados

(efecto directo)

Objetivo

Vaco de atribucin

Impacto (efecto indirecto)

Aprovechamiento de los productos

Productos Actividades
os d s um e do tes nan

Insu

mos de

In

con

trap

art e

Nota: Las flechas punteadas simbolizan el creciente nmero de factores externos

El Grfico 2 muestra el aspecto de una cadena de resultados en la prctica, utilizando como ejemplo un proyecto de formacin tcnica.
Grfico 2: Cadena de resultados simplificada para un proyecto de formacin tcnica

11

Cadena de resultados

(ejemplo simplificado, formacin tcnica) Impacto (efecto indirecto)

Creciente nivel de empleo e ingresos, menor pobreza

Vaco de atribucin

Efecto directo (objetivo) Aprovechamiento del producto Producto Actividades Insumos

Los conocimientos y las habilidades de los egresados se adecuan a la demanda del mercado Los currculos se usan en la formacin tcnica

Currculos apropiados para escuelas de formacin tcnica Investigacin de mercado, desarrollo de currculos

Asesores y financiamiento

12

2.

Tareas de un monitoreo basado en resultados

El monitoreo basado en resultados se concentra en los resultados generados por un proyecto o programa. A fin de detectarlos, es necesario llevar a cabo diferentes tareas. En primer lugar debe determinarse el efecto directo que pueda ser claramente clasificado como perteneciente al proyecto o programa, y que haya sido definido como objetivo del mismo. En segundo lugar, debe considerarse el impacto que se produce en el entorno ms amplio del proyecto o programa al alcanzar los objetivos, pero que no puede ser claramente atribuido a dicho proyecto o programa.

2.1

Tareas de monitoreo hasta el nivel del vaco de atribucin

La concepcin y la planificacin de cada uno de los proyectos o programas se basan generalmente en una hiptesis de resultados, es decir, un conjunto de supuestos respecto a las relaciones entre intervenciones y resultados. El modelo de resultados antes descrito tambin contiene esta clase de supuestos, los cuales sealan de qu forma deben ser aprovechados los productos del proyecto o programa y cules sern los resultados provechosos esperados. La tarea principal del monitoreo basado en resultados consiste en observar hasta qu punto los resultados esperados efectivamente se producen, y si el proyecto o programa se desarrolla en direccin a su objetivo. Para ello, dicho monitoreo debe vigilar la cadena de resultados planeada, as como observar si surgen resultados no deseados que hagan peligrar el logro de los objetivos o causen otro tipo de perjuicios. El monitoreo basado en resultados debe proporcionar las informaciones que requiere la gestin de contratos y de cooperacin para encauzar debidamente el proyecto o programa dentro del llamado corredor de objetivos. Las principales interrogantes son: Cules son las hiptesis de resultados fundamentales en las que se basan la concepcin y la estrategia del proyecto o programa? En qu reas pueden surgir resultados deseados o no deseados? Qu actores y condiciones marco influyen en forma esencial sobre el proyecto o programa y cmo se manifiesta esta influencia? Son acertadas las hiptesis de resultados en el sentido de que reflejan la realidad del proyecto o programa? Qu factores son los principales responsables de que sucedan los cambios positivos y negativos observados?

13 Cules de los cambios observados pueden identificarse como resultados que guardan una relacin causal con el proyecto o programa, especialmente en el nivel de los objetivos?

No basta con observar los resultados del proyecto o programa sobre su entorno. Tambin es importante examinar la perspectiva contraria la influencia del entorno en el proyecto o programa ya que los cambios en las condiciones marco o las acciones de otras organizaciones de desarrollo pueden influir de forma positiva o negativa en el logro de los objetivos. A fin de reconocer esta situacin, el o los responsables de la gestin de contratos y de cooperacin no deben perder de vista el entorno institucional, poltico, social, econmico y ecolgico. En este sentido, el monitoreo basado en resultados identifica los factores esenciales que influyen sobre las condiciones marco, y observa y analiza su incidencia sobre el logro de los objetivos del proyecto o programa.

2.2

Tareas ms all del nivel del vaco de atribucin

El objetivo del proyecto o programa se establece a nivel del efecto directo. Sin embargo, el motivo de la intervencin en un sector o en un pas es lograr resultados ms all del nivel del efecto directo. Por consiguiente, la influencia que ejerce el proyecto o programa a este nivel slo puede ser indirecta. Como ejemplo, en el Grfico 2se determina como objetivo: Los conocimientos y las habilidades de los egresados se adecuan a la demanda del mercado. Este objetivo no constituye una finalidad en s mismo. La justificacin de la poltica de desarrollo para el proyecto o programa se basa en la expectativa de que los egresados con un buen nivel de formacin profesional puedan conseguir un puesto de trabajo, mejorando de este modo su situacin social. Tambin supone que la economa lograr niveles ms competitivos gracias a la disponibilidad de personal con una buena formacin. Estos resultados esperados dependen de la interaccin de muchos y diversos actores, que deben ser materia de observacin aunque la influencia del proyecto o programa sobre ellos sea difcil o inexistente. Si por ejemplo se percibe que el sector que alberga el proyecto de formacin profesional viene perdiendo gran parte de su importancia debido a influencias externas, deber cuestionarse crticamente si el proyecto se aplica an en el mbito adecuado. Por lo tanto, el monitoreo basado en resultados tambin observa qu cambios ocurren ms all del vaco de atribucin, e intenta contestar a la interrogante sobre si estos cambios se relacionan de forma plausible con el proyecto o programa. Los comitentes, la opinin pblica y las instancias polticas esperan informacin sobre contribuciones a los objetivos sectoriales, as como sobre avances significativos en el desarrollo a mayor escala o nivel multisectorial, tales como los logros de reduccin de la pobreza, la consolidacin de la paz o

14 la proteccin del medio ambiente. Un proyecto de salud debe estar informado respecto a la mortalidad infantil en la regin, mientras que un proyecto de asesoramiento del sistema de aduanas debe estar al tanto sobre el presupuesto nacional, y una medida de reduccin de la pobreza necesita conocer la estrategia nacional para la reduccin de la pobreza. 5 A menudo se puede disponer de datos suficientemente fidedignos con respecto a los cambios altamente agregados del tipo antes mencionado. Si no fuera ste el caso, estos datos no debern ser recopilados solamente por un proyecto o programa individual. Ms bien debern provenir de anlisis compartidos con otros proyecto o programas del sector, o de las llamadas evaluaciones conjuntas (joint evaluations) efectuadas en coordinacin con la contraparte y otros donantes, en forma independiente del proyecto o programa. El anlisis y la determinacin de estos datos, y la posible contribucin del proyecto o programa a los cambios observados, forman parte de las tareas de monitoreo del proyecto o programa. Sin embargo, no es necesario establecer la relacin causal de estos cambios con dicho proyecto o programa. Basta con describir en forma plausible hasta qu punto contribuy el proyecto o programa a estos cambios en su entorno, tomando en consideracin los propios datos del monitoreo sobre insumos, actividades, productos, el aprovechamiento de los productos y los efectos.6 La gestin de contratos y de cooperacin investigar estas interrogantes tanto por medio de su instrumentario de monitoreo como tambin a travs de controles de avance y evaluaciones.

Principales tareas de la gestin de contratos y de cooperacin en el monitoreo basado en resultados a) Hasta el nivel del objetivo: Demostracin de la relacin causal entre los cambios consignados en el objetivo del proyecto o programa y sus productos. Para este fin deben observarse los siguientes parmetros del proyecto o programa: - Actividades ms importantes - Productos que benefician a otros (por ejemplo, a intermediarios) - Aprovechamiento de los productos y actores externos que lo fomentan o dificultan - Efecto directo b) Ms all del nivel del objetivo: Observacin de cambios en el entorno ms amplio del proyecto o programa, que manifiestan una relacin plausible con el logro del objetivo del mismo.

GTZ, Impact Assessment with a Poverty Focus in Policy Advisory Projects: Concepts, Questions and Cases (GTZ, Evaluacin del Impacto de Proyectos de Asesoramiento en Polticas, con nfasis en la Pobreza: Conceptos, Interrogantes y Casos), Eschborn, 2000. GTZ, Establishing Plausibility in Impact Assessment (GTZ, Estableciendo la Plausibilidad en la Evaluacin del Impacto), 2001.

15

3.

Seis pasos en el monitoreo basado en resultados

Una vez descritas las bases conceptuales, seguimos ahora con la implementacin prctica del monitoreo basado en resultados. La tercera parte de la gua est estructurada en seis segmentos que se denominan pasos, si bien no representan estrictamente una secuencia lineal (hemos tomado como base para el presente texto otras guas de monitoreo, que resultaron muy tiles en diversos aspectos7). Se describen conjuntos tpicos de medidas a absolver, algunos de ellos con ejemplos, de modo que el monitoreo basado en resultados conduzca a los fines deseados. Mucho de lo que se requiere a continuacin deber haberse atendido durante la planificacin del proyecto o programa, como por ejemplo la determinacin de los lmites del sistema del proyecto o programa, la formulacin de hiptesis de resultados o la definicin de los indicadores. A pesar de ello se retoman estos temas, ya que las tareas de monitoreo son muchas veces encomendadas a personas que no tomaron parte en la planificacin. A menudo es conveniente comprobar una vez ms y eventualmente adaptar los fundamentos de la planificacin durante la instauracin del monitoreo. En su mayor parte, el monitoreo basado en resultados debe ser efectuado por el propio proyecto o programa, para as fomentar los procesos de reflexin y aprendizaje en el equipo y procurar utilizar a fondo los conocimientos y las experiencias de las que dispone el mismo.

Paso 1:

Identificacin de los lmites del sistema

Qu constituye el proyecto o programa, quin est vinculado a l y dnde comienza su contexto o entorno? Un primer paso para el monitoreo basado en resultados es la aclaracin de los llamados lmites del sistema del proyecto o programa, de acuerdo a los niveles del modelo general de resultados. Cuando la intencin de un proyecto o programa en curso sea orientar su monitoreo ms decididamente hacia los resultados, deber llegarse a un consenso con los participantes en relacin con los niveles de resultados, con la ayuda de las siguientes preguntas:

Deseamos destacar a este respecto los documentos titulados Guidelines for Impact Monitoring in Economic and Employment Promotion Projects with Special Reference to Poverty Reduction Impacts (Marco de Orientacin para el Monitoreo de Resultados en los Proyectos para el Fomento de la Economa y el Empleo, con nfasis en los Impactos de Reduccin de la Pobreza) (GTZ 2000), al igual que Impact Monitoring and Assessment (Impacto y evaluacin del monitoreo), Berna, 2002.

16
-

Dnde terminan las actividades y comienzan los productos del proyecto o programa? Quin participa directamente en la generacin de los productos? Quin aprovechar los productos? Qu efectos directos surgirn y para quin?

El planteamiento de la tarea es diferente en el caso de que el diseo del proyecto o programa no est todava concluido. En tal caso no deben analizarse los lmites del sistema de un proyecto o programa en curso, sino que deben formularse pautas para el diseo del mismo. Aqu la pregunta no sera cules son los lmites del sistema?, sino dnde pueden o deben situarse?. Por lo tanto, la interrogante a formular es: Quin forma parte del proyecto o programa; quines son los intermediarios, los grupos meta y las dems partes interesadas?. De esta forma, un proyecto o programa puede - por ejemplo - limitarse a la cooperacin con una unidad del Ministerio del Medio Ambiente, o en cambio cooperar con las autoridades ambientales tanto en la capital como tambin en el mbito provincial o distrital de las diferentes zonas del pas. Los productos del proyecto o programa, el aprovechamiento de los mismos y sus usuarios podrn hallarse entonces en los diferentes niveles. Entre los puntos de referencia importantes para determinar el alcance del proyecto o programa estn: Capacidad operativa de la contraparte Situacin in situ Pautas de la poltica de desarrollo Experiencia y conocimientos de la CD alemana Dotacin de recursos
referentes a la reforma Proyecto B Proyecto C

Ejemplo para diferentes lmites del sistema de tres proyectos distintos de la administracin forestal Las contrapartes directas de los expertos en misiones de largo Proyecto plazo trabajan en la Divisin de Planificacin y Organizacin A (DPO) del Ministerio. La DPO apoya a los grupos de trabajo, comits y comisiones Producto que se ocupan de la reforma administrativa dentro del Ministerio, en cuatro provincias seleccionadas y ocho distritos. Los grupos de trabajo, comits y comisiones trabajan en la Aprovemejora de la asignacin de funciones y los procedimientos chamiento administrativos. de productos En consecuencia, mejoran los servicios centrales y las pautas Efecto para la estructura subordinada de la administracin. directo Las dependencias forestales provinciales aprovechan las prestaciones de servicios de la autoridad central y el apoyo directo del proyecto o programa. En consecuencia, mejoran los servicios en la administracin

Producto Aprovechamiento de productos Efecto

Producto

17
forestal a nivel distrital. Las empresas forestales estatales, empresas privadas, comunas, grupos de intereses y algunos hogares individuales utilizan estos servicios. Los resultados que se desprenden de ello van desde un mayor acceso a lea, pasando por una mejora en el ingreso familiar que surge de la explotacin maderera, hasta la creacin de puestos de trabajo en la transformacin maderera, etc. Las consecuencias a nivel macro comprenden efectos de crecimiento y distribucin, as como contribuciones para la reduccin de la pobreza, conservacin de la diversidad biolgica y la multifuncionalidad de los bosques, etc. directo Aprovechamiento de productos Efecto directo

Deben observarse los criterios de rentabilidad y el principio de la mnima intervencin para la identificacin de los lmites del sistema.

Paso 2:

Concertacin de objetivos y procedimientos para un monitoreo basado en resultados

En el segundo paso se aclaran los intereses y las expectativas de las partes interesadas con respecto a un monitoreo basado en resultados. Las preguntas ms importantes son: Cules son los intereses y las expectativas que las partes interesadas relacionan con un sistema de monitoreo basado en resultados? Qu informaciones necesita cada quin para a) la conduccin del proyecto o programa, y b) una rendicin de cuentas? Cules recursos financieros, de tiempo y de personal estn a disposicin para el monitoreo? Existen ya en otro lugar enfoques para el monitoreo basado en resultados que puedan ser aprovechados?

El procedimiento queda determinado en gran parte por las respuestas a estas interrogantes.

Paso 3:

Concertacin de hiptesis de resultados

En qu reas se espera obtener resultados del proyecto o programa, o en cules podran aparecer resultados no planeados? La mejor manera de responder a estas preguntas es recurriendo a las hiptesis de resultados. Las hiptesis de resultados se basan en la experiencia, as como algunas veces en supuestos con respaldo cientfico acerca de la relacin entre la intervencin y el resultado. Juegan un papel preponderante tanto en la planificacin y ejecucin como en el monitoreo basado en resultados.

18 An antes de comenzar la planificacin tcnica en s por ejemplo durante las negociaciones polticas previas - se plantean supuestos sobre cules intervenciones podran producir cambios. Este tipo de supuestos constituyen el punto de partida de la planificacin. En vista de que las hiptesis de resultados permiten plantear supuestos con respecto a las relaciones causales, son aptas para la formulacin de indicadores referentes al logro de objetivos. Las hiptesis de resultados pueden emplearse durante la planificacin para determinar los procedimientos y el enfoque metodolgico del proyecto o programa. De esta forma pueden responder a la pregunta sobre la manera de alcanzar el objetivo fijado. Las hiptesis de resultados se documentan en la concepcin del proyecto o programa. Las hiptesis de resultados se pueden formular de tal modo que no solamente consignen los cambios positivos esperados, sino tambin prevean otros posibles desarrollos. Por lo tanto, constituyen una ayuda para la gestin de contratos y de cooperacin durante el establecimiento de un monitoreo sistemtico que vaya ms all de la simple comparacin entre lo esperado y la situacin real. De esta forma, las hiptesis de resultados suministran una base para la identificacin y evaluacin de los riesgos. Las hiptesis de resultados tambin permiten relacionar en forma plausible los cambios constatados en el entorno con las actividades y los productos del proyecto o programa.

Ejemplo para la identificacin de hiptesis de resultados en el proyecto Aumento de la competitividad en la produccin hortofrutcola. En la oferta de ejecucin del proyecto o programa se describe la siguiente cadena de resultados: Insumos Expertos Recursos financieros Actividades Asesoramiento a instituciones del sector estatales y no estatales y de proveedores de servicios Establecimiento de una lnea de crdito en el Banco Agrcola Asesoramiento a los ministerios del sector con respecto al marco legislativo y sus condiciones Productos Mejores ofertas de extensin y asesoramiento para agricultores y organizaciones de comercializacin Disponibilidad de crditos especficos para el sector agrario Procedimientos para la certificacin y el control de calidad Viveros en funcionamiento Aprovechamiento de productos Los agricultores y las organizaciones de comercializacin mejoran la gestin y aplican nuevos procedimientos Los agricultores invierten en nuevas especies y variedades, y en infraestructura Los agricultores y los comercializadores hacen uso de los procedimientos de certificacin Efecto directo/ objetivo general Aumento de la competitividad en la produccin hortofrutcola La cadena de resultados arriba sealada representa la hiptesis mayor de resultados del proyecto o programa. sta se basa a su vez en una serie de hiptesis menores, como por ejemplo: Las ofertas de asesoramiento son aprovechadas realmente por las instituciones y los grupos a los cuales se dirigen.

19
A travs del asesoramiento de las instituciones intermediarias se produce una mejora real de las ofertas de extensin y asesoramiento para el grupo meta. Los crditos disponibles son realmente aprovechados por los agricultores y los comercializadores, y adems utilizados tambin para inversiones en la produccin hortofruticola. Las inversiones en la produccin hortofrutcola conducen a una mayor productividad. La certificacin es efectivamente un mtodo adecuado para convencer a los compradores con respecto a la calidad de los productos. En la creacin de un sistema de monitoreo basado en resultados, las hiptesis de resultados implcitas en la estrategia de intervencin deben hacerse explcitas, es decir, transparentes. De esta forma se aclaran las reas de resultados de corto y largo plazo del proyecto o programa. Las condiciones econmicas generales del pas, as como tambin las fluctuaciones del tipo de cambio o las restricciones a las exportaciones en otros lugares, pueden tener consecuencias positivas o negativas sobre el proyecto o programa, y deben ser tomadas en consideracin en las hiptesis de resultados. -

En un tpico proyecto o programa de CT no es ni factible ni necesario registrar todos los cambios y controlar su posible relacin con dicho proyecto o programa. Es suficiente concentrar el monitoreo en las reas de resultados ms importantes. Al principio, debe comenzarse con una o unas pocas reas seleccionadas, para luego ampliar el procedimiento de monitoreo paso a paso y sobre la base de experiencias concretas.

Paso 4:

Control de indicadores y fijacin de hitos

Es necesario contar con indicadores del objetivo para poder reconocer si el proyecto o programa ha logrado hacer realidad los cambios deseados. Los indicadores ms importantes se fijan generalmente ya durante la planificacin. Ahora es necesario verificarlos, y eventualmente precisarlos o complementarlos. Es adems indispensable definir los llamados hitos, mediante los cuales se puede comprobar la aproximacin paso a paso al objetivo fijado. Las preguntas clave a plantear con respecto a los indicadores y los hitos son: Para quin(es) debe producirse algn cambio? En qu medida debe producirse algn cambio? Para cundo debe producirse algn cambio?

20

Ejemplo para el control de indicadores y la fijacin de hitos En la oferta de ejecucin para el proyecto Aumento de la competitividad en la produccin hortofrutcola se formularon los siguientes indicadores: Aumento porcentual promedio de los ingresos por ventas Disminucin porcentual promedio de los costos de produccin Disminucin de la cifra de los casos de quiebra Aumento porcentual del volumen de exportaciones hortofrutcolas Al iniciarse el proyecto (o programa) no ser posible llegar a conclusiones con respecto a estos indicadores. En cambio, s es factible definir hitos que sealen si el proyecto est bien encaminado, o sea, dentro del llamado corredor del objetivo. Las hiptesis de resultados y las reas de resultados ya definidas asisten en este propsito. Dependiendo del momento, los hitos pueden referirse a la transicin de actividades a productos, al aprovechamiento de los productos, o a otros factores que jueguen un papel en ello. Esto puede abarcar, por ejemplo, la utilizacin de los servicios de extensin o asesoramiento por parte de los agricultores y las organizaciones de comercializacin, la toma de crditos o el modo en que se usan los crditos. Si se deduce del monitoreo que los agricultores no toman crditos y que el capital propio es limitado, no debe suponerse que la produccin agrcola aumentar debido a inversiones adicionales. ste es el momento de corregir el curso, a fin de que el proyecto siga bien encaminado.

Los indicadores son escalas de medicin, que permiten comprobar si se han producido o no los cambios. Proporcionan informacin significativa y comparable sobre dichos cambios. Por regla general son necesarios varios indicadores cuantitativos y cualitativos cuando se trata de obtener suficiente informacin en circunstancias complejas. Debe diferenciarse entre el indicador y los valores de su escala de medicin. Por ejemplo, es posible medir el estado fsico de una persona sobre la base de su rendimiento en salto alto. Sin embargo, el indicador deber tener otros valores de medicin en el caso de nios (altura del salto en centmetros) que en el caso de adultos en buen estado fsico. Esto significa que si bien el indicador indica qu se mide, el valor se refiere a cunto.8 Para interpretar los indicadores del objetivo es necesario contar con valores de referencia. stos sealan cundo se puede considerar que se ha alcanzado un resultado satisfactorio en el proyecto o programa. En lo posible deben poner en evidencia no slo los cambios relativos, sino tambin el valor absoluto. Los valores de referencia pueden ser: Valores iniciales o de base Tendencias del desarrollo Valores procedentes de una situacin comparable Una calidad definida

La naturaleza de los indicadores y su manejo se describen en forma detallada en: Directives for the Preparation of AURA Offers (Pautas para la Preparacin de Ofertas AURA), GTZ, 2003.

21 Aun en el caso de que no exista un llamado estudio de base (baseline study) real, es indispensable intentar adquirir una visin de la situacin inicial que pueda ser comparada con los cambios observados. En el caso de indicadores que describen una calidad especfica o el logro de un estado o situacin, no siempre es sencillo distinguirlos de un objetivo, un resultado o una actividad. El indicador debe informar sobre los parmetros que sirven para el monitoreo, y no generar por s mismo tales interrogantes. Por regla general, no es posible describir todos los aspectos de los cambios proyectados a travs de un solo indicador. En estos casos es recomendable el uso de varios indicadores (cuantitativos y cualitativos). Tanto los intermediarios como los grupos meta deben participar en el desarrollo de los indicadores ya que - como destinatarios de los productos o servicios - se encuentran en la posicin de poder identificar a menudo con ms precisin en qu se pueden reconocer los cambios previstos. El monitoreo basado en resultados incluye el control de los indicadores y en caso necesario su perfeccionamiento. Sin embargo, antes de definir nuevos indicadores los planificadores deben comprobar si los sistemas de monitoreo de las instituciones contraparte ya disponen de indicadores mediante los cuales sera posible el registro de los cambios deseados.

Paso 5:

Implementacin de una recopilacin de datos

La metodologa de recopilacin de datos de un proyecto o programa depende considerablemente de las exigencias en cuanto a dimensiones y calidad de las informaciones a suministrar. Adems, esta metodologa queda determinada por los recursos financieros, de tiempo y de personal que estn a disposicin del proyecto o programa para efectos del monitoreo. Al tomar una decisin sobre el mtodo de recopilacin de datos, deben sopesarse tanto los costos como los beneficios. Las discusiones en grupo, el monitoreo participativo, la investigacin de acciones, los diagnsticos rurales participativos ( participatory rural assessments) y otros mtodos cualitativos similares suministran informaciones provenientes de una perspectiva subjetiva que muchas veces resultan de mayor valor que los datos estadsticos puramente numricos.9

Mediante e-VAL, procedimiento para la evaluacin de datos con apoyo informtico utilizado por la GTZ desde 2003, es posible recoger enunciados cualitativos y evaluarlos en forma cuantitativa.

22 Las preguntas relativas a la recopilacin de datos conciernen al cmo del proyecto o programa. Las interrogantes principales son: Cules datos son necesarios para los indicadores fijados por el comitente? Cul es el grado deseado de exactitud, confiabilidad y representatividad de la informacin? Qu recursos financieros, de tiempo y de personal estn a disposicin para la recopilacin? Dnde es posible encontrar informaciones ya existentes que puedan ser utilizadas? Con qu frecuencia deben recopilarse los datos? Debe emplearse personal propio o externo?

La decisin respecto a qu personas o grupos a encuestar constituye un parmetro importante en el mtodo. A este respecto debe considerarse que los colaboradores ms cercanos al proyecto o programa estn a menudo bien informados sobre temas tales como procedimientos, estructuras, historia y procesos del mismo. Sin embargo, esto no implica que dispongan necesariamente de los mejores datos en cuanto a resultados. En cambio, los grupos meta s estn bien informados al respecto, y a ellos habr que consultar cada vez que se trate de interrogantes sobre los resultados. Por otro lado, el proyecto o programa siempre debe incluir en sus actividades de monitoreo a los posibles beneficiarios indirectos o partes interesadas. En una encuesta dirigida a estos grupos de personas, no resulta muy ventajoso iniciar la entrevista con preguntas sobre el proyecto o programa. Cuando en primera instancia se pregunta slo sobre los cambios percibidos en trminos generales, se reciben respuestas ms fidedignas. Es necesario dar libertad a los entrevistados para que describan sus propias contribuciones y las de los dems. 10 Recin en el momento en que la entrevista se centra en los productos del proyecto o programa, es apropiado incidir en mayor detalle sobre las relaciones causales con la ayuda de las siguientes preguntas: Cmo se evalan los productos? Quin aprovecha estos productos, cmo, cundo y con qu fin? Se puede decir que los productos del proyecto o programa o su aprovechamiento por terceros generan un efecto directo? Existen otros resultados (quizs negativos) adems del directo?

Las respuestas formuladas por las contrapartes, los intermediarios y los grupos meta a estas preguntas (que an hace falta formular de modo ms concreto en el contexto

10

Un ejemplo detallado para esta forma de encuesta se encuentra en: GTZ/ Worldbank, A Beneficiary Assessment of AGETIP (GTZ/Banco Mundial, Evaluacin de los Beneficiarios de AGETIP), 1996.

23 respectivo) son sumamente importantes para evaluar si el proyecto o programa sigue el rumbo del objectivo.

Paso 6:

Aprovechamiento de los conclusiones del monitoreo

El contar con datos actualizados y fidedignos de monitoreo es imprescindible para todos los proyectos y programas de desarrollo. Pero esto no es suficiente en absoluto. El efecto de los ingentes esfuerzos invertidos en la recoleccin de datos recin se hace sentir con el aprovechamiento de los conclusiones del monitoreo. Lo decisivo es lograr obtener informacin significativa a partir de estos datos en bruto, que pueda servir - por un lado para afinar la conduccin del proyecto o programa, y por otro para rendir cuentas frente a los comitentes y la opinin pblica. Lamentablemente es un error muy difundido el creer que las tareas de monitoreo se

arreglan con el procesamiento en forma de grficos y la divulgacin de los datos. Tanto los grficos como los cuadros representan una ayuda, pero el paso clave para el aprovechamiento est en la interpretacin de los datos. Los actores directamente involucrados en el proyecto o programa son los ms adecuados para hacerlo, pues conocen el contexto y son capaces de interpretar los datos en bruto que de lo contrario resultan estriles. Generalmente es posible deducir, basndose en documentos, si el nmero de egresados del proyecto de formacin profesional se encuentra dentro de los parmetros planificados. Pero es necesario conocer exactamente el contexto o entorno para determinar si el proyecto realmente alcanza su objetivo con respecto a la integracin profesional de los jvenes. El monitoreo basado en resultados posibilita este tipo de conclusiones y es por consiguiente un instrumento eficaz para la gestin de contratos y de cooperacin. Las tareas externas del monitoreo se extienden al apoyo de la obligatoria rendicin de cuentas frente a los comitentes y la opinin pblica, la gestin de conocimientos en la empresa y el mercadeo del proyecto o programa. El monitoreo pone a disposicin informaciones actuales y fidedignas para informes, talleres, discusiones focales con grupos de usuarios, ponencias, boletines informativos, pginas web, etc., todos ellos herramientas que asisten en las tareas antes mencionadas. El procesamiento de la informacin, su forma y su frecuencia dependen en primera lnea de las necesidades de los usuarios. La experiencia demuestra que la capacidad de comunicacin de informes extensos es reducida: al dirigirse a lectores externos, ms vale pecar por escuetos que por demasiado detallados. En el marco para la gestin de contratos y de cooperacin de la poltica de desarrollo (AURA), se solicita incluso explcitamente la limitacin a lo esencial. Junto con la

24 habitual descripcin breve, los informes de la GTZ dirigidos a su principal comitente, el BMZ, deben incluir slo los siguientes tres puntos: Situacin actual del proyecto o programa: Estado del logro del objetivo, cambios importantes en el proyecto o programa, en su entorno y en las condiciones generales, as como los resultados comprobados. Modificaciones en la evaluacin de riesgos. Recomendaciones de medidas a tomar. 11

Un monitoreo basado en resultados llegar a conclusiones que los mecanismos de gestin de conocimientos de la GTZ debern poner a disposicin de la totalidad de la empresa. Por otro lado, el sistema de monitoreo debe establecer cules son las lecciones a ser aprendidas (lessons to be learned) y transmitirlas en forma clara y oportuna, de modo que se haga ms probable su transformacin en lecciones aprendidas (lessons learned). El aprovechamiento de los conclusiones del monitoreo es el paso decisivo hacia el logro de los beneficios del proyecto o programa. Una vez dado este paso, comienzan a hacerse sentir los beneficios del propio monitoreo basado en resultados.

11

Vase las Pautas de la GTZ para la Preparacin de Informes al BMZ.

25

Bibliografa
Todas las publicaciones se encuentran en: http://intranet.gtz.de/wirkungsorientierung

a)
GTZ

Publicaciones de la GTZ en torno al tema

GTZ Policy on Contract and Cooperation Management (Poltica de la GTZ para la Gestin de Contratos y de Cooperacin), agosto de 2003 Directives for the Preparation of AURA Offers (Pautas para la Preparacin de Ofertas AURA), setiembre de 2003 Directives for the Preparation of TC Projects and Programmes (Pautas para la Preparacin de Proyectos o Programas de CT), abril de 2004 Directives for the Preparation of GTZ Progress Reports to BMZ (Pautas de la GTZ para la Preparacin de Informes al BMZ) (en preparacin)

GTZ/BMZ GTZ GTZ

b)
GTZ

Textos citados
Establishing Plausibility in Impact Assessment, 2001 A Beneficiary Assessment of AGETIP, Washington, 1996 The social organization of innovation. A focus on stakeholder interaction . Royal Tropical Institute, Amsterdam, 1997 Impact Monitoring & Asessment, Tomos 1 y 2, Berna, 2002. Impact Assessment with a Poverty Focus in Policy Advisory Projects: Concepts, Questions and Cases, GTZ 2000 Orientierungsrahmen fr das Wirkungsmonitoring in Projekten der Wirtschafts- und Beschftigungsfrderung unter besonderer Bercksichtigung armutsmindernder Wirkungen, Partes I y II, GTZ, 2000

GTZ/Banco Mundial Paul G.H. ngel K. Herweg, K. Steiner A. Lobb-Rabe P. Mller-Glodde (editor)

OCDE-CAD

Glossary of Key Terms in Evaluation and Results Based Management (Glosario de los Principales Trminos sobre Evaluacin y Gestin basada en Resultados). 2002.

c)

Otros textos de inters

Results Based Management in the Development Cooperation Agencies, DAC Working Party on Aid Evaluation, Pars, 2001

A. Binnendijk

Deutsche Gesellschaft fr Standards fr Evaluation, Colonia, 2002 Evaluation Comisin Europea T. Lehtinen Banco Mundial Guidelines for the Use of Indicators in Country Performance Assessment, Bruselas, 2003 Measuring the Performance of EC Development Cooperation , DFID, Londres, 2002 Assessing Aid: What Works, What Doesnt, and Why , Oxford University Press, 1998

26