Sunteți pe pagina 1din 469

INTRODUCCIN

1. INTRODUCCIN.
Cules son los resultados de la ayuda internacional en trminos de desarrollo? Sirve
realmente para reducir la pobreza? En definitiva, es eficaz y merece la pena mantenerla y
aumentarla o bien es un lastre para el desarrollo?
Preguntas tan sencillas tienen respuestas muy complejas. En este libro tratamos de abordarlas,
pero de entrada he de reconocer que no tengo una respuesta clara y distinta que dira
Descartes, un s o un no probado en hechos evaluados. Creo que este libro muestra ms el
estado de ignorancia en el que nos encontramos, que un juicio evaluativo que est soportado
por evidencias. Es ms, el mensaje central va a ser que lo que hacen falta son evaluaciones de
resultados rigurosas que nos vayan orientando sobre lo que funciona y lo que no en la ayuda
para el desarrollo. Conocer qu es lo que tiene xito y qu fracasa. Es decir. Abordar la ayuda
desde una metodologa cientfica, aprovechando la buena voluntad con que se ayuda, pero
reconociendo que sta es claramente insuficiente para traducir la ayuda en menos pobreza.
En 2007 han aparecido tres libros en lengua inglesa con casi el mismo ttulo: el monogrfico
del International Poverty Centre perteneciente al Programa de Naciones Unidas para el
Desarrollo, IPC (2007) Does Aid Work?, en el que se compilan reseas de trabajos de varios
autores dentro de su coleccin Poverty in Focus; el de Riddell (2007) Does foreign aid
really work?; y el editado por Banerjee (2007) Making Aid Work. La misma cuestin ya era
formulada por Cassen y sus asociados (1986) que escribieron el pionero Does Aid Work?
Podra sorprender que 21 aos de investigacin no hayan sido capaces de ofrecer una
respuesta definitiva a la cuestin sobre la eficacia de la ayuda, pero as es. Banerjee (2006)
califica de vago el pensamiento reinante en la ayuda al desarrollo (aid thinking is lazy
thinking). Se queja de cmo durante la ayuda enviada a Pakistn en 2005 tras el terremoto
habido en ese pas, unos estudiantes de la Universidad de Lahore disearon un formulario
muy simple para que las agencias y Organizaciones No Gubernamentales de Desarrollo
(ONGD) que iban a actuar de forma inmediata en la zona, pudieran conocer qu iba a hacer
cada una con el fin de que una accin coordinada permitiera garantizar que la ayuda llegara a
los necesitados de forma eficiente. Desgraciadamente no encontraron incentivos ni tiempo
para rellenar dicho formulario. Ancdotas como sta pueden encontrarse con cierta frecuencia
en la literatura sobre el desarrollo y ms abundantes en conversaciones informales con los
agentes que operan sobre el terreno (los practitioners). Por ejemplo durante la mayor
operacin de ayuda humanitaria habida en la historia reciente, la del Tsunami de 2005 en el

INTRODUCCIN

II

ndico, la falta de coordinacin hizo que a una misma nia se la vacunara tres veces contra el
sarampin1. Pero las ancdotas no crean conocimiento cientfico que permita juzgar a partir de
resultados agregados o tendenciales. No se deben tomar decisiones a partir de ancdotas. Por
eso es imprescindible investigar y evaluar.
Evaluar la intervencin de la ayuda humanitaria tras el tsunami en el ndico es lo que se
propuso un comit conjunto de donantes (la Tsunami Evaluation Coalition, TEC), cuyo
informe de sntesis ha sido publicado por Telford & Cosgrave (2006). La intervencin alcanz
a 14 pases en los que se haban producido 227.000 muertos y 1,7 millones de desplazados.
Para esta desgracia, valorada en unos 9.900 millones de dlares, se lograron recaudar 13.500
millones de dlares. Es una cifra jams antes alcanzada. De ellos, 5.500 millones procedan de
donaciones particulares de ciudadanos de los pases desarrollados. El informe menciona cmo
a los seis meses del desastre la ayuda haba podido proporcionar un nuevo techo a medio
milln de personas en Aceh o cmo en Sri Lanka se haban recuperado el 80% de los botes de
pesca y los mercados de pescado. Pero menciona tambin muchas de las limitaciones
encontradas: la falta de acceso a muchos lugares y personas necesitadas condicionada por los
conflictos armados existentes en Sri Lanka e Indonesia; los procedimientos tan burocratizados
que hubo que seguir; el centralismo de la toma de decisiones y la corrupcin en los lderes
locales. En general se cont con poco personal experto en este tipo de intervenciones debido a
la alta rotacin que existe en estos trabajos; se usaron mtodos y procedimientos poco
adecuados a la realidad concreta de la zona; se gener un sentimiento de invasin a los
propios ayudados por la falta de capacidad de comunicacin de los cooperantes, por la
supremaca de las relaciones en ingls y la dbil coordinacin entre agencias que provoc un
enfoque de intervenciones fragmentadas, dispersas y una imprecisa valoracin de las
necesidades. Se denuncia cmo esta improvisacin produjo que hubiera ms dinero que el
necesario, superando la capacidad de absorcin de la ayuda eficiente existente en la zona.
Adems, la mayor parte de la ayuda se concentr en una docena de ONGD internacionales
que dispusieron de mayor cuanta de recursos que la propia ayuda oficial procedente de los
gobiernos. Esto provoc entre los ayudados quejas de falta de informacin, de arrogancia e
ignorancia de los procesos y gustos locales y de colocar ayuda no pedida o donde no se
necesitaba, aumentando la desigualdad entre la poblacin ayudada y no ayudada.

El Pas 2005, Demasiado dinero en Banda Aceh, 13 de abril, p.A2. Citado en Djankov et al. (2006b:3).

INTRODUCCIN

III

La evaluacin conjunta de tsunami sirve para avisar que el dicho de que toda ayuda es poca
es un mito peligroso y que fue ms sencillo reconstruir infraestructuras que generar desarrollo
humano en la zona, entendido como un aumento de acceso a la propiedad de la tierra,
reduccin de la pobreza o mejora del medio ambiente. El informe reconoce que tras la
intervencin no existe menor vulnerabilidad para que el fenmeno, si se repite, pueda ser
menos daino.
Aadamos otro factor a nuestra reflexin. Cuntos de los ciudadanos de los pases
desarrollados que otorgaron una donacin privada hicieron un verdadero seguimiento de su
aportacin y exigieron transparencia y resultados a quienes se lo entregaron? Cuntos
gobiernos han difundido y presentado de forma pblica y accesible al ciudadano o al
parlamento los resultados de esta evaluacin? La ciudadana solidaria que cree en la eficacia
de la ayuda, quiere saber sus resultados y los demanda para que exista un incentivo poltico
suficiente que se traduzca en una sistematizacin del aprendizaje mediante las evaluaciones?
O prefiere dar dinero un tanto a ciegas y por una buena causa pero sin que sean despus
informados con una detallada rendicin de cuentas?
Mi impresin es que an no (de forma general y particularmente en Espaa) y eso aade otra
motivacin a este libro. Aunque los estudios sociolgicos internacionales y en Espaa,
muestran un alto grado de apoyo popular a la pregunta genrica sobre si el gobierno de su
pas debera ayudar a reducir las desigualdades y la pobreza en el mundo, tambin es cierto
que el conocimiento medio de la cuanta y destino de los fondos de ayuda otorgados por los
gobiernos por parte de los ciudadanos es escaso. En Espaa, hay estudios que muestran cmo
el apoyo sociolgico de la ciudadana a la ayuda internacional crece, pero no est
correlacionado con una influencia en la calidad de su gestin, ni en su direccin estratgica
(Angulo 2004, 2007)2. En pocas palabras, la cultura de evaluacin y rendicin pblica de
cuentas en la cooperacin para el desarrollo, an es escasa.
Las evaluaciones rigurosas sobre intervenciones de desarrollo aportan, sin embargo, un
conocimiento clave para los tomadores de decisiones polticas, especialmente para los
gobernantes de los pases en desarrollo. El desarrollo es un proceso que descansa sobre todo
en las fuerzas e instituciones del propio pas socio (receptor de la ayuda). Es un proceso

Para estudios similares en Europa vase McDonell et al. (2002, 2003), INRA (1997, 1999), Olsen (2005). En Estados
Unidos, Stern (1998) y PIPA (2001). Para la percepcin de las ONGD en Espaa, vase CONGDE (2005b) y Fundacin
Carolina (2005).

IV

INTRODUCCIN

endgeno, en el que la ayuda es simplemente eso, una ayuda para ampliar las oportunidades
y capacidades de las personas para que puedan vivir de la forma que estimen ms valiosa.
Como veremos ms adelante, eso es el desarrollo humano. Muchos de los proyectos y
programas que ejecutan por ejemplo las ONGD espaolas son de pequea dimensin y
cuanta (un promedio de 48.000 euros segn la Coordinadora de ONGD de Espaa,
CONGDE 2007). Esa dimensin puede ayudar a que haya menos necesidad en un grupo de
poblacin. Quiz se dispone de una escuela, un pozo de agua potable o un pequeo
dispensario de atencin primaria. Pero es difcil que se ponga en marcha todo un proceso
nacional de desarrollo como exige la mayora de los pases pobres. En otras palabras, no
podemos pedir a la ayuda lo que no puede dar. La ayuda internacional no es la clave de
bveda del desarrollo humano endgeno y sostenible. No se debe esperar que la ayuda sea el
corrector internacional de las desigualdades, ni la principal financiacin de los bienes
pblicos globales. Primero por escala y alcance de su cuanta. Y segundo, porque las
motivaciones con las que se concede o no la ayuda son y han sido a lo largo de su historiamucho ms amplias que las de la reduccin de la pobreza, como expondremos en varios
pginas de este libro.
Pero que la ayuda externa no sea la panacea para el desarrollo no conduce necesariamente a
que deba ser eliminada. Hay muchos logros, a menudo ocultos, producidos por la cooperacin
internacional para el desarrollo. La vida de muchas personas ha mejorado gracias a la ayuda.
Quiz donde ms informados estamos en los logros de la ayuda es en los efectos que han
tenido las campaas de vacunacin para frenar enfermedades contagiosas erradicadas en el
primer mundo pero con alta prevalencia en los pases en desarrollo. Segn Levine (2004), el
sarampin ha sido casi eliminado de frica donde se ha pasado de 60.000 afectados en 1996 a
117 en 2000. La ceguera del ro (oncocerciasis) se ha prevenido en 600.000 casos en 11 pases
del Oeste de frica desde 1974. La polio ha sido prcticamente eliminada de Amrica Latina
y el Caribe. En Egipto el programa contra la diarrea a travs de terapia de rehidratacin oral
ha logrado reducir su incidencia en un 82% entre 1982-1989. Es cierto que tambin suelen
citarse ms a menudo las cifras de las tareas pendientes: nmero de nios sin escolarizar,
desnutridos, madres sin una atencin segura en el parto y todo ese bloque de necesidades
vergonzosas que han sido seleccionadas en los Objetivos de Desarrollo del Milenio (ODM)
tras la Cumbre del Milenio organizada por Naciones Unidas en 2000 y que recoga las
necesidades y compromisos que haban sido tratados en muchas de las anteriores Cumbres
celebradas a lo largo de la dcada de los noventa. Pero es errneo pensar que la mayora de

INTRODUCCIN

los ODM se solucionan con dinero, o ms exactamente duplicando el volumen actual de


ayuda.
Si no se acta sobre el nivel institucional y poltico dentro de los pases en desarrollo, no
puede haber desarrollo humano sostenible. Habr cooperacin que mitigue las necesidades,
pero no desarrollo.
Cmo responder entonces a la sencilla cuestin de si la ayuda al desarrollo reduce la
pobreza, cuando la amplitud del concepto de desarrollo supera la dimensin financiera de la
ayuda y sta se otorga para fines geoestratgicos, comerciales y de inters particular de los
donantes? Por ejemplo, podemos esperar que la ayuda en forma de condonacin de deuda
concedida a Irak en 2005-2006 produzca efectos en un pas devastado por la guerra y el
terrorismo? La cuestin no es balad cuando el anlisis de la serie temporal de la ayuda revela
que los mximos volmenes de ayuda en la historia reciente han sido generados, en buena
medida, por operaciones militares-humanitarias en Irak y Afganistn o por condonacin de
deuda externa a Nigeria.
Argumentos en sentido contrario, a favor de la eficacia de la ayuda, suelen mencionarse al
hilo de la historia del Plan Marshall de 1947. La eficacia de la ayuda norteamericana para la
reconstruccin de la Europa devastada por la II Guerra Mundial no es cuestionada por casi
nadie. Pero una gran diferencia de la ayuda Marshall respecto a la actual coyuntura es que se
otorg a pases de renta alta o media-alta, que haban conservado su estructura institucional y
poltica: la democracia, la divisin de poderes, una capacidad del Estado importante y,
adems, actu en un escenario comercial de librecambio promovido por el GATT.
El escenario actual es de paralizacin de la liberalizacin comercial pues la Ronda de
Desarrollo de Doha dentro de la Organizacin Mundial de Comercio (OMC) apenas ha
avanzado desde su lanzamiento en 2002, de una geoestrategia muy condicionada por la
seguridad y la defensa frente al terrorismo internacional, de un decaimiento de la
multilateralidad e incapacidad de Naciones Unidas para afrontar muchos de sus retos globales
y una falta de institucionalidad (o gobernanza) casi generalizada en los pases en desarrollo,
sin que tampoco los investigadores sepan decir qu institucin exactamente es la que debe ser
reformada en primer lugar y cmo hacerlo. Menos an, cmo incentivarlo desde fuera. La
ayuda internacional no parece ser el instrumento ms potente para fomentar un pacto social
que genere mayor bien comn. Al revs, como comentaremos en el captulo tercero, parece
que la ayuda correlaciona ms con mantenimiento de conflictos civiles, dictadores tiranos y

VI

INTRODUCCIN

mantenimiento de lites polticas y econmicas que han abusado de la ayuda para mantener su
statu quo, nunca para redistribuir riqueza, poder o participacin entre sus ciudadanos.
Definitivamente, el juicio global sobre la eficacia de la ayuda es tan polidrico que merece la
pena analizarlo con detenimiento a partir de un reconocimiento inicial del gran nivel de
ignorancia en el que actualmente estamos.
No le falta un punto de razn a Easterly (2006:4) cuando se asombra al comprobar que
transcurridos sesenta aos desde el Plan Marshall y gastados 2,3 trillones de dlares, an la
ayuda no sea capaz de proveer una mosquitera a cada persona que vive en las zonas paldicas
del mundo para reducir en una gran medida la morbilidad por contraer malaria. Easterly se
queja de que los donantes sean un simple crtel hiperburocratizado de buenas intenciones
incapaz de perseverar en la eficacia de la ayuda orientada por resultados. Compara el lento
progreso poltico y la gran carga planificadora que supone el actual sistema internacional de
ayuda, frente la agilidad y los incentivos que muestra el mercado internacional de libros para
distribuir el ltimo ejemplar de Harry Potter en la mayora de las libreras del mundo. Easterly
desconfa de los planificadores (en concreto del planteamiento realizado por J. Sachs 2005, en
El fin de la pobreza) y confa en los que l denomina buscadores activos de soluciones en el
mundo en desarrollo. Entre estos searchers, se encuentran algunos evaluadores y
experiencias concretas que aqu vamos a comentar.
La estructura del libro es la siguiente. Una primera parte aborda la temtica de la eficacia de
la ayuda, preferentemente desde el mbito agregado (macro). Comienzo con un captulo en el
que expongo las fuertes debilidades empricas a las que nos enfrentamos cuando estimamos la
pobreza. Si queremos responder a si la ayuda reduce la pobreza, lo primero que habr que
saber es qu es pobreza, cunta hay y cmo ha evolucionado en el tiempo. La verdad ms
extendida en la actualidad es que la pobreza es multidimensional, no slo econmica.
Reconocido esto, la dimensin econmica de la pobreza (sea medida a travs del ingreso o del
consumo) es muy difcil de medir. El captulo da detalle de todos los supuestos que los
cientficos sociales (comprendo que muchos lectores encuentren la expresin casi como una
contraditio in terminis) deben realizar a la hora de juzgar la evolucin de la pobreza en el
mundo y cmo los grados de variacin de los resultados en funcin de stos supuestos son
enormes.
El segundo captulo aborda los conceptos de desarrollo y de ayuda al desarrollo. Se ofrece una
panormica de la evolucin de qu se ha entendido por desarrollo desde los aos cincuenta
hasta la actualidad y cmo han evolucionado los instrumentos de la ayuda externa. Se

INTRODUCCIN

VII

profundiza despus en qu es la ayuda oficial para le desarrollo (AOD) y se analizan los


diversos indicadores cuantitativos disponibles para trabajar de forma emprica con la AOD.
Adems se hace un comentario sucinto sobre la evolucin de la serie temporal de AOD desde
los aos sesenta hasta la actualidad.
Una vez que han sido clarificados los trminos de la pregunta-gua del libro (qu es pobreza y
qu es ayuda), el captulo tercero analiza de forma detallada los estudios empricos que han
intentado capturar los efectos de la ayuda sobre el crecimiento econmico. Aviso que este
captulo puede resultar muy tcnico pues el lenguaje y las justificaciones para sostener que
no haya un consenso cientfico sobre la eficacia de la ayuda es muy economtrico (en la
primera parte, cuando se aborda el empirismo de la ayuda) y filosfico (en la segunda, al
profundizar el concepto de causalidad). No se perder el lector no iniciado si prescinde de este
captulo, pero aconsejo que se intente captar al menos la problemtica subyacente, pues es
extensible a muchos otros campos de la investigacin social y de la evaluacin.
Los captulos cuarto a sexto se enmarcan ya en la segunda seccin del libro, centrada en la
evaluacin de las intervenciones de desarrollo. El captulo cuarto expone de forma sistemtica
los elementos que debe incorporar una evaluacin. Trata de responder a la pregunta de qu
hay que hacer para realizar una buena evaluacin de un proyecto o programa de desarrollo y
centra sus recomendaciones en las ONGD, al ser estas las que ms utilizan estos instrumentos
en la ayuda espaola. Se revisan y comentan los apartados clsicos en la literatura de
manuales de evaluacin: diseo de la evaluacin, los criterios, las herramientas de
informacin, las fases de una evaluacin y sus tipologas, es decir, se recorre el denominado
ciclo de la evaluacin. He tratado de unir la informacin necesaria (sntesis) con abundantes
reseas bibliogrficas en las que el lector interesado podr profundizar los amplios campos
temticos que contiene todo el ciclo evaluativo. Una mencin especial, por lo diferencial
frente a otros textos, puede ser la descripcin introductoria de algunas tcnicas de
investigacin cuantitativa, ya que su uso suele ser ms desconocido y las evaluaciones
espaolas suelen carecer de este tipo de anlisis centrndose ms (a veces exclusivamente) en
las de carcter cualitativo.
El captulo quinto est dedicado a la descripcin de las metodologas ms comunes con las
que se puede abordar una evaluacin. Tras un breve comentario al anlisis coste-beneficio, se
describen las fortalezas y limitaciones de metodologas como la orientada por objetivos, la
libre de objetivos, la naturalista, la participativa. Evidentemente no pretendo la exhaustividad
(sera pretencioso adems de extenssimo y poco til), sino el mostrar cmo no existe un

VIII

INTRODUCCIN

nico modelo de evaluacin que sea ptimo. El evaluador debe ser un experto en
metodologas. Debe conocer el abanico ms amplio posible de acercamientos a una misma
realidad, para utilizarlas de forma flexible, apropiada y creativa, adaptndose a cada contexto.
La experiencia es una cualidad muy necesaria en la evaluacin. Pero no podemos reducir la
evaluacin a la repeticin sistemtica de una metodologa estndar. Quiz el Enfoque del
Marco Lgico perdi gran parte de su utilidad cuando se lo redujo a casilleros que los
formuladotes deben rellenar para obtener financiacin para sus programas y eso impide el
diagnstico participativo en profundidad, el anlisis detenido de las hiptesis y las
alternativas, la formulacin creativa y nunca rutinaria de los indicadores y fuentes de
verificacin. A menudo me han propuesto escribir un manual de evaluacin y siempre me
he negado por el peligro que representa convertir el arte de la evaluacin en una serie de
tareas o preguntas sistemticas que el evaluador no iniciado puede ir siguiendo paso a paso.
Evaluar es pensar evaluativamente. Es juzgar el mrito y valor de las intervenciones. Es
buscar recomendaciones posibles, concretas y tiles para tomar decisiones de mejora. Es
iniciarse en un proceso de aprendizaje que siempre permanecer abierto e inacabado, aunque
hay un momento en el tiempo y unos recursos limitados que obliguen a escribir un informe
final. Pero la realidad debe ser la obsesin del evaluador, no el informe. La bsqueda de
la verdad sobre las intervenciones es tan dinmica y contextual que lo ideal es estar evaluando
siempre. Porque siempre hay aprendizajes que obtener. Las conclusiones pueden ser ese
momento del pensamiento en que nos cansamos de pensar y escribimos, siempre de forma
provisional, un informe valorativo y ofrecemos recomendaciones.
El captulo sexto est dedicado a valorar el estado de la eficacia y la evaluacin de la
cooperacin para el desarrollo en Espaa. Ofrezco mi reflexin en torno a uno de los temas
mxima actualidad como es la gestin de la ayuda hacia los resultados y valoro los informes
de evaluacin que han sido publicados por la cooperacin espaola desde su administracin
central.
El captulo sptimo es el eplogo que trata de recoger las principales conclusiones que se han
ido ofreciendo al final de cada captulo, ahora de forma ms sistemtica y, si se me permite,
grfica y plstica. En l expreso mis esperanzas y temores ante la eficacia de la ayuda en su
lucha contra la pobreza. Me resisto a colocarme entre los pesimistas u optimistas. Prefiero ser
realista esperanzado. La investigacin ofrece verdades a menudo incmodas para los
tomadores de decisin. Polticos e investigadores no tienen los mismos incentivos ni mtodos.
Es importante que no permanezcan en mundos estancos ni autosuficientes. Mi sesgo, claro, es

INTRODUCCIN

IX

investigador dada mi profesin. Pero el punto de unin debe ser el inters compartido por
hacer de la pobreza extrema algo histrico. La moral cvica y quiz con mayor nfasis la
religiosa, debe hacernos conscientes de que la pobreza extrema ofende la dignidad intrnseca
del ser humano, sea pensado como ciudadano o como persona.
He pretendido escribir un libro de nivel intermedio. Es decir, un libro que aporte algo nuevo
y vaya ms all de la simple difusin del conocimiento que puede encontrarse ya en la
literatura divulgativa sobre el tema. Pero no yendo a la exigencia de lenguaje y pruebas que
demandan, por ejemplo, los artculos en revistas especializadas. Esto tiene ventajas y riesgos.
La ventaja es que puede llegar a un pblico ms amplio. Quisiera que el sensibilizado no se
perdiera en un los tecnicismos ni abandonara la lectura en sus partes ms complejas. Y
quisiera que el formado encontrar nuevos argumentos o reforzara algunos ya conocidos,
disculpando la falta de rigor, detalle y matiz que en otros medios de publicacin puede
encontrar. Este es el principal inconveniente. Que la eleccin de lenguaje ms familiar y
comn traicione el conocimiento de lo complejo y lo convierta en un saber ordinario que no
refleja la realidad. Espero que tanto los que a veces se pierdan como los que encuentren lo
dicho demasiado vulgar, puedan perdonarme y sacar ambos- algn provecho.
El libro quiere invitar al compromiso cognitivo y a la accin evaluadora. Cuanto ms
aprendamos sobre lo que tiene xito y lo que fracas en la laucha contra la pobreza, cuanta
ms honestidad intelectual y volitiva tengamos los profesionales de la cooperacin para el
desarrollo, ms aprenderemos y menos pobreza deber existir. Los pobres, precisamente por
su necesidad y condicin injusta, merecen la mxima calidad de nuestro trabajo. A ellos, y a
mi familia, est dedicado este esfuerzo.

CAP. 1 LA POBREZA

CAPTULO 1. LA POBREZA. CONCEPTO, PROBLEMAS PARA SU


CONTABILIDAD Y EVOLUCIN RECIENTE.

1.

LAS MEDICIONES DE LA POBREZA.

La ayuda al desarrollo reduce la pobreza? He aqu una de las preguntas ms atractivas


de la economa del desarrollo, pero de ms difcil respuesta. Probablemente porque los
trminos de la pregunta son inconmensurables. Y premisas inconmensurables suelen
generar debates extensos sin solucin. Desde luego, lo que aqu se defender no ser
una respuesta clara y distinta que dira Descartes, sino que, para avanzar en la verdad
de la respuesta, probablemente hay que descender de los niveles agregados y empricoeconomtricos que han prevalecido desde finales de los 90, hasta las evaluaciones de
impacto de intervenciones concretas, bajo mltiples diseos. La respuesta a si la ayuda
al desarrollo reduce la pobreza, depende obviamente- de lo que se entienda por
pobreza y de cmo se mida, as como del tipo de ayuda que estemos considerando. En
este estudio slo nos centramos en la medicin y concepto de pobreza. Aunque quiz de
una forma ms lgica, lo primero sera definir la pobreza y luego expresar cmo se
mide, voy a optar por el enfoque contrario, pues la descripcin de los supuestos que se
adoptan en las distintas medidas de pobreza, ya prepara la idea bsica de que el
concepto de pobreza no es algo cerrado y acotado, universalmente acordado, sino que
depende entre otras cosas- de las posibilidades que tenemos de medirla y del mtodo
que utilicemos para determinar cul es la diferencia esencial que permita decir quin es
pobre y quin no.
Para conceptuar la pobreza podemos distinguir:
-

Si usamos indicador de NBI o lnea de pobreza;

Si la estimamos en trminos absolutos (pobreza extrema) o relativos;

Si la estimamos bajo hogares o por individuos;

Si usamos encuestas a hogares (o individuos), contabilidad nacional o ambas;

Si la apreciamos por ingresos o por consumo (gastos).

1.1 NBIs o Lneas de pobreza?


Un primer acercamiento a la pobreza lo podemos realizar utilizando los ndices de
Necesidades Bsicas Insatisfechas (NBIs). Son indicadores del nmero de hogares que
no tienen ciertos activos (vivienda) o acceso a ciertos servicios (educacin, agua

CAP. 1 LA POBREZA

potable, saneamiento o salud). Los problemas a solucionar para aceptar que los NBI
miden de forma adecuada la pobreza son: determinar qu necesidades son las
indispensables, qu variables estn mejor asociadas a cada necesidad, determinar qu
umbral de cada variable es el mnimo aceptable y determinar un mtodo de agregacin
de cada unidad de las distintas variables elegidas. Existe consenso en que las
necesidades bsicas indispensables son: vivienda, educacin y acceso a servicios
bsicos como agua potable y drenaje para eliminacin de excretas, (menor
disponibilidad de datos existe sobre el acceso a atencin primaria de salud: un centro
mdico de caractersticas determinadas que permita una atencin bsica a los
principales problemas de salud de la regin, incluida la atencin materna durante el
embarazo y el parto, por ejemplo). Las bases de datos sobre NBIs suelen estar
disponibles en oficinas pblicas de cada pas. Una ventaja es que es una informacin
bastante detallada (casi siempre a nivel provincial y con frecuencia a nivel municipal) y
grfica (se suele usar para realizar mapas de NBIs). Un inconveniente es que no se
actualizan con frecuencia (en torno a la dcada), ya que la informacin debe recogerse
al nivel de hogares y mediante encuestas. Los hogares que tienen dos o ms necesidades
bsicas insatisfechas se consideran pobres extremos. Otro inconveniente es que son muy
constantes en el corto plazo, mientras que las lneas de pobreza monetaria son ms
sensibles a los cambios en periodos breves de tiempo (por ejemplo, ante una crisis
financiera, la pobreza de ingresos aumentar de forma sensible en un ao, mientras que
las NBI permanecern ms estables). Las NBI y la lnea de pobreza, como se ver a
continuacin, no son medidas excluyentes, sino complementarias y con probable poca
correlacin, no slo en cuanta de hogares sino en su tipo y composicin concreta1.
Las variables asociadas a la necesidad de vivienda son, por ejemplo, los materiales de
construccin (paredes, piso y techo), el grado de hacinamiento (nmero de personas por
dormitorio, donde 3 o ms se considera hacinamiento). Las variables para agua son
calidad qumica de la misma (potable para el consumo humano), fuente de
abastecimiento (en cada hogar o colectivo), distancia media a la fuente, etc. En
educacin se mide el nmero de personas por hogar analfabetos adultos o nios en edad
escolar que no estn matriculados. La subsistencia de un hogar se aproxima a travs del
1

La utilizacin simultnea de ambas aproximaciones a la pobreza se conoce como el mtodo integrado de


medicin de la pobreza. La pobreza crnica sera la de hogares bajo lnea de pobreza de ingresos y con
una o dos NBI. Si no se tienen NBI pero s pobreza de ingresos, se denomina pobreza reciente o
coyuntural. Tener una o dos NBI, pero superar la lnea de pobreza de ingresos, conduce a la pobreza
inercial.

CAP. 1 LA POBREZA

nivel de estudios del cabeza de familia y nmero de personas que dependen de cada
perceptor de ingreso.
Tabla 1. Necesidades bsicas insatisfechas en Cuzco (Per), 1993.
Informacin de Hogares
Total hogares en viviendas particulares con ocupantes presentes

235056

Hogares con necesidades bsicas insatisfechas - Porcentual

74.3

Hogares en viviendas con caractersticas fsicas inadecuadas - Porcentual

12.2

Hogares en viviendas con hacinamiento - Porc.

21.4

Hogares en viviendas sin desage - Porcentual

66.1

Hogares con nios que no asisten a la escuela - Porcentual

9.7

Hogares con alta carga o dependencia econmica - Porcentual

12.3

Hogares con una necesidad bsica insatisfecha - Porcentual

41.7

Hogares con dos necesidades bsicas insatisfechas - Porcentual

21.1

Hogares con tres necesidades bsicas insatisfechas - Porcentual

8.7

Hogares con cuatro necesidades bsicas insatisfechas - Porcentual

2.5

Hogares con cinco necesidades bsicas insatisfechas - Porcentual

0.4

Informacin de Hogares(Urbano)
Total hogares en viviendas particulares con ocupantes presentes

108113

Hogares con necesidades bsicas insatisfechas - Porcentual

49.8

Hogares con una necesidad bsica insatisfecha - Porcentual

35.4

Hogares con dos necesidades bsicas insatisfechas - Porcentual

11.1

Hogares con tres necesidades bsicas insatisfechas - Porcentual

2.9

Hogares con cuatro necesidades bsicas insatisfechas - Porcentual

0.4

Hogares con cinco necesidades bsicas insatisfechas - Porcentual

Informacin de Hogares(Rural)
Total hogares en viviendas particulares con ocupantes presentes
Hogares con necesidades bsicas insatisfechas - Porcentual
Hogares con una necesidad bsica insatisfecha - Porcentual

126943
95.2
47

Hogares con dos necesidades bsicas insatisfechas - Porcentual

29.6

Hogares con tres necesidades bsicas insatisfechas - Porcentual

13.5

Hogares con cuatro necesidades bsicas insatisfechas - Porcentual

4.3

Hogares con cinco necesidades bsicas

0.7

Fuente: Instituto Nacional de Estadstica e Informtica. http://www.inei.gob.pe/web/mapasyplanos.asp

CAP. 1 LA POBREZA

Figura 1. NBIs educativas en Paraguay.

Fuente: Sistema de Indicadores Socio-Econmicos y Demogrficos, Secretara Tcnica de Planificacin,


Direccin general de Estadstica, Encuestas y Censos, 1999.

1.2 Pobreza absoluta y pobreza relativa.


La pobreza absoluta es aquella que no permite la subsistencia. En este sentido es
ampliamente aceptado el clculo de la OMS de una ingesta diaria de 2.250 caloras por
adulto. Aqu encontramos una primera limitacin, pues suponemos que las necesidades
diarias de caloras son iguales para varones, mujeres o nios y con independencia del
trabajo que realicen (ms fsico o mental), del clima en el que se viva, de la constitucin
anatmica de cada individuo (su masa corporal), de si vive en un medio rural o urbano2,
etc. Es importante, a la hora de calcular la lnea de pobreza nacional, tener en cuenta las
diferencias de precios de los bienes bsicos segn las diferentes zonas del pas y las
diferencias estacionales (por ejemplo los alimentos son ms caros antes de las cosechas

Tpicamente el trabajo agrcola rural exige mayor consumo de caloras, lo que conduce a que la
poblacin urbana ms sedentaria- consuma menos caloras a un mismo nivel de ingreso. Esto provoca
que la lnea de pobreza (monetaria) urbana sea mayor que la rural. Adems, los precios de los bienes
bsicos suelen ser ms altos en la ciudad que en el campo. Pero, si incluimos bienes no alimentarios,
puede que vivir en la ciudad exija ingresos mayores que en el mbito rural (por ejemplo, gastos de
transporte por desplazamiento), con lo que con la misma renta, una persona puede ser calificada pobre en
la ciudad y no en el campo. Todo esto debe conducir al reconocimiento de que la fijacin de lneas de
pobreza son, en buena medida, arbitrarias, a pesar del enfoque cientfico dado por la ingesta calrica Lo
que es muy importante para posibilitar las comparaciones intertemporales- es no cambiar la metodologa
de clculo y slo actualizar los precios de los bienes incluidos para la determinacin de la lnea de
pobreza, ya que puede haber intereses polticos en ello, al ser el nmero de pobres una variable para
medir el xito o fracaso de algunas polticas, recibir subsidios o acceder a programas sociales. En
palabras de Deaton (2006:7)las lneas de pobreza son construcciones tan polticas como cientficas.

CAP. 1 LA POBREZA

que despus de ella), es decir, estimar primero los ingresos en trminos nominales y a
precios corrientes, para despus hacer la conversin a trminos reales y precios
constantes (idealmente con IPC especfico de la canasta representativa de los pobres),
cuando se haga la conversin de la lnea de pobreza nacional a una internacional
(idealmente, utilizando paridad de poder de compra de los bienes realmente consumidos
por los pobres). La estimacin del coste necesario para la adquisicin de esta cantidad
de alimentos es lo que condujo al Banco Mundial a fijar la cantidad de 1 dlar de 1985
diario como ingreso mnimo o lnea internacional de pobreza extrema. Esta lnea fue
actualizada a 1,08$ diarios de 1993. Un serio problema con esta agregacin es suponer
que el tipo de cambio en trminos de PPA utilizado es neutral respecto al acceso real de
alimentos por todos los miembros de la familia y a la cultura o valoracin en cada
regin de los distintos bienes elegidos para componer la canasta bsica de referencia
para el clculo de la PPA (Reddi y Pogge 20033). Las PPA son tambin problemticas
ya que los precios de los bienes que la componen no se recogen directamente para todos
los pases, ni para todos los aos (ni los mismos aos), con lo que las interpolaciones y
predicciones estn sometidas a fuertes mrgenes de error4. Esto ha conducido a algunos
crticos a considerar intil el clculo de los pobres en el mundo, reforzando su
argumento en que no hay una instancia internacional encargada de disear las polticas
anti-pobreza para el mundo.
Frente a la pobreza extrema, podemos considerar la pobreza moderada o simplemente
pobreza. Una forma de considerarla es dividir la lnea de pobreza extrema por el
coeficiente de Engel, es decir, la fraccin de ingreso familiar que se destina al gasto en
alimentos sobre el gasto total. Se supone que segn crece el ingreso monetario de las
familias, menor es el coeficiente de Engel.
Un primer indicador de pobreza lo tenemos entonces al calcular la incidencia de la
pobreza. Esta ser la cantidad absoluta de pobres extremos (o moderados) en hogares o
individuos-, o bien su proporcin sobre el total de la poblacin de un pas (Headcount,

Si la composicin de esa canasta debe ser siempre la misma o debe variar con el tiempo es una cuestin
discutida. La primera opcin es defendida por Ravallion (1998 y 2004) y Deaton (2006), mientras que la
segunda, por ejemplo por Thorbecke (2004). La primera permite comparaciones intertemporales ms
rigurosas. La segunda se ajusta ms a la especificidad del consumo segn vara la renta per capita de los
pases o cambia la importancia del consumo de ciertos bienes y servicios. Por ejemplo el transporte
pblico puede ser esencial para los pobres que vivan en una ciudad, mientras que no existan o se
autosatisfagan en el mbito rural. Es una muestra del trade-off entre consistencia y especificidad de
indicadores.
4
En el Anexo 1 se ofrece una sntesis de cmo se elaboran las PPA.

CAP. 1 LA POBREZA

en ingls). Las base de datos ms extensa que proporcionan esta informacin es la del
Banco Mundial conocida como PovcalNet5.
Tabla 2. Indicadores de pobreza absoluta por regiones. 2004.
Lnea de

% poblacin

Brecha de

Severidad de

pobreza

(Headcount)

pobreza

la pobreza

(Poverty gap)

(Squared

(Poverty line)

poverty gap)
Este de Asia y Pacfico

32.74

9.05

1.93

0.65

Europa y Asia Central

32.74

0.95

0.22

0.10

Amrica Latina y el Caribe

32.74

8.64

2.99

1.51

Oriente Medio y Norte de frica

32.74

1.47

0.26

0.09

Sur de Asia

32.74

30.84

6.96

2.25

frica Sub-Sahariana

32.74

41.09

17.47

9.91

Fuente: Banco Mundial. PovcalNet. La lnea de pobreza de 32.74$ es mensual (el equivalente a 1,08$
diarios)

Por pobreza relativa se entiende aquella que, siendo suficiente para la supervivencia
fsica, somete a la persona dentro del contexto social en el que vive, a unas privaciones
importantes en trminos de consumo bsico. Establece de forma directa una relacin
entre pobreza y desigualdad interna del ingreso en un pas. Por ejemplo, en los pases
ricos existe pobreza relativa que se estima mediante la proporcin (y el nmero
absoluto) de personas que obtienen menos del 60% de la mediana de ingreso del pas6.
Tener menos del 60% de ese ingreso es considerado el umbral de la pobreza relativa.
Para reducir la pobreza relativa en un pas es necesario que aumente el ingreso medio de
los ms pobres. Por tanto, no todo incremento del PIB per capita se traduce
automticamente en reduccin de la pobreza relativa. El incremento del PIB por
habitante, con reduccin de la desigualdad, a favor de los ms pobres, s reducir la
pobreza relativa. En este sentido es til distinguir la desigualdad de ingresos (en media)
de su polarizacin (distancia entre el ingreso mnimo y el mximo).
En Espaa la ONG Caritas y la Fundacin FOESSA realizan de forma peridica un
informe sobre la pobreza utilizando el indicador de tener ingresos por debajo del 50%
de la renta media disponible neta (RDN). En 2005 estimaron 2,2 millones de hogares en

http://iresearch.worldbank.org/PovcalNet/jsp/index.jsp
La mediana es el valor que deja al conjunto de la distribucin de ingresos dividida en dos mitades
exactas (50% a cada lado de la mediana).
6

CAP. 1 LA POBREZA

esa situacin, en los que vivan 8,5 millones de personas (el 44% con menos de 25
aos). El informe establece cuatro estratos de pobreza:
1) Pobreza extrema para los niveles inferiores al 15% de la RDN
2) Pobreza grave entre el 15-25%
3) Pobreza moderada entre 25-35% de la RDN
4) Precariedad social, entre 35-50%

A los niveles 1 y 2 los denomin pobreza severa y a los niveles 3 y 4 pobreza relativa.
El Instituto Nacional de Estadstica realiza anualmente desde 2004 la Encuesta sobre las
Condiciones de Vida (ECV), que da lugar a los Estudios Descriptivos sobre la Pobreza
en Espaa. Sobre el umbral del 60% de la mediana de ingreso, establecido en 6.278,7
por adulto y ao para 2004, estim en 19,9% de la poblacin la pobreza relativa
espaola (19,8% en 2005, con un 18,6% en hombres y 20,9% en mujeres)7. Por edad,
29,4% de las personas de 65 aos o ms son el colectivo pobre ms numeroso, seguido
de los menores de 16 aos (24,2%).
Grfico 1. Pobreza relativa en Espaa. 2006. Porcentajes de poblacin bajo el umbral de
pobreza de ingreso monetario.

Conjunto poblacional

65 y ms aos

50-64 aos

25-49 aos

16-24 aos

menores 16 aos

10

15
Ambos sexos

20
Varones

25

30

35

Mujeres

Fuente: INE. ECV 2006.

Para 2006, la tasa de pobreza relativa sigui situada en el 19,9% de la poblacin, con una distribucin
del 21,2% de mujeres y 18,5% de hombres. El ingreso relativo de pobreza se situ en 6.860 anuales para
el hogar de un adulto.

CAP. 1 LA POBREZA

1.3 Pobreza basada en individuos o en hogares?


La pobreza estimada al nivel de individuos es ms exacta en cuanto a la fiabilidad de la
fuente, ya que en la encuesta slo se reflejan las respuestas de cada entrevistado,
mientras que la estimacin por hogares supone que todos los miembros de la familia
disponen del mismo ingreso (o consumen) per capita, lo que deja fuera consideraciones
importantes como el diferente acceso a los alimentos segn el sexo o la edad de cada
miembro de la familia. El ajuste de consumo por edad se realiza mediante el clculo del
tamao de hogar por adulto equivalente (mayores de 18 aos, computan como
adultos, mientras que personas entre 16-18 aos ponderan como 0,8 adulto; entre 10-15
aos, ponderan al 0,5 de adulto; menores entre 5-9 aos una ponderacin de 0,3; y hasta
los 4 aos, un 0,2)8. Para el anlisis de la seguridad alimentaria estas consideraciones
son fundamentales (vase A.K. Sen 1981). La pobreza estimada por hogares es menor
que la estimada por individuos, ya que los hogares de los pobres suelen ser los ms
numerosos.
1.4 Encuestas o Contabilidad Nacional? Urbana o rural?
La pobreza estimada por hogares es resultado de un cmputo de informacin primaria.
Las deficiencias se encuentran en que no todos los hogares responden o sus inquilinos
se encuentran en el momento en que los encuestadores acuden. Adems, los hogares de
rentas ms altas suelen ser reacios a confesar la totalidad de sus ingresos y tienden a
subvalorar la respuesta. Es importante analizar los cuestionarios de los hogares no
respondidos y fijar bien su procedencia geogrfica, sobre todo cuando se trabaja bajo
muestras aleatorias. Otro problema es el uso de formatos de cuestionarios diferentes en
cada pas, as como la distinta periodicidad con que se hacen las encuestas, dado su alto
coste. Tambin las zonas ms alejadas o de menor seguridad por su conflictividad,
suelen quedar subrepresentadas9.
Hay pases donde las encuestas de hogares slo se realizan en las zonas urbanas y no en
las rurales. La extrapolacin de los datos obtenidos en encuestas urbanas al mbito es
problemtico ya que en las zonas rurales los precios de los bienes y servicios no
comercializables son ms baratos, hay mayor autoconsumo de alimentos y no se gasta

En las Encuestas de Condiciones de Vida que realiza el INE en Espaa, se utiliza otra ponderacin: peso
1 para el primer adulto, 0,5 para el resto de adultos y 0,3 para los menores de 14 aos.
9

Para la profundizacin de las encuestas de hogares, vase A. Deaton (1997).

CAP. 1 LA POBREZA

tanto en transporte como en la ciudad. Es decir, el coste de vida urbano es mayor que el
rural. Las estimaciones de Chen y Ravallion (2007) revelan unas lneas de pobreza
urbana un 30% ms altas que las rurales. Tenerlo en cuenta supone incrementar el
porcentaje pobres con menos de un dlar al da de ingreso en un 2,3%, que representa
100 millones ms de pobres! entre 1993-2002. Sin embargo, la inmensa mayora de los
pobres absolutos viven en zonas rurales. En 2002 y segn los mismos autores, el
24,55% de los pobres era urbano un total de 291,4 millones de personas- frente 890
millones de habitantes rurales con ingresos por debajo de un dlar diario. Estas
diferencias se producen en todas las regiones del mundo, a pesar de que en 2007 la
poblacin mundial habitando en ciudades super a la urbana por primera vez en la
historia. Entre 1993-2002, hubo un incremento de casi 50 millones de pobres urbanos
frente a una cada de 148 millones de pobres rurales (Chen y Ravallion 2007:13)10. En
suma, aunque los pobres habitan sobre todo en las zonas rurales (la nica excepcin es
Amrica Latina), las reducciones de pobreza se estn debiendo a la cada de la pobreza
rural, mientras aumenta la urbana (del 19% en 1993 al 25% de los pobres en 2002).
Cuando no se dispone de encuestas de hogares para estimar la pobreza, una alternativa
es utilizar la informacin contenida en la contabilidad nacional (CN). Una ventaja que
tiene el uso de datos procedentes de la contabilidad nacional frente a las encuestas, es
que la normativa para su elaboracin es comn a los pases ya que se rige por el sistema
contable de Naciones Unidas de 1993. Adems su periodicidad es anual. Pero el
principal problema es que el consumo privado se estima como variable residual, tras
calcular la produccin de bienes fsicos, de servicios y la depreciacin fsica del capital.
Aunque autores como Deaton (2006) recomiendan no mezclar este tipo de fuentes,
trabajos recientes como el de Bhalla (2002 y 2003) o Sala-i-Martin (2006) lo han hecho
y no han sido los primeros. La cuestin esencial es cmo equilibrar el trade-off entre la
informacin disponible para ms pases que aporta la C.N., con su menor rigor o
calidad frente a las encuestas de hogares.
El estudio comparativo de Szkely et al. (2000) para 17 pases de Amrica Latina,
detect que las mayores diferencias en los niveles de pobreza aparecen por las
diferentes metodologas que se usen a la hora de tratar los datos de la encuesta de

10

Resultados similares se producen bajo la lnea de pobreza de dos dlares diarios. La pobreza urbana
aument 1993-2002 en 65 millones de personas mientras que la rural disminuy en 116 millones. Una
extensin a las diferencias evolutivas de la pobreza urbana y rural se encuentra en Ravallion, Chen y
Sangraula (2007).

CAP. 1 LA POBREZA

10

hogares y de contrastarlos con los de la CN. Las principales diferencias metodolgicas


en cuanto al tratamiento de los datos procedentes de la encuesta son:
-

si se aplican escalas de equivalencias sobre el consumo de adultos o no;

si se aplican economas de escala en el consumo o no;

el tratamiento dado a los datos perdidos y los ceros;

si se realizan ajustes para el sub-reporte o sobre-reporte de las contestaciones


(por ejemplo, rentas debidas al autoempleo informal, rentas agrcolas tenidas en
cuenta o no, valoracin del autoconsumo, respuestas deliberadamente errneas a
la baja por parte de los ricos o de los pobres si creen que obtendrn un beneficio
de ello como participar en un programa social o recibir ms subsidios, la
diversificacin del valor de los activos en cartera de los ricos, etc.)

Los autores del trabajo utilizan 4 metodologas diferentes de ajuste, que junto a otras
variantes, les permiten obtener hasta 90 medidas diferentes de la pobreza. Las
cuestiones metodolgicas no seran tan importantes si los resultados fueran
convergentes, pero las diferencias en el nmero de pobres en los 17 pases considerados
van desde el 12,7% de la poblacin hasta el 65,8%. Es decir, la pobreza puede estar
entre los 61 y 315 millones de personas. Diferencias de 255 millones de personas son
tan amplias que la recomendacin de avanzar hacia un consenso internacional de
medicin de la pobreza se hace urgente. Ejemplos de las diferencias mtricas
encontradas por los autores, sobre la pobreza en todos los pases y en Per, se muestran
en la Tablas 3 y 4.
Tabla 3. Indicadores de pobreza en 17 pases de Amrica Latina bajo diferentes
supuestos.

17 pases Amrica
Latina y Caribe
Mejor estimacin
(encuesta nacional)
Escala de
equivalencia de
adultos y
economas de
escala
Tratamiento de
datos perdidos y
ceros
Ajuste y contraste

Rango de
diferencia (%)

Diferencia del N
de pobres
(redondeo en
millones)

% poblacin pobre

N de pobres
(redondeo, en
millones)

50,7

243

31,4 - 50,7

150 243

19,3

92

50,8 52,3

240 - 253

2,8

13

20,7 65,8

99 - 315

45,1

216

CAP. 1 LA POBREZA
con la CN
Definicin de lnea
22,8 56,8
de pobreza
Mtodo para la
12,7 (PIBpc PPP
comparacin
1987) 58,2
internacional
Todas las
12,7 65,8
combinaciones
Fuente: Szkely et al. (2000)

11

109 - 272

34,0

163

61 - 279

45,5

218

61 - 315

53,1

254

Rango de
diferencia (%)

Diferencia del N
de pobres
(redondeo en
millones)

7,2

1,69

23,8

5,6

0,02

0,0047

48,2

11,34

63,2

14,8

73,2

17,2

77,8

18,3

Tabla 4. Indicadores de pobreza en Per.


PER

% poblacin pobre

N de pobres
(redondeo, en
millones)

Mejor estimacin
43,3 (renta)
10,19
(encuesta nacional)
50,5 (consumo)
11,88
Escala de
equivalencia de
adultos y
19,5 43,3
4,58 10,19
economas de
escala
Tratamiento de
43,3 43,4
10,19 10,21
datos perdidos y
ceros
Ajuste y contraste
13,2 61,4
3,1 14,4
con la CN
Definicin de lnea
20,3 83,5
4,7 19,6
de pobreza
Mtodo para la
17,8 (PIBpcPPP
comparacin
4,1 21,4
1987) 91,0
internacional
(WDI)
Todas las
13,2 91,0
3,1 21,4
combinaciones
Fuente: Szkely et al. (2000) y clculos propios.

1.5 Pobreza de ingresos o de consumo?


Los problemas de origen son los mismos que en el punto anterior. Los ingresos se
estiman en encuesta de hogares. Lo difcil es la estimacin de todos los ingresos
(incluidos los no monetarios) y la diferente disponibilidad de los mismos a lo largo del
tiempo (por ejemplo en las zonas agrcolas se dispone de ingreso lquido despus de la
cosecha, pero es difcil conservarlo o tenerlo hasta la poca de siembra). Las encuestas
deben asegurar representatividad de los hogares (aleatorias), estratificando por
componente urbano/rural (el ingreso urbano suele mayor que el rural) y asegurando que
estn representadas las zonas alejadas o de difcil acceso geogrfico. El consumo es una
variable ms estable en el tiempo. Si se estima en encuestas, la calidad de la
informacin depende de la estimacin revelada y aqu el tiempo es importante. La

12

CAP. 1 LA POBREZA

exactitud del consumo reportado disminuye a medida que pasa ms el tiempo (el
consumo de la semana pasada tiende a ser siempre mayor que el realizado hace un mes,
por ejemplo) sobre todo en el intervalo de poblacin de menor consumo (los pobres).
Menores cantidades de consumo informadas, supondrn mayores niveles de pobreza.
Para reflejar la importancia del detalle que tiene utilizar el mismo periodo de reporte
en las encuestas, Deaton (2003b) estima en un 30% ms de gasto en consumo de
comida si se pregunta sobre los ltimos 7 das en vez de sobre el ltimo mes y en un
18% los gastos totales. Estas diferencias suponen reducir la pobreza de India a la
mitad!. Como se pudo observar en la Tabla 4, el estudio comparativo de Szkely et al.
(2000) reporta un nivel de pobreza para Per del 43,3% de la poblacin si se utiliza la
renta frente a un 50,5% utilizando el consumo. La diferencia de 7,2 puntos porcentuales
suponen 1,7 millones de personas que son consideradas pobres o no.
En resumen, y siguiendo a Deaton (2003a), lo deseable sera poder disponer de buenas
encuestas mundiales sobre un mismo concepto (ingreso o consumo), los mismos aos,
cuya cobertura geogrfica est bien delimitada (rural, urbana o nacional), bajo
cuestionarios homogneos (nmero de tems, periodo de recogida de la informacin,
estacionalidad y modo de seleccin de los hogares) y destacando siempre cuntos y
cules rechazaron contestar la encuesta para explicitar despus qu tratamiento
estadstico se dio a stos datos perdidos.
1.6 Profundidad y severidad de la pobreza.
Adems de la incidencia de la pobreza puede ser til conocer la profundidad o brecha
de pobreza (poverty gap). Esta es la diferencia entre el ingreso de cada hogar (o
individuo) y la lnea de pobreza, dividida entre la lnea de pobreza. Su frmula de
clculo es

donde z es la lnea de pobreza; n, la poblacin total; q, el nmero de personas cuyos


ingresos estn por debajo de la lnea de pobreza; yi el ingreso del isimo hogar. Conocer
la brecha de pobreza es til ya que da una idea del esfuerzo necesario para superar la
lnea de pobreza ponderando la distancia de cada pobre hacia ella. Por ejemplo, esto
permitira descubrir una redistribucin de un gobierno perverso que quitara ingresos a
los ms alejados de la lnea de pobreza para drselo a los ms cercanos y as lograr una
reduccin neta de la incidencia de pobreza.

CAP. 1 LA POBREZA

13

Otra utilidad de la brecha de pobreza reside en que proporciona la contribucin media


que cada hogar de la sociedad debera hacer para que dicha redistribucin elevara todos
los ingresos hasta la lnea de pobreza. Por ejemplo, una brecha de pobreza de 0,15
quiere decir que si cada persona de ese pas hiciera una contribucin equivalente al 15%
del valor de la lnea de pobreza (y contramos con estrategias de focalizacin de los
pobres perfecta) la pobreza de ese pas quedara erradicada. Si se desagrega la brecha
por grupos de poblacin o sectores especficos, obtendramos la contribucin que cada
grupo o sector debera hacer al bien comn para eliminar la pobreza. En un pas con
informacin perfecta (si supiramos exactamente quines son los pobres, dnde estn y
cul es su ingreso), el coste total de erradicar la pobreza sera la suma de todas las
brechas de pobreza.
Frente a la ventaja de la brecha de pobreza de conocer la distancia de los ingresos de los
pobres hasta la lnea de pobreza (nacional o internacional), presenta la desventaja de no
ser sensible a las diferencias de ingresos entre los ya pobres.
Para salvar esta limitacin, se cuenta con otro indicador que es la severidad de la
pobreza tambin conocida como el ndice de Foster, Greer y Thorbecke (FGT)11. Su
frmula de clculo es elevar al cuadrado la brecha de pobreza (squared poverty gap).
De esta forma se otorga mayor ponderacin a las brechas de los ms pobres de entre los
pobres. Cuanto ms disminuya la severidad de la pobreza, ms fcil es reducirla (ms
poblacin superar el umbral marcado por la lnea de pobreza). Cuando los ingresos de
los ms pobres se reducen an ms, el indicador FGT experimenta un marcado
incremento.
Uno de los mayores atractivos en el uso del ndice FGT es que su estimacin incorpora
en alguna forma toda la familia de ndices de pobreza que hemos revisado en esta
seccin.
A partir de su formulacin ms general, distintos valores de (parmetro predefinido)
generan los tres indicadores aqu desarrollados:

cuando = 0 tenemos H, la incidencia de la pobreza.


cuando = 1 tenemos BP, la brecha de pobreza.

11

Vase FOSTER, J.; J. GREER & E. THORBECKE (1984).

14

CAP. 1 LA POBREZA

cuando = 2 tenemos el ndice FGT, o severidad de la pobreza.


Otra ventaja en el uso de este indicador es que se trata de un ndice desagregable por
adicin. Es decir que es posible calcular la incidencia de la pobreza en cada una de las
regiones, sectores o grupos de poblacin y estimar su contribucin a la pobreza total.
Este procedimiento es muy til porque facilita la comparacin entre regionessectores
o grupos socioeconmicos.
El FGT es, adems, el nico ndice de los mencionados que satisface las propiedades de
monotonicidad (si todo lo dems permanece constante, una transferencia de renta de una
persona que se encuentre bajo el umbral de pobreza a otra menos pobre, aumentar la
pobreza) y de transferencia (una transferencia regresiva entre dos pobres debe ser
importante si se reducen por igual las dos rentas iniciales de esas personas)12.

12

Vase Foster (1984) o Ray (2002:280-81).

CAP. 1 LA POBREZA

15

Grfico 2. Profundidad y severidad de la pobreza.


12

120

10

100

80

60

40

20

Mientras en la primera figura podemos apreciar la profundidad de la pobreza, en la segunda observamos


la distribucin de los mismos valores elevados al cuadrado. Ahora las personas ms pobres estn
sobrerepresentadas expresando la severidad de la pobreza. El esfuerzo que tienen que hacer para alcanzar
la lnea de pobreza supongamos 10 y 100 respectivamente, es mayor en el segundo grfico.

1.7 Otros indicadores de pobreza.


Por ltimo, otro indicador para apreciar la pobreza de un pas y hacer comparaciones
entre pases y a lo largo del tiempo es el ndice de Pobreza Humana (IPH) que elabora
desde 1998 el PNUD, en su versin IPH-1 para los pases en desarrollo e IPH-2 para los
pases desarrollados. Este ndice ya no se centra en la pobreza monetaria (como falta de
ingresos) o en la falta de acceso a servicios bsicos (como el NBI), sino en unas
condiciones mnimas de subsistencia. Para los pases en desarrollo, el ndice combina
los siguientes factores: i) porcentaje de personas con una esperanza de vida menor a 40
aos (P1); ii) tasa de analfabetismo de adultos (P2); iii) porcentaje de personas sin acceso
a agua potable, servicios de salud y menores de cinco aos con peso insuficiente para su
edad, cada una ponderada 1/3, (P3). Es decir, la pobreza es no poder vivir una vida
larga, no saber leer, ni escribir, ni tener acceso a los servicios bsicos que garantizan la
supervivencia.
IPH-1 = [1/3 (P13+P23+P33)]1/3
Para los pases desarrollados, el ndice se estima por i) porcentaje de personas que
superan los 60 aos de esperanza de vida (P1); ii) tasa de analfabetismo funcional (P2);
iii) porcentaje de poblacin bajo la lnea de pobreza (P3) y iv) personas que permanecen
en paro de larga duracin (ms de un ao), (P4).
IPH-2 = [1/4 (P13+P23+P33+P43)]1/3

CAP. 1 LA POBREZA

16
1.8 Vulnerabilidad.

Otro concepto relacionado con la pobreza es la vulnerabilidad. Puede definirse como la


probabilidad de caer bajo la lnea de pobreza en un momento del tiempo. Es sugerente
pues a menudo los pobres no estn bajo dicha lnea todo el tiempo (hablndose entonces
de pobreza transitoria). Por ejemplo, Thorbecke (2004) cita estudios en Pakistn donde
slo el 3% de los pobres lo fue a lo largo de cinco aos, o en el sur de la India, donde en
un estudio de 9 aos, slo el 22% fue pobre todo el tiempo, mientras que el 90% lo fue
al menos un ao. La alta persistencia bajo la pobreza puede calificarse de pobreza
crnica.
La vulnerabilidad trata de tener en cuenta no slo las carencias de las persona sino los
riesgos inherentes a vivir en esa situacin. Elbers & Gunning (2003) realizaron un
estudio en Zimbabwe en el que detectaron que los pobres crnicos mantenan un
subconsumo en respuesta a los riesgos futuros de empeoramiento de su condicin. La
disposicin de alimentos o de ingresos monetarios durante la estacionalidad agrcola
puede hacer que un hogar est sobre o bajo la lnea de pobreza con cierta frecuencia.
2.

LA EVOLUCIN RECIENTE DE LA POBREZA EN EL MUNDO.

La tabla 3 resume las diferencias que se obtienen segn diferentes metodologas de


estimacin de la pobreza. La diferencia esencial es que el Banco Mundial slo utiliza
como fuente las encuestas de hogares, mientras que los otros dos autores han
completado la informacin de las encuestas con la Contabilidad Nacional.
Tabla 3. Resultados de diferentes estimaciones de la evolucin de la pobreza mundial.
ESTIMACIONES DE POBREZA ABSOLUTA
1.
2.
3.
4.
1.
2.
3.
4.
1.
2.
3.
4.

BANCO MUNDIAL
Millones de personas con menos de 1$/da
Porcentaje de poblacin total
Millones de personas con menos de 2$/da
Porcentaje de poblacin total
SALA I MARTN
Con menos de 1$/da
Porcentaje
Con menos de 2$/da
Porcentaje
BHALLA
Con menos de 1$/da
Porcentaje
Con menos de 2$/da
Porcentaje

1970
1.400
40%
2.200
60%

1998
1.199
24%
2.800
51%

Disminucin 1998/1970
-201 millones
-16 puntos
+600
-9 puntos

554
20%
1.323,8
44%

352
6%
973,7
18,5%

-201 millones
-14 puntos
-35,1 millones
-25,5 puntos

1.262
46,4%
1.631
60%

647
13,1%
1.147
23,3%

-615 millones
-33,3 puntos
-484 millones
-36,8 puntos

ESTIMACIONES DE POBREZA RELATIVA


Poblacin viviendo con 1/3 del consumo nacional
medio
CHEN Y RAVALLION

1987

1998

1998-1987

36,3%

32,1%

-4,2 p.p.

CAP. 1 LA POBREZA

17

22,1%
16%
-6,1 p.p.
SALA I MARTN
Fuentes: BANCO MUNDIAL (2002), BHALLA, S. (2002), CHEN, S. y RAVALLION, M. (2000),
SALA-I-MARTIN, X. (2002a,b).

Como los diferentes pases no realizan las encuestas de hogares en un mismo ao, deben
producirse ajustes y el periodo temporal del anlisis es importante. La tabla 3 ha
mostrado las diferencias entre 1970 y 1998, pero considerando la informacin de cada
pas ms cercana a esos dos aos. La informacin disponible de las encuestas puede
disponerse en forma de un panel de datos que trate de unir la mayor amplitud de pases
con los que se cuenta con encuesta de hogares a su evolucin como serie temporal. Es lo
que ha realizado el Banco Mundial en su base de datos conocida como PovcalNet a
partir de los ajustes realizados por Chen y Ravallion (2001). La ventaja de este panel de
datos es que es metodolgicamente homogneo y comparable sobre la base de 560
encuestas de 100 pases en desarrollo que representan el 93% de la poblacin de los
pases en desarrollo. Sus datos ofrecen una evolucin de la pobreza absoluta como la del
grfico 4.

70

60

Headcount 1$/day

50

40

30

20

10

0
1981

1984
East Asia and Pacific

1987
Europe and Central Asia

1990

1993

Latin America and the Caribbean

1996
Middle East and North Africa

1999

2002
South Asia

2004

Sub-Saharan Africa

Grfico 4. Evolucin de la pobreza por regiones, segn el Banco Mundial.


Fuente: Banco Mundial: PovcalNet.

Los datos para el grfico se ofrecen en la Tabla 4, en la que hemos aadido los clculos
de las diferencias de pobreza extrema en cada regin por dcadas y para el total del
periodo.

CAP. 1 LA POBREZA

18

Tabla 4. Diferencias en la pobreza entre 1981 y 2004 por regiones.


% poblacin con menos de
1$/da
Este de Asia y Pacfico

1987

1990 1993 1996 1999 2002 2004

57,73 39,01 28,24

29,84 25,23 16,14 15,40 12,33 9,05

Europa y Asia Central

0,70

0,47

Amrica Latina y el Caribe


Oriente Medio y Norte de
frica
Sur de Asia

49,57 45,39 45,11

43,05 36,86 36,06 35,04 33,44 30,84

frica Sub-Sahariana

42,24 46,20 47,39

46,77 45,52 47,82 45,94 42,63 41,09

Progresos temporales
Este de Asia y Pacfico
Europa y Asia Central
Amrica Latina y el Caribe
Oriente Medio y Norte de
frica
Sur de Asia

1981

1984

0,52

3,61 4,22

3,60

1,28 0,95

10,77 13,06 12,09

10,19 8,42 8,89

9,62

9,08 8,64

5,08

2,33

2,08

1,69 1,47

3,82

0,36

3,11

2,12 2,23

198190
-27,89
-0,23
-0,58

199099
-42,33
2,90
-1,15

1999- 1981- 1996- 1981-2004 en millones de


04
04
04
personas
-6,35 -48,68 -7,09
-627,27
-2,65 0,25 -3,27
+1,42
-0,98 -2,13 -0,25
+7,67

-2,75

-3,00

-0,61

-3,61 -0,76

-4,41

-6,52 -14,53 -4,20 -18,73 -5,22

-8,98

frica Sub-Sahariana
4,53 3,70 -4,85 -1,15 -6,73
-130,77
Fuente: Elaboracin y clculos propios a partir de Banco Mundial: PovcalNet y Chen y Ravallion (2007).

Sin duda el hecho ms destacable es la fuerte reduccin de la pobreza en el Este de Asia


y el Pacfico. Dentro de esta regin, se encuentra la espectacular reduccin de la
pobreza en China. Segn Chen y Ravallion (2007), en 1981, el 63,76% de la poblacin
china se encontraba bajo la lnea de pobreza extrema. Tres aos ms tarde ese
porcentaje era del 41,02%, lo que representa una disminucin de 208,39 millones de
personas en el trienio. Tras un ligero aumento entre 1987-1990, la pobreza en China ha
venido disminuyendo de forma constante hasta situarse en 2004 en el 9,9% de su
poblacin. En otras palabras, China ha pasado de tener 633 millones de pobres en 1981
a 128 millones en 2004. Una reduccin de 505 millones de personas que han
abandonado la pobreza extrema. Las restricciones chinas a la natalidad contribuyen de
alguna manera a este xito. El dinamismo chino explica que la regin del Este Asia y
Pacfico sea la que ms reduccin de pobreza experimenta: el 48,6% en el total del
periodo, siendo la dcada de los aos 90 en la que se obtuvo el mejor desempeo y
donde se sigue reduciendo ms pobreza tras el inicio del siglo XXI.
La segunda regin con mayor tasa de reduccin de la pobreza es el Sur de Asia con una
disminucin de 18,73 puntos porcentuales, casi 9 millones de personas. Como muestran
Chen y Ravallion (2007), ha sido la India es el pas que ha liderado este progreso con
una reduccin constante en todos los aos desde el 51,75% de su poblacin en pobreza

CAP. 1 LA POBREZA

19

extrema de 1981 al 34,33% en 2004. En nmero de personas representa un descenso de


6,95 millones.
En Oriente Medio y el Norte de frica ha habido una reduccin porcentual del 3,6& y
2,1% respectivamente entre 1981 y 2004. Fijndonos en la evolucin del nmero de
personas, observamos que mientras en Oriente Medio y Norte de frica hubo un
descenso absoluto de 4,4 millones de pobres, en Amrica Latina ha habido un
incremento 7,6 millones de personas pobres. Esta comparacin sirve de llamada de
atencin sobre la asimetra de resultados entre medir la pobreza en porcentaje de
poblacin y en volumen de personas. Mientras que el xito es ms claro en los
porcentajes, se hace menos evidente en el volumen de personas ya que en dos regiones
(Amrica Latina y Europa y Asia Central) encontramos ms pobres en 2004 que en
1981.
Es en Europa y Asia Central en la que encontramos una recorrido de ida y vuelta de la
pobreza. Si en los aos ochenta hubo un descenso de la pobreza del 0,23%, la
desmembracin del bloque sovitico y aparicin de nuevos estados independientes,
junto a la transicin hacia una economa de mercado en los noventa, trajo consigo un
aumento del 2,9% de poblacin bajo el umbral de pobreza. En 1996 se alcanz el
mximo porcentaje de pobreza en la regin (4,42%) pero desde ese ao, y hasta 2004,
ha habido una evolucin favorable del indicador con un descenso del 3,27%.
La evolucin de frica Subsahariana es la ms dispar con tres trienios de aumento en el
porcentaje de poblacin bajo el umbral de pobreza y cinco de disminucin. En conjunto,
tanto la dcada de los ochenta como de los noventa el porcentaje de pobres
subsaharianos aument (4,5 y 3,7% respectivamente). La esperanza es que desde 1996
el porcentaje ha venido disminuyendo con un desempeo hasta 2004 del -6,7% (casi un
1% anual). El balance de los 19 aos del periodo que consideramos es de un descenso
del 1,15% que, sin embargo, representan ms de 130 millones de personas que han
superado la pobreza extrema.
Si consideramos la suma de todas las regiones, la evolucin mundial en el porcentaje de
personas con ingreso menor a un dlar diario ha pasado del 40,14% en 1981 a 18,09%
en 2004 (Chen y Ravallion 2007). En nmero de pobres la reduccin es desde 1.470,2
millones de personas a 969,4. Esta reduccin de 500,8 millones de personas queda
prcticamente explicada por el progreso de China (-505,3 millones) y sobre todo por el
dividendo del trienio 1981-1984 en el que China redujo su pobreza en 200,72 millones
de personas, gracias fundamentalmente a las reformas agrcolas y la posibilidad dada a

CAP. 1 LA POBREZA

20

los campesinos de quedarse con el fruto de sus cosechas, una vez aportadas las cuotas
obligatorias para mantener con alimentos baratos y suficientes a la poblacin que viva
en las ciudades. Lo malo de esta noticia es que este extraordinario dividendo no parece
que pueda volver a darse, como documenta el trabajo de Ravallion y Chen (2007).
Basndose en las series temporales construidas los autores del Banco Mundial estiman
que la tendencia habida en la reduccin del porcentaje de personas con ingresos
menores a 1 dlar al da entre 1981-2004 (0,8% anual) es mayor que la necesaria para
alcanzar el primer Objetivo de Desarrollo del Milenio de reducir la pobreza extrema a la
mitad de la que haba en 1990 (ya que la tasa tendencial necesaria es de 0,6%). Pero esta
buena noticia hay que matizarla en varios aspectos. En primer lugar, aunque la
tendencia representa una reduccin anual de 17 millones de personas que abandonan la
pobreza extrema, an quedarn unos 800 millones de personas en esa dramtica
situacin. En segundo lugar, las personas que superan el umbral del dlar diario, tienden
a quedarse entre uno y dos dlares de ingreso. Los progresos habidos en el grupo de
pobres con menos de 2 dlares diarios no son tan positivos como los de un dlar. Es
ms, el nmero de pobres con ingresos menores a dos dlares ha crecido hasta 1999.
Desde ese ao ha ido descendiendo pero en 2004, los 2.547,9 millones de personas bajo
dos dlares todava superaban a los registrados en 1987 (2.496,1 millones) y 1981
(2.452,5 millones). La proyeccin de la misma tendencia habida entre 1981-2004 para
el ao 2015 se sita en trono los 2.800 millones de personas en pobreza absoluta no
extrema, 2.000 de ellos dentro del intervalo entre 1 y 2 dlares diarios de ingreso.
En estas mediciones juega un papel protagonista China. Las tasas de crecimiento
exponencial anual para tres intervalos de ingreso durante el periodo 1981-2004, con y
sin China se ofrecen en la Tabla 5.
Tabla 5. Tasas de crecimiento anual entre 1981-2004.
Menos de 1$ diario

Entre 1-2 $ diarios

Ms de 2$ diarios

Todo el mundo

-1,4%

1,9%

3,5%

Excluyendo China

0,1%

2,4%

2,5%

Fuente: Chen y Ravallion (2007). La tasa es fruto de la regresin del logaritmo de la poblacin en cada
intervalo sobre el tiempo, es decir la tasa exponencial anual.

La tabla informa de que si se excluye a China, el resto del mundo apenas ha conseguido
un efecto significativo en cuanto a reducir los pobres con menos de un dlar diario.
Adems, la mayora los que consiguen salir del ingreso de un dlar se sitan en el
siguiente umbral, entre uno y dos dlares, con ms notoriedad si excluimos el caso

CAP. 1 LA POBREZA

21

chino. Prescindir de China para analizar la tendencia de personas que superan la lnea de
pobreza de los dos dlares supone disminuir dicha tendencia en un punto porcentual.
Este anlisis nos permite concluir la alta sensibilidad de la pobreza al nivel de la lnea
de pobreza establecido y la importancia del caso chino a la hora de juzgar la evolucin
de la pobreza en el mundo.
Otro de los esfuerzos ms notables por apreciar de forma rigurosa la evolucin de la
pobreza en el mundo desde 1970 hasta 2000 ha sido el de Sala-i-Martin (2006). En su
estudio aparecen diferencias en las cifras utilizadas por Chen y Ravallion, pero debe
advertirse que este autor utiliza una metodologa diferente a la que ha servido de
comentario hasta ahora. La diferencia fundamental, adems del periodo acotado13, es
que Sala-i-Martin completa la informacin obtenida por las encuestas de hogares con la
contabilidad nacional y que pondera las cifras de cada pas por su poblacin respectiva.
De esta forma construye una distribucin mundial de la poblacin como si slo existiera
un nico pas. Otra diferencia es que ha utilizado el tipo de cambio en PPA derivado de
la base de datos Penn World Tables y en dlares constantes de 1996 en vez de los tipos
de cambio PPA del Banco Mundial y dlares constantes de 1993 como han hecho Chen
y Ravallion (2007), luego las diferencias que van a parecer en los niveles de pobreza ya
estn, en parte, justificadas por estas diferencias que hacen que los datos no sean
totalmente homogneos y, por tanto, estrictamente comparables. Esto no invalida un
resultado convergente en la disminucin de la pobreza en las ltimas dcadas.
Sus principales resultados se ofrecen en la Tabla 6 y Grficos 5 y 6.
Tabla 6. Variacin de la pobreza de ingreso mundial, considerando varias lneas de
pobreza.
Lneas de pobreza
Lnea diaria

% poblacin mundial

Millones de personas

Lnea anual

1970

2000

descenso

1970

2000

Descenso

1$ da

495$ de 1996

15.4

5.7

-9.7

534

322

-212

1,5$ da

570$ de 1996

20.2

-13.1

700

398

-301

2$ da

730$ de 1996

29.6

10.6

-19

1.028

600

-428

3$ da

1.140$ de 1996

46.6

21.1

-25.4

1.617

1.197

-419

Fuente: Sala-i-Martin (2006)

13

Frente a 1970-2000 que utiliza Sala-i-Martin, recordemos que el de Chen y Ravallion ha sido 19812004.

CAP. 1 LA POBREZA

22

Grfico 5. Evolucin longitudinal de varias lneas de pobreza.

Fuente: Sala-i-Martin (2006)

Grfico 6. Evolucin de la pobreza por regiones.

Fuente: Sala-i-Martin (2006)

Por su inters, y para justificar las diferencias con los datos del Banco Mundial, la
metodologa utilizada por Sala-i-Martin se sintetiza a continuacin14.
Lo primero que debe notarse es que la intencin del autor es medir la pobreza y la
desigualdad entre individuos en todo el mundo (no la pobreza ni desigualdad dentro de
cada pas o entre pases). Para ello, debe ponderar el PIB real per capita de cada pas,
14

Sala-I-Martin recoge en su pgina web que -aceptando los supuestos por l utilizados- el investigador
jefe del Banco Mundial, Martin Ravallion, ha mostrado su acuerdo con los resultados de su trabajo.

CAP. 1 LA POBREZA

23

por la poblacin que vive en ese territorio, de forma que ordena a todos los individuos
del mundo como si pertenecieran a un solo pas.
El autor toma como punto de partida el PIB real per capita estimado en PPA de la base
de datos conocida como Penn World Tables (PWT)15. Esto le proporciona datos anuales
entre 1970 y 2000 para 138 pases. Pero la realidad no es que todos los ciudadanos de
esos pases tienen efectivamente esa renta media, sino que existe desigualdad. Para
tenerla en cuenta, incorpora, como segundo paso, la dispersin de los ingresos medios
por persona que le proporcionan las encuestas -a hogares o individuos-, de Deiniger y
Squire (1996) y el World Income Inequality Database de la Universidad de Naciones
Unidas, World Institute for Development Economics Research (WIDER)16. Como no se
dispone de encuestas para todos los aos (ni el mismo ao) para todos los pases, se
encuentra en las siguientes cuatro situaciones posibles para cada pas:
a) Pases que tienen PIB per capita real anual y encuestas en varios aos (slo
Estados Unidos tiene encuesta anual); en esta situacin hay 81 pases que
acumulan el 84% de la poblacin mundial.
b) Pases con PIB per capita real anual y slo una encuesta entre 1970-2000; en
esta situacin hay 29 pases que representan el 5% de la poblacin mundial.
c) Pases con PIB per capita real anual y sin ninguna encuesta; en esta situacin
existen 28 pases que representan el 4% de la poblacin mundial.
d) Pases sin datos de PIB per capita, que suman el 7% restante de la poblacin
mundial.
Sala-i-Martin tiene en cuenta que hasta 1990 exista la URSS como un solo pas que
despus ha dado lugar a 14 nuevos pases de los que se dispone de PIB real anual.
Adems, la Repblica Democrtica del Congo carece de datos para el periodo 19972000. Para solucionar esta carencia, calcula por extrapolacin bajo media mvil de los
ltimos cinco aos, el PIB per capita del Congo para el periodo 1997-2000. Como
fueron aos de conflictos blicos y mal desempeo econmico, los resultados son de
una escalofriante baja de renta per capita desde los 1.000$ de 1970 a 230 en 2000. Esta
extrapolacin implica que puede existir cierta sobreestimacin de la pobreza mundial en
sus clculos.
Sobre esta base de datos, y utilizando un mtodo no paramtrico que incorpora ciertos
supuestos, obtiene curvas de distribucin de ingresos para 138 pases con 100 puntos de
15
16

Vase HESTON, A.; R. SUMMERS & B. ATEN (2006).


http://www.wider.unu.edu/wiid/wiid.htm

24

CAP. 1 LA POBREZA

observacin. A continuacin realiza una integracin de la distribucin de la renta


mundial para el periodo 1970-2000, obteniendo as una funcin de densidad mundial
que representa la hipottica distribucin de la renta de todos los ciudadanos del mundo.
Sobre esa distribucin, debe elegir un ao base para la conversin a dlares constantes,
que en su caso es 1996 (recordemos que el ao base del Banco Mundial de lnea de
pobreza de 1,08 dlares es 1993, pero la diferencia es pequea). Construyendo una
funcin acumulativa de distribucin normalizada, decide trabajar con 4 lneas de
pobreza, como queda reflejado en la tabla. En todas ellas, la pobreza experimenta una
disminucin en 2000 respecto a 1970, y en todas las dcadas (a excepcin de la dcada
de los 90 si no se excluye Zaire de la muestra). El grfico 7 muestra esta evolucin.
Grfico 7. Funcin de Distribucin Acumulativa de la Renta Mundial, por dcadas.

Fuente: Sala-i-Martin (2006).

CAP. 1 LA POBREZA

3.

25

LA MULTIDIMENSIONALIDAD DE LA POBREZA.

Hasta aqu nos hemos referido slo a una dimensin de la pobreza: la renta o el
consumo, en trminos monetarios. Pero desde el inicio del presente milenio contamos
con algunos estudios que lo que acentan es precisamente la multidimensionalidad de la
pobreza17. Y uno de los rasgos que ms pueden sorprender es que la econmica no es
probablemente la principal queja de los pobres cuando son preguntados por los sntomas
que padecen por ser pobres. Junto a la falta de activos econmicos (tierra, empleo,
ingresos para afrontar el consumo vital), las directrices del CAD (2002) sealan la falta
de necesidades bsicas cubiertas (educacin, sanitarias, saneamiento, ropa, vivienda,
alimento y agua potable), la pobreza en su dimensin socio-cultural o el conjunto de
discriminaciones en derechos y oportunidades por ser mujer o indgena, el poder
expresarse en la propia lengua, celebrar sus costumbres y ritos, el abandono sufrido por
los ancianos y los nios y nias... toda esa dimensin a la que elocuentemente se refera
Adam Smith cuando deca que ser pobre es sentir vergenza de aparecer en pblico (por
la forma de vestir, la falta de dominio de una lengua que no es la nativa, ser analfabeto,
etc.). Otra dimensin sobresaliente de la pobreza es la poltica. En las obras
mencionadas abundan los testimonios de personas pobres que se quejan de la
discriminacin poltica que sufren y que bien pueden resumirse en la incapacidad para
influir y participar de forma directa en las decisiones que afectan directamente a sus
vidas. La falta de sufragio universal en muchos pases o por el contrario el voto
obligatorio bajo penas de multa o retirada de derechos-; la falta de representacin
popular en comits y organismos directivos sean empresariales, sindicales o cvicos; la
falta de instancias seguras e independientes donde poder reclamar abusos o sobornos;
toda la violencia ejercida sobre los pobres por los poderes pblicos (polica, ejrcito,
paramilitares, funcionarios que extorsionan e inculcan derechos civiles bsicos...). No
hay duda de que la pobreza tiene una dimensin poltica y que hay polticas que
permiten y refuerzan la existencia de la pobreza.
Por ltimo, la dimensin de falta de seguridad y alta vulnerabilidad de los pobres, tanto
a catstrofes humanitarias por guerra, persecucin poltica, refugiados y desplazados,

17

Vanse CAD (2002), NARAYAN, D. (2000),. NARAYAN, D. et al. (2002), NARAYAN, D. y


PETESCH, P. (eds.) (2002).

CAP. 1 LA POBREZA

26

como por catstrofes naturales donde las peores consecuencias de los terremotos,
inundaciones, incendios, huracanes o tsunamis las sufren siempre los pobres.
La figura 1 sintetiza de forma grfica estas cinco dimensiones, aadiendo los tres
enfoques horizontales o transversales que deben incorporarse a una estrategia completa
de reduccin de la pobreza.
Figura 1. Las dimensiones de la pobreza.
VULNERABILIDAD,
INSEGURIDAD

ECONMICA

GNERO
MEDIO AMBIENTE
INSTITUCIONES

NECESIDADES
BSICAS

POLTICA

SOCIOCULTURAL

Dos estudios recientes han profundizado en la dimensin cuanti-cuali-tativa de la


pobreza con una caracterizacin que resulta de gran inters y que sintetizamos a
continuacin.
3.1 Dnde estn y qu necesitan los ms pobres?
En el estudio de Ahmed et al. (2007), los autores profundizan en las caractersticas
sociales y geogrficas de las personas que disponen de menos de un dlar al da como
ingreso y lo hacen en tres fases. Primero dividen el grupo de personas con esos pocos
ingresos en tres grupos, tanto de renta como de consumo de caloras por da. Despus,
caracterizan cualitativamente al colectivo de los ms pobres entre los pobres, para
terminar ofreciendo cinco campos en los que debera centrarse la lucha contra la
pobreza. El contenido esencial de cada fase es el siguiente.
En primer lugar, respecto al ingreso monetario, clasifican a las personas que tienen
menos de un dlar al da en tres grupos: los pobres subyacentes ya que poseen un

CAP. 1 LA POBREZA

27

intervalo de ingreso de entre (1-0,75) dlares diarios; los pobres medios con ingresos
entre (0,75-0,5) dlares diarios; y los ultra pobres acotados entre (0,5-0) dlares de
ingreso diario18. Los autores estiman en 162 millones de personas todos los ultra pobres
del mundo. Si los concentrramos en un solo pas, ese sera el sptimo pas ms
habitado del planeta. Geogrficamente, ms de las partes de este grupo viven en
frica Subsahariana, nica regin en la que son ms numerosos los ultra pobres que las
otras dos categoras. Desde 1990 a 2004 se han producido progresos en la reduccin de
la pobreza en Asia de Este (en las tres categoras) y en Asia del Sur (disminuyendo el
nmero de pobres medios y ultra pero aumentando los subyacentes). En frica, en
cambio, ha aumentado en las tres categoras. Esto conduce a los autores a cuestionar un
terico efecto lineal entre crecimiento econmico y reduccin de la pobreza. El
crecimiento no parece ser eficaz para sacar de la trampa de la pobreza los ultra pobres.
Aplicando una misma tasa de crecimiento econmico a las tres categoras de pobres
monetarios, la reduccin en el nmero de ultra pobres debera haber sido del 3,6%,
mientras que en realidad ha sido del 1,4%, menos de la mitad de lo esperado. De nuevo
se detectan diferencias regionales. Mientras que en Asia del este el crecimiento ha
reducido la pobreza en todos sus tramos, en frica Subsahariana, el crecimiento
econmico ha sido claramente incapaz de reducir el nmero de los ultra pobres.
En segundo lugar, los autores estudian las caractersticas y evolucin del hambre. De
nuevo es frica Subsahariana la que experimenta peores resultados en indicadores
como la mortalidad infantil y el peso insuficiente en los menores de cinco aos. En esta
regin es donde se comprueba mayor correlacin entre pobreza y desnutricin. El Sur
de Asia es la regin donde contina habiendo mayor prevalencia de desnutricin
infantil. Los investigadores crean tres intervalos para estudiar la profundidad de la
desnutricin. Hambre subyacente es aquella comprendida en una ingesta diaria de
entre las 2.200-1.800 caloras. Hambre media es la comprendida entre las 1.800-1.600
caloras. Y ultra hambrientos son las personas con un consumo diario inferior a las
1.600 caloras, con alto riesgo de muerte por inanicin. En Asia y Amrica Latina
existen tantos ultra hambrientos como de las otras dos categoras, pero los ms
hambrientos predominan en frica, llegando a porcentajes tan escandalosos como el
60% de la poblacin en Burundi.

18

Ms precisamente los intervalos de los tres grupos son [1,08-0,81), [0,81-0,54) y [0,54-0] dlares
diarios considerados en Paridad de Poder de Compra de 1993, que es la utilizada por el Banco Mundial.

28

CAP. 1 LA POBREZA

En tercer lugar, el estudio caracteriza a los ms pobres y hambrientos con cinco rasgos:
estn excluidos de los grupos sociales, viven en zonas remotas y alejadas, no poseen
educacin, ni activos, ni tierra. En una muestra de 20 pases, encuentran que los pobres
monetarios son hambrientos, aunque no todos los hambrientos tienen un ingreso inferior
al dlar diario.
Los ms pobres y hambrientos viven en zonas rurales, a pesar de que la tendencia
mundial hacia la urbanizacin hace que la pobreza urbana crezca cada vez ms. Pero en
las zonas rurales hay 2,4 veces ms pobres subyacentes que en las zonas urbanas; 2,7
veces ms pobres medios y 4 veces ms ultra pobres.
Los ms pobres viven alejados de las carreteras, mercados, escuelas y servicios de
salud. Los ultra pobres tienen 4 veces menos probabilidad de estar conectados tanto
por infraestructuras como por acceso a electricidad, que aquellos que tienen un dlar
diario de ingreso.
Los ultra pobres, no poseen estudios ni educacin. Entre los adultos, la proporcin de
varones sin educacin es el doble entre los ultra pobres que entre los que poseen un
dlar de ingreso y en pases como Vietnam o Nicaragua, hasta tres veces menos. La
desigualdad se exacerba en las mujeres. El 92% de las ultra pobres en Bangladesh
carece de escolarizacin frente al 49% con ingresos iguales a 1 dlar diario. Entre los
nios, el problema se convierte en crculo vicioso intergeneracional. En India, slo el
48% de los ultra pobres accede a la escuela, frente al 81% de los nios en hogares con 1
dlar diario. Esta diferencia porcentual entre los nios pobres escolarizados y los ultra
pobres es del 30% en Vietnam, el 28% en Ghana y el 24% en Burundi.
No existe un patrn tan generalizado para el caso de carencia de tierra entre los ms
pobres. En Asia, los que carecen de tierra son pobres. Por ejemplo, en Bangladesh, el
80% de los ultra pobres carece de tierra. Pero no es as en otras zonas del mundo. En
Latinoamrica, hay ms pobres sin acceso a tierra dentro de los que tienen 1 dlar diario
o ms, que entre los que estn por debajo de ese umbral. En frica Subsahariana, los
pobres suelen tener una pequea parcela en propiedad, aunque carecen de acceso a
mercados complementarios como el crdito o los insumos para el cultivo.
Otro dato de inters que aporta el estudio, es que en la veintena de pases estudiados
ms a fondo, siempre encuentran grupos con una prevalencia de pobreza y desnutricin
diferencial. Ya sean las etnias minoritarias de las tierras altas de Laos o Vietnam, los
tamiles en Sri Lanka, las castas ms bajas de la India o los indgenas en Amrica,
siempre se confirma que an dentro de los pobres estimados bajo ingresos o caloras

CAP. 1 LA POBREZA

29

diarias, hay grupos de marginados que concentran la miseria y desesperacin que


conlleva la pobreza. Y dentro de estos grupos, las mujeres ya sean casadas o cabeza de
familia- siempre arrojan una sobrerepresentacin en el perfil socioeconmico de la ultra
pobreza.
El estudio de Ahmed et al. (2007) dedica un captulo al anlisis de las causas de la ultra
pobreza y las razones por las que la pobreza se hace de alguna forma hereditaria. Las
tres causas ms importantes que identifica la revisin de la literatura hecha por el
trabajo y confirmadas por la evidencia encontrada por los autores en los 20 pases
muestrales en los que profundizan son:
-

La localizacin geogrfica del hogar (pas y zona del pas pobre). La pobreza
tiene un importante componente geogrfico autorregresivo.

La presencia de trampas de pobreza, es decir, aquellas condiciones de las que


individuos o grupos no pueden salir por s mismos. En particular, identifican tres
trampas de pobreza muy comunes: la incapacidad de los pobres para invertir en
la educacin de sus hijos; la falta de acceso a crdito para adquirir los activos
ms bsicos; la baja productividad laboral de los malnutridos.

La exclusin de algunos grupos del acceso a recursos y mercados. La pobreza se


autoreproduce entre las castas, tribus o etnias minoritarias. Una enfermedad
puntual o la mala salud en general, hace que la situacin de esas personas que ya
de por s estn excluidas de la atencin sanitaria por ser pobres, se profundice y
se perpete an ms. Pensemos, por ejemplo, en lo que supone la falta de unas
figuras parentales en los 12 millones de nios hurfanos africanos por el SIDA
(40 millones en 2010 segn las previsiones UNICEF)19. No slo es que la
probabilidad de estar contagiado o tener enfermedades oportunistas en esos
nios sea muy alta, sino que en esos hogares se ha cortado la cadena de
informacin y educacin ms esencial para la supervivencia que es cmo se
cultiva o se cuida del ganado. Nada puede sustituir esa formacin que se
transmite en la prctica diaria de padres a hijos.

Los autores terminan su estudio llamando la atencin sobre la importancia de focalizar


las polticas sobre los ms pobres. Las cinco reas de accin ms importantes en funcin
de la caracterizacin realizada son la promocin del acceso a mercados y servicios
bsicos en las reas rurales ms alejadas y remotas; la provisin de seguros y atencin

19

http://www.unicef.es/contenidos/527/index.htm

CAP. 1 LA POBREZA

30

en salud bsica; la prevencin de la malnutricin infantil; la inversin en educacin y


capital fsico para aumentar los activos; evitar la exclusin de los grupos ms
marginados y desfavorecidos.
Estas polticas slo pueden disearse con garantas si se cuenta con una informacin
cuantitativa cuidadosamente recogida, en la que el contexto sea un factor relevante de
forma permanente y levantada a tiempo.
Sorprende que la ayuda internacional no parezca ajustarse a estas prioridades
sectoriales. El porcentaje de ayuda destinada a estas polticas en 2006 fue el siguiente:
Tabla 7. Distribucin sectorial de la ayuda al desarrollo, 2006.
Sector CAD

% del total AOD del CAD

Produccin agrcola (proxy a desarrollo rural)

2,9%

Salud bsica

2,9%

Malnutricin infantil

--

Educacin bsica

2,9%

Capital fsico e infraestructuras

11,4%

Fuente: OECD-DAC. Statistical Annex of the 2007 Development Co-operation Report. Tabla 19.

Este dato ya constituye un primer indicador de que la ayuda no es un instrumento


focalizado a reducir la pobreza, ni la pobreza extrema. El porcentaje de la ayuda
destinado a lo que los estudios expresan como prioritario para los pobres apenas supuso
el 20% del flujo total de ayuda al desarrollo contabilizado por el Comit de Ayuda al
Desarrollo de la OCDE. La visin completa nos la ofrece la distribucin sectorial por
grandes agregados sectoriales de la ayuda en 2006, que fue la siguiente:
Tabla 8. Distribucin sectorial de la ayuda del CAD en 2006.
SECTOR
Infraestructura Social y Administrativa
Infraestructura Econmica
Produccin
Multisectorial
Ayuda por Programas
Acciones relacionadas con la deuda externa
Ayuda Humanitaria
Gastos Administrativos
Sin especificar
TOTAL

% AOD total del CAD


34,9
11,4
4,8
5,8
3,1
22,6
6,9
4,1
6,4
100,0

Fuente: OECD-DAC. Statistical Annex of the 2007 Development Co-operation Report. Tabla 19.

CAP. 1 LA POBREZA

31

Como vemos, la segunda partida ms importante tras la ayuda a infraestructura social y


administrativa fue la de deuda externa, que algunas organizaciones no gubernamentales
(como ActionAid 2005) consideran ayuda fantasma ya que no supone realmente un
nuevo desembolso de recursos para mejorar la vida de los pobres, sino una operacin
financiera que representa un alivio contable para el pas receptor pero cuyos efectos
difcilmente llegan a notar las personas bajo condiciones de pobreza extrema atrapadas
en alguna de las trampas arriba mencionadas.
3.2 Qu sabemos de la vida econmica de los pobres?
El segundo estudio caracterizador de la vida de los pobres al que aludimos ms arriba es
el de Banerjee y Duflo (2006). La metodologa utilizada ha sido el anlisis de las
encuestas de hogares de 14 pases20, comparando las respuestas obtenidas de aquellos
cuyo ingreso era inferior a uno y dos dlares al da. El estudio se organiza en torno a
cuatro aspectos de inters: cmo gastan su dinero los pobres, cmo lo ganan, su entorno
econmico o el acceso que tienen a los mercados de crdito, seguros, ahorros o tierra y,
por ltimo, las infraestructuras que tienen o carecen (agua potable, saneamiento,
escuelas y hospitales). Siguiendo esta misma estructura, sintetizamos sus principales
hallazgos que nos permiten ver cmo viven econmicamente- los pobres monetarios o
de ingreso.
A. La estructura de gasto (o consumo) de los pobres.
La informacin proporcionada por las encuestas de hogares sostiene que los pobres
destinan entre el 50-75% de su ingreso al consumo de alimentos. La proporcin ha ido
disminuyendo a lo largo del tiempo (por ejemplo en India ha pasado del 70% en 1983 al
62% en 2000). No existen grandes diferencias en los porcentajes dedicados a los
alimentos entre los hogares con uno o dos dlares diarios de ingreso. Tampoco entre los
que viven en zonas urbanas o rurales. El rango de la muestra vara entre el 81,7% de los
pobres urbanos de Papa Nueva Guinea y el 49,6% de los rurales de Mxico. Se ha
comprobado adems que la elasticidad renta del gasto en caloras tiende a ser del 0,5. Es
decir, los pobres eligen bien no slo qu consumir como alimentos (ms calricos como
el azcar) sino que tienden a consumir los cereales cuyo precio es ms elevado y quiz
con mejor gusto o culturalmente ms apreciado.

20

Los pases son cinco de Amrica Latina (Guatemala, Mxico, Nicaragua, Panam y Per); tres de
frica Sub-Sahariana (Coste de Marfil, Sudfrica y Tanzania); cuatro de Asia (dos departamentos de la
India, Indonesia, Timor y Pakistn) y uno de Oceana (Papa Nueva Guinea).

32

CAP. 1 LA POBREZA

Entre los bienes no alimentarios a los que se destina el ingreso de los pobres, las
encuestas recogen informacin sobre alcohol y tabaco, ocio (televisin, radio),
transporte (bicicleta), festivales, educacin y salud.
En la mayora de los pases, el segundo servicio al que se destina ms proporcin de
ingreso es la educacin. Quiz para los estndares de los pases desarrollados sorprenda
que el mximo muestral de este servicio es un 7,6% del presupuesto de los hogares
urbanos con ingresos inferiores a dos dlares, correspondientes a India e Indonesia. El
mnimo es el 0,1% de los rurales de Guatemala con menos de un dlar diario. La razn
principal no es que los nios no acudan a la escuela (en todos los pases supera el 50% y
en la mitad de ellos el porcentaje de escolarizacin de las nias es del 75% y del 80% en
los nios). La razn es que la mayora acude a escuelas pblicas donde no hay que
pagar matrculas. Existen estudios como el de Tooley y Dixon (2006) que revelan un
paulatino aumento de la escolarizacin privada entre los ms pobres, debido a la baja
calidad y alto absentismo de los profesores en las escuelas pblicas.
Por lo que respecta al gasto en salud, la dispersin es muy alta. Frente al mximo del
13,1% del ingreso de los hogares urbanos de Panam con menos de dos dlares al da,
el mnimo es del 0% en Mxico, Sudfrica o Papa Nueva Guinea. La correlacin entre
enfermedad y bajo consumo calrico es alta. Segn la OMS, el 65% de los varones y
40% de las mujeres en los hogares sufre anemia y posee un ndice de masa corporal por
debajo del estndar. En Udaipur, por ejemplo, el 72% de los encuestados revel haber
estado enfermo en el ltimo mes. En los hogares con menos de un dlar al da de
Nicaragua y Mxico, haba un miembro enfermo en el 35% y 45% de los casos y entre
el 21-28% de los hogares en Pakistn, Indonesia y Costa de Marfil. En resumen, la
morbilidad entre los pobres es muy alta. Los escasos recursos que disponen para
afrontar gastos mdicos, hace que el porcentaje de gasto destinado a alimentacin o
educacin -que son los ms altos- disminuya, acentuando la trampa de pobreza de la
desnutricin-enfermedad-baja educacin.
A alcohol y tabaco se destina muy poco presupuesto. El porcentaje vara entre el 0,1%
de los hogares rurales de Nicaragua con menos de un dlar diario y un mximo del
8,1% de los de Mxico.
Una de las sorpresas del estudio es la alta proporcin de gasto destinado a los festivales
y celebraciones familiares (funerales, bodas o actos religiosos) entre los pobres. El
mximo se encuentra en el estado indio de Udaipur, que revela que un 14% del
presupuesto de los hogares rurales con menos de un dlar diario y un 15% entre los de

CAP. 1 LA POBREZA

33

dos dlares, se destina a este fin. El porcentaje desciende despus en torno al 3% en


Sudfrica y Costa de Marfil y es nulo en la mayora de los pases de Amrica Latina
contenidos en la muestra. Las encuestas revelan, adems, que el 90% de los hogares
sudafricanos con ingresos inferiores a un dlar diario realiza algn gasto en festivales.
En Pakistn, Indonesia y Costa de Marfil ese dato supera el 50% de los hogares ms
pobres.
El menor porcentaje, entre los bienes y servicios analizados, es el que se destina a fines
de ocio y entretenimiento (cine, video, teatro). Muchos hogares revelan destinar el 0% y
el mximo muestral es el 3,4% de los pobres urbanos de Papa Nueva Guinea con
ingresos inferiores a los dos dlares. Los autores detectan cierta correlacin inversa
entre los hogares que tienen televisin o radio y el gasto en festivales. Por ejemplo, en
Nicaragua que el 57% de los hogares posee radio y el 20% TV, el gasto reportado en
celebraciones es del 0%. Por contraste, en Udaipur slo el 15% de los hogares posee
radio o TV y quiz por eso el gasto en celebraciones sea del 15%. En todos los pases
muestrales, hay ms probabilidad de encontrar TV en los hogares urbanos que en los
rurales. La posesin de radio o TV se eleva mucho entre los hogares con dos dlares
diarios de ingreso frente a los de un dlar.
En resumen, podemos ordenar la funcin de utilidad del gasto de los pobres notando
que al menos la mitad de su presupuesto se destina a alimentacin, seguido de la
educacin (5-7%), salud (3-4%), celebraciones (2%), alcohol y tabaco (2-3%) y, por
ltimo, ocio y entretenimiento (0,2-0,3%).
Hasta aqu hemos hecho referencia a los bienes y servicios que los pobres pueden
comprar. Ahora vamos a analizar los activos que los pobres tienen en propiedad.

B. Los activos en propiedad de los pobres.


El estudio de Banerjee y Duflo (2006) ha analizado el porcentaje de hogares que poseen
radio, televisin, bicicleta y tierra.
Una gran diferencia internacional se produce en la posesin de tierra. Mientras que es
muy frecuente poseer una parcela de tierra en propiedad en Asia, es infrecuente en las
dems regiones. El 99% de los pobres con menos de un dlar al da de India-Udaipur
posee parcela propia adems de en la que trabaja. El porcentaje se reduce al 1,4% en
Sudfrica o el 4% en Mxico. En el resto de los pases, encontramos una gran
dispersin: 30% en Pakistn, 37% en Guatemala, 50% en Nicaragua e Indonesia o 65%
en Costa de Marfil y Per, 85% en Panam. Obviamente la proporcin es siempre ms

34

CAP. 1 LA POBREZA

elevada entre los pobres rurales que en los urbanos, pero no hay gran varianza entre los
que disponen de uno o dos dlares de renta. La mayora de las parcelas son muy
pequeas (1-2 hectreas en Per, Tanzania o Pakistn y 2-3 Ha. En Nicaragua, Costa de
Marfil o Panam). Adems muy pocas suelen ser de la calidad suficiente como para ser
cultivables durante todo el ao.
Un segundo bien relativamente abundante entre los pobres es tener vivienda, pero hay
poca informacin detallada sobre los bienes que albergan. En Udaipur, donde la
encuesta s dispone de esta informacin, abundan los hogares con cama, silla, mesa y
con una radio y bicicleta, pero escasean la TV y el telfono. Menos del 1% tiene acceso
a electricidad. Tampoco suelen poseer activos necesarios para el cultivo como bueyes,
tractores, semillas mejoradas o fertilizantes.
Entre los hogares que disponen de radio o TV existe una fuerte dispersin entre pases.
El 83% de los pobres urbanos de Per con dos dlares (78% con menos de un dlar) y
el 77% de los pobres rurales con dos dlares (74% con un dlar) poseen radio. Pero el
porcentaje desciende al 0% en Papa y 11% en India-Udaipur entre los pobres con
menos de un dlar y 13% de Timor entre los hogares con dos dlares de renta.
La bicicleta es un tercer activo relativamente abundante entre los pobres, tras la tierra y
la radio. La poseen -como mximo muestral- un 58,5% de los hogares de Costa de
Marfil con menos de un dlar diario y como mnimo- un 1% en Timor. Suele ser ms
abundante en los hogares rurales que en los urbanos, aunque hay excepciones notables
(por ejemplo en Pakistn el 40% de los hogares ms pobres urbanos posee bicicleta y
solo el 27% de los rurales). La bicicleta es un bien que apenas marca una diferencia
entre los ingresos de dos dlares y un dlar.
En cambio, la televisin s puede jugar ese papel diferenciador. Los porcentajes entre
pases vuelven a ser muy diversos. El 70-75% de los pobres urbanos con dos dlares de
ingreso de India y Panam, establecen el mximo muestral. En el extremo opuesto, entre
el 0-0,6% de los hogares con TV se encuentran Papa, Tanzania y Timor. Vivir en zona
urbana y poseer dos dlares diarios de ingreso aumenta mucho la probabilidad de poseer
TV, frente a tener slo un dlar o vivir en zona rural. Por ejemplo, dentro del rea rural,
se pasa del 14% al 45% en Costa de Marfil por tener dos dlares de ingreso frente a uno
slo, del 7 al 17% en Sudfrica o del 10 al 21% en Per.
En resumen, excepto en Asia, los pobres no suelen tener tierra en propiedad y muy
pocos hogares tienen TV, aunque es ms frecuente que posean radio y una bicicleta. De
todas formas, lo ms acentuado es la gran dispersin que existe entre los pases, zonas

CAP. 1 LA POBREZA

35

de residencia rural o urbana e ingreso diario. Ms que las medidas de tendencia central,
lo que destacan son los estimadores de dispersin. Esto hace que se deba ser
extremadamente cauteloso a la hora de generalizar y trazar un perfil econmico de los
activos que poseen los pobres en el mundo, como muestra la siguiente tabla-resumen.
Tabla 9. Dispersin de los activos en propiedad de los pobres.
Tierra
Radio
99% India83% Per-urbanaMximo
Udaipur-rural-1 $
2$
diario
0% SudfricaMnimo
0% Papa-rural-1$
urbana-1$ y
Panam-rural- 2$
Fuente: Banerjee y Duflo (2006), Tabla 3.

Bicicleta
58% Costa de
Marfil-urbana-1$
0% Panam-rural1$

TV
75% IndiaHyderabad-urbana2$
0% Papa y
Tanzania-rural-1$

C. Las fuentes de ingreso de los pobres.


En qu trabajan y se ocupan los pobres? El estudio de Banerjee y Duflo (2006) ofrece
tres reas de trabajo: el autoempleo, el trabajo por cuenta ajena y los ingresos por la
migracin. La nota dominante de la informacin de las encuestas de hogares sigue
siendo la alta varianza. A continuacin ofrecemos algunas de las notas dominantes que
nos parecen ms ilustrativas.
Los pobres se autoemplean mucho ms que los no pobres. Esto es cierto tanto para las
zonas rurales (autoempleo agrcola) como las urbanas (microempresas). El 60% de los
peruanos y 50% de los indonesios urbanos con ingresos inferiores a dos dlares es
microempresario no agrcola. Entre los autoempleados en la agricultura, encontramos
valores que van desde el 98% en India-Udaipur, tengan uno o dos dlares de ingreso,
hasta un mnimo del 0-0,7% en Sudfrica o el 5-7% del Mxico rural y Per urbano con
ingresos menores a un dlar diario.
La mayora de los pobres tiene mltiples ocupaciones y fuentes de ingreso familiar. El
47% de los hogares de Costa de Marfil o Indonesia obtienen ingresos de varias fuentes.
Frente a ellos, slo el 9% en Nicaragua o Timor. La ocupacin mltiple es ms
frecuente en las zonas rurales que en las urbanas. Trabajar la tierra para otro, es muy
poco frecuente entre los pobres (slo un 1%) y menos del 20% consigue vivir u obtiene
su principal fuente de ingreso cultivando su propia tierra. La familia mediana de la
muestra mostrara una familia con tres de sus miembros trabajando y siete ocupaciones.
En sntesis, los pobres trabajan, trabajan mucho como autoempleados y para otros, y en
mltiples ocupaciones. Pero an as, sus ingresos son muy bajos y vulnerables y la

36

CAP. 1 LA POBREZA

mayora de las ocupaciones por cuenta ajena las encuentran fuera de sus zonas de
residencia, es decir, emigran.
El 60% de los hogares ms pobres seala poseer al menos un miembro de la familia
emigrado temporalmente. El 20% posee a ms de un miembro y en el 58% de los casos,
quien est emigrado es el cabeza de familia. El periodo migratorio oscila entre los 40
das de media y 30 de mediana. Slo el 10% de los migrantes est fuera ms de 3 meses.
La mayora no va muy lejos. El 28% permanece dentro de su distrito (normalmente se
dirige a la capital distrital). La mayora de los movimientos migratorios se repiten ms
de una vez al ao, aprovechando la poca de menor trabajo agrcola.
Pero tambin abundan los hogares pobres, normalmente urbanos, en los que no hay
miembros emigrados. Slo el 5-10% de esos hogares de Pakistn, Costa de Marfil, Per
o Nicaragua tiene algn miembro emigrado.
Por lo que se refiere a la escala de los negocios de los pobres, es muy pequea. La ratio
empleados/nmero de negocios entre los pobres es del 0,14 en Nicaragua, 0,53 en
Panam, 1,4 en Per y 2,6 en Costa de Marfil. La mayora son empleados de la misma
familia. Su dotacin de capital fsico es tambin muy pequea. El operar en estas
condiciones de pequea escala, complica mucho su rentabilidad y su supervivencia en el
medio plazo.

D. El acceso a los mercados de los pobres.


Las encuestas de hogares permiten analizar el acceso de los pobres a servicios bsicos
como el crdito, ahorro, seguros y a un bien fundamental para su economa como es la
tierra.
En primer lugar y, por lo que se refiere al acceso al crdito, en los estados de la India de
Udaipur (zona rural) y Hyderabad (zona urbana) entre el 66-70% de los pobres tena al
menos un crdito. El mximo muestral lo presenta Pakistn con porcentajes del 95%,
tanto en mbito rural como urbano y para los hogares con uno o dos dlares diarios de
ingreso. Una posible explicacin de altas elevadas tasas de acceso al crdito es la
correlacin con la posesin de tierra en propiedad que se utiliza como garanta. Los
porcentajes descienden mucho para los pases muestrales de Iberoamrica: un 2% en
Panam, un 18-20% en Mxico o un 8-15% en Per, segn consideremos zona rural
normalmente menor- o urbana. En frica slo se disponen de datos para Sudfrica y
Costa de Marfil, situndose entre el 27% como menor en la zona urbana de Sudfrica
para los hogares con un dlar diario y el 43% para la zona urbana y dos dlares de renta.

CAP. 1 LA POBREZA

37

En las zonas rurales hay menos hogares endeudados, posiblemente por la menor
presencia de instituciones microfinancieras. Los datos disponibles parecen confirmar
que la mayora de los prstamos son informales. El mximo porcentaje de crditos
concedidos por un banco se encuentra en Indonesia con un 40% para los pobres urbanos
con dos dlares de ingreso diario. La fuente ms abundante, sobre todo en Amrica
Latina, es el prstamo de algn familiar.
Los tipos de inters tambin presentan una fuerte variabilidad, pero tienden a situarse en
torno 3-3,5% mensual para los hogares de un dlar diario y del 2-2,5% para los de dos
dlares (aunque en Hyderabad llegan al 3,94%, al ser una zona urbana en la que los
pobres no poseen tierra para presentar como colateral). Las encuestas y diversos
estudios sectoriales confirman que, aunque suelen existir frecuentes retrasos en los
pagos, la morosidad final es muy baja entre los pobres21.
En segundo lugar y, por lo que se refiere a los mercados de ahorro, el principal reto de
los pobres, una vez conseguido el excedente, es encontrar productos financieros que les
proporcionen cierta rentabilidad. La mayora de los pobres extremos, no suele contar
con ningn medio de ahorro. La excepcin sobresaliente es Costa de Marfil, donde
segn la encuesta- el 80% de los hogares posee una cuenta de ahorro. Apenas se
aprecian diferencias en este campo cuando se comparan las zonas rurales y urbanas.
Una modalidad que parece estar teniendo cierto recorrido en India y algunos pases
africanos son los ahorros comunitarios y las cuentas de ahorro y crdito rotativas. El
sistema consiste en depositar muy pequeas cantidades de ahorro por familia que
componen el principal de microcrditos que rotan entre los miembros de esa
asociacin informal. A falta de entidades de crdito formales en las zonas alejadas y
poco pobladas, el depsito fsico del ahorro y del retorno del microcrdito suele
realizarse en los servicios de correos locales ms prximos.
En tercer lugar, dado que la aversin al riesgo disminuye con la riqueza, los productos
de seguro para los pobres pueden parecer muy costosos. En Udaipur, por ejemplo,
ninguno de los encuestados revel haber cubierto un riesgo de salud con un seguro en el
ltimo ao. Comparten este 0% de seguros de salud, los hogares de Panam. El caso
opuesto es el de Mxico, donde un 50% de los pobres rurales con menos de un dlar y
el 62% de los hogares con menos de dos dlares, declar tener seguro de salud. Los
porcentajes descienden al 25% (un dlar) y 33% (dos dlares) cuando nos trasladamos a
21

Vase, por ejemplo, el artculo de prxima publicacin Larr (2008) en la Revista de Economa
Mundial.

38

CAP. 1 LA POBREZA

las zona urbana. La otra excepcin es Indonesia, con seguros (pero no de salud) del 25%
entre los hogares urbanos con menos de un dlar frente al 6-7% de la zona rural.
De la muestra de cuatro pases con datos sobre la existencia de seguros de vida entre los
pobres, slo hubo datos distintos de cero para los dos estados de la India. El mximo fue
del 17% de hogares urbanos con dos dlares en Hyderabad y el mnimo el 3,8% de los
pobres rurales con menos de un dlar diario de Udaipur.
Dada la vulnerabilidad de los pobres a catstrofes naturales, gastos de enfermedad no
cubiertos por los sistemas sociales de sus pases y su trabajo, a menudo con altas dosis
de riesgo, la ausencia de seguros se hace especialmente gravosa, ya que deben financiar
estos gastos con desahorro o prstamos de los usureros. Tampoco existen seguros frente
a las malas cosechas, con lo que los aos de sequa quedan asociados a aumentos en la
mortalidad, especialmente infantil.
En definitiva, las redes de seguridad de los pobres son, en la mayora de los casos, los
fsicamente cercanos o los familiares, que normalmente tienen similares problemas
econmicos. Las iniciativas pblicas en estas dimensiones de la seguridad alimentaria,
amplia e integralmente entendida como lo hace la FAO, se hacen muestran
prioritarias22.
En cuarto y ltimo lugar, son de especial importancia para los pobres los mercados de
tierra. Ya se ha comentado cmo la posesin de tierra en propiedad es ms frecuente en
Asia y frica que en Amrica Latina. Un problema adicional a la falta de posesin de
tierra es que, a menudo, los propietarios no poseen ningn ttulo que muestre y
garantice esa propiedad. Eso dificulta su uso para realizar transacciones sobre ese bien e
impide que sea utilizada como colateral para prstamos hipotecarios o de consumo. Los
pobres deben dedicar mucho tiempo y recursos a obtener y defender su propiedad, como
han mostrado los trabajos de Hernando de Soto23. Tambin hay evidencias de que la
productividad de la tierra es menor bajo regmenes colectivizados que privados y que
reformas dirigidas hacia crear incentivos individuales para la retencin de los
rendimientos personales del trabajo de la tierra, reducen la pobreza. El ejemplo quiz
ms claro ha sido el de China, como han expuesto Ravallion y Chen (2004). Por su
parte, Shaban (1987) muestra cmo la productividad de las tierras en rgimen
22

La Cumbre de Naciones Unidas sobre la Alimentacin de Roma 1996, defini que se entiende por
seguridad alimentaria la situacin en la que todas las personas tienen en todo momento acceso fsico y
econmico a suficientes alimentos inocuos y nutritivos para satisfacer sus necesidades alimenticias y sus
preferencias en cuanto a alimentos para llevar una vida activa y sana.
23
Por ejemplo, DE SOTO, H. (2001).

CAP. 1 LA POBREZA

39

compartido en India Central fue entre un 16-32% menor que la cultivada en rgimen de
propiedad privada. De todas formas, el rgimen de propiedad comunal es un signo de
fuerte identidad en varias etnias y comunidades indgenas que contrasta con el
predominio individual de las actividades econmicas occidentales. No parece que
deba ser la productividad el nico criterio para decidir el rgimen de propiedad. As lo
reconoce, por ejemplo, la Declaracin Universal de los Derechos Humanos que en su
art. 17.1 dice toda persona tiene derecho a la propiedad, individual y colectivamente.

E. El acceso a infraestructuras bsicas de los pobres.


El trabajo de Banerjee y Duflo (2006) que comentamos permite conocer el acceso de los
pobres de los 14 pases muestrales a agua dentro de sus casas, letrinas o sanitarios y
electricidad.
En primer lugar, el mayor acceso se produce en la electricidad, aunque la dispersin
vuelve a ser muy grande. Hay hogares con 95-100% de acceso a luz (Indonesia,
Mxico, Pakistn zona urbana) y hogares con 0-2% de acceso (Panam, Papa Nueva
Guinea, Tanzania). Hay menos acceso en las zonas rurales que en las urbanas.
En segundo lugar, a excepcin de India-Udaipur (rural) con 0-0,5% de acceso a
sanitarios o letrinas, los porcentajes presentan menos varianza. Pases con muy alto
acceso son Papa (92-95%) y Tanzania (93-97%).
En tercer lugar, disponer de agua en el hogar es el servicio menos frecuente. El mximo
se da en Per-urbano (73%) aunque en las zonas rurales desciende al 25-30%. En
muchas zonas el acceso es menor al 5% (India-Udaipur, Papa, Sudfrica, Tanzania,
Timor) sobre todo en las zonas rurales y para los hogares con menos de un dlar al da.
En cuarto lugar, la correlacin entre los tres servicios no es muy alta. Por ejemplo, en
Indonesia el 97% de los pobres rurales con menos de un dlar tienen luz, pero slo el
6% agua en sus casas.
En quinto y ltimo lugar, el acceso a los servicios es ms frecuente en las zonas urbanas
que en las rurales, pero tambin hay excepciones. En Costa de Marfil, los pobres
extremos tiene mayor acceso en las zonas rurales que en la urbanas: 12% frente al 1,5%
en agua; 27% frente al 11% en letrinas; 45% frente al 9% en electricidad.

F. Conclusiones sobre la vida econmica de los pobres.


Los datos de las encuestas de hogares nos aportan las dificultades que enfrentan los
pobres en los distintos pases. Quiz la conclusin ms relevante para nuestro estudio es

CAP. 1 LA POBREZA

40

comprobar que en todas las variables medidas, lo que resulta ms comn es la


diferencia o la dispersin tan fuerte entre pases. Es decir, lo ms claro es que la pobreza
multidimensional es muy variada entre pases. Que no tiene mucho sentido tratar de
hablar de forma global de los pobres, porque las diferencias en sus situaciones y
necesidades concretas son muy variadas. Hay diferencias entre pases y dentro los
pases. Entre las zonas urbanas y rurales. Entre los que obtienen un ingreso menor a un
dlar diario y los que consiguen obtener el doble. Hay carencias en todos los pobres,
pero unos necesitan mejorar ms la salud que la educacin, la nutricin antes que el
acceso al crdito, los medios de transporte despus del acceso al agua, saneamiento o
electricidad.
Otra conclusin que se deriva de este estudio es que la informacin derivada de las
encuestas de hogares es muy til para los diagnsticos sobre la pobreza. No estoy
seguro que esta informacin est lo suficientemente explotada dentro de la cooperacin
para el desarrollo o a la hora de identificar necesidades y formular proyectos de ayuda.
Las estrategias nacionales de lucha contra la pobreza (los PRSP en su versin de
acrnimo en ingls), deberan ser el volcado de las necesidades recogidas en las hogares
y la fijacin de las prioridades que los propios pobres han revelado en las encuestas,
clasificadas en un nivel de agregacin geogrfica eficiente para la formulacin de las
polticas pblicas contra la pobreza.
La principal consecuencia que se deriva del hecho de la dispersin, es la necesidad de
estudiar las causas, caractersticas, necesidades y acciones contra la pobreza de forma
muy pegada al terreno, a lo micro. Quiz la dimensin ms eficiente para estudiar la
eficacia de acciones contra la pobreza sea la comunidad y no tanto el pas. Cuanto ms
nos elevamos en el nivel geogrfico de agregacin, ms error acumulamos a la hora de
generalizar intervenciones y juicios sobre su eficacia contra la pobreza. Si la pobreza es
dispersa en el sentido estadstico del trmino, no conviene demasiado centrarse en los
promedios. Esta idea ser importante ms adelante cuando analicemos los estudios
macro sobre la eficacia de la ayuda al desarrollo en su lucha contra la pobreza mundial.

4.

CONCLUSIONES PRELIMINARES.

Hemos visto las dificultades tcnicas para medir la pobreza. La realizacin de encuestas
de hogares es la informacin primaria ms comn pero es costosa, consume tiempo y

CAP. 1 LA POBREZA

41

recursos y su interpretacin est sujeta a muchos matices y elecciones metodolgicas


que deben explicitarse cuando se aporten las cifras de pobreza.
No disponemos de un sistema comn que nos permita tener certeza cientfica del
nmero de pobres que hay en el mundo y en cada pas en desarrollo. Si no sabemos
cuntos pobres hay, ni disponemos an de un sistema integrado que permita su
comparacin rigurosa en el tiempo, no ser posible responder de forma inequvoca a la
cuestin emprica de si la ayuda al desarrollo reduce la pobreza.
Puede que detectemos reducciones en los pobres de aquellos pases que cuenten con
ms frecuentes y mejores encuestas o sistemas de contabilidad nacional. Pero,
podremos atribuir esa reduccin a la ayuda al desarrollo?
Esto recuerda las tricky questions que plantea Kanbur (2004) y ampla Sumner
(2007):
-

si el nmero total de pobres cae en un pas, pero su proporcin sobre la


poblacin total sube, la pobreza en ese pas ha subido o bajado?

si se registra un disminucin en el nmero de pobres en un pas debido a su


muerte por hambruna, enfermedad u otra causa, ha sido eficaz la lucha contra la
pobreza en ese pas?

si la pobreza de un grupo de poblacin de un pas disminuye pero sube en otro,


hay ms o menos pobreza?

si aumenta el acceso a males privados (drogas, tabaco, alcohol) o pblicos


(contaminacin, inseguridad), pero se registran menos pobres monetarios, se
est ganando o perdiendo en la lucha contra la pobreza?

Estas son slo una muestra de las dificultades no solo tcnico-cuantitativas, sino
tambin cualitativas derivadas de la multidimensionalidad que caracteriza a la pobreza y
a las que nos enfrentamos bajo la sencilla pregunta de si la ayuda al desarrollo reduce la
pobreza o juzgamos su eficacia.

42

CAP. 1 LA POBREZA

Anexo 1. La comparacin internacional de precios mediante tipos de cambio en Paridad


de Poder Adquisitivo (PPA).
La elaboracin de tipos de cambio en Paridad de Poder Adquisitivo (PPA) es un proceso
fundamental para poder comparar lneas de pobreza entre pases. Al utilizar distintas
monedas, los precios de los productos incluidos dentro de un cesta homognea de productos
que componen el mnimo vital (lnea de pobreza), deben reducirse a una unidad monetaria
comn para ser comparables. No podemos comparar lneas de pobreza expresada en rupias
indias, yuanes chinos o bolvares venezolanos. La moneda de referencia comn ms utilizada
hoy da es el dlar estadounidense. Utilizar el tipo de cambio nominal sera una posibilidad,
pero tiene varios inconvenientes. Al ser el precio resultante de la oferta y demanda de cada
divisa con respecto al dlar, ste precio est reflejando slo la oferta y demanda de bienes
comercializables internacionalmente. Adems, el grado de apertura (volumen de
exportaciones e importaciones del pas) ser un peso determinante en este precio. Pero los
pobres, ni suelen participar en los intercambios internacionales (no suelen exportar ni
importar bines y servicios), ni consumen preferentemente bienes comercializables en los
mercados exteriores. Consumen bienes bsicos alimentos, bebidas, vestido, etc- y servicios
como el transporte local- que son no comercializables. En suma, el tipo de cambio nominal es
un precio resultante de un mercado al que los pobres casi nunca acuden.
Para salvar estas limitaciones, se construyen los tipos de cambio en PPA. En pura teora, el
tipo de cambio PPA es el cociente del nivel de precios de una cesta idntica de productos
entre un pas determinado el pas de referencia (Estados Unidos). Matemticamente se
expresa de la siguiente manera:
PPA = ai * (Pi /Pi*) siendo i una cesta de productos homogneos que se pueden observar en
la mayora de los pases del mundo.
El organismo internacional ms importante para elaborar las PPA entre pases es el Centro
Internacional para la Comparacin de Produccin, Renta y Precios de la Universidad de
Pennsylvania (Center for Internacional Comparisons of Production, Income and Prices,
University of Pennsylvania)24.
Los economistas Alan Heston, Robert Summers and Bettina Aten son los encargados de ir
actualizando de forma permanente esta base de datos internacional conocida como las Penn

24

Vase http://pwt.econ.upenn.edu/

CAP. 1 LA POBREZA

43

World Tables25. Sintetizamos a continuacin, los principales rasgos de la metodologa que


utilizan26.
Figura A-1. Esquema general de elaboracin de las PWT.

Fuente: ATEN, B. & HESTON, A. (2003).

El fin de las PWT es elaborar PPA para consumo que incluyan pesos especficos para los
pobres dentro de la cesta de bienes y servicios homognea sobre la que se recogern
observaciones de precios.
Una primera consideracin que hay que tener en cuenta es que en el sistema de contabilidad
nacional de Naciones Unidas creado en 1964 (System of Nacional Accounts, SNA-1964), se
recoga informacin sobre el Gasto en consumo final de los hogares, mientras que en la
versin actualizada de 1993 (SNA-1993) se recopila el Consumo final actual de los hogares
que incluye los gastos del gobierno e instituciones sin nimo de lucro en educacin y salud
directamente dirigidos a los pobres. Esto deber tenerse en cuenta para las comparaciones en
el tiempo de las rentas de los pobres.
Como se aprecia en la figura A-1, el Programa Internacional de Comparacin de Precios
distingue entre los pases en los que se logra o se logr alguna vez- observar directamente
los precios (denominados pases benchmark) de aquellos en los que no ha habido nunca esa
posibilidad (non-benchmark countries). Las primeras observaciones de precios tuvieron lugar

25
26

Vase http://pwt.econ.upenn.edu/php_site/pwt_index.php
Seguimos de cerca Aten & Heston (2003).

CAP. 1 LA POBREZA

44

durante 1967 y a partir de entonces, se han producido nuevas observaciones directas en cinco
ocasiones, aumentando el nmero de pases benchmark (tabla A-1).
Tabla 1. Evolucin del nmero de pases-benchmark para la elaboracin de las PWT.
Ao

N de pases

1970

16

1975

34

1980

60

1985

65

1996

113

Fuente: ATEN, B. & HESTON, A. (2003).

Adems de las sealadas en la tabla, hubo otra recopilacin -junto con el Banco Mundial- en
1993, pero la heterogeneidad de las metodologas empleadas y el desmembramiento del
bloque sovitico, aconsejaron no publicar ni usar los datos.
Las versiones de las PWT 6.0 y siguientes (la ms actual es 6.2 que ofrece datos para 188
pases)27 se forman a partir de la reconciliacin de datos provenientes de las observaciones
directas (113 pases), extrapolacin y actualizacin de datos benchmark previos y de la
contabilidad nacional (deflactores de precios para los aos 1970, 75, 80, 85 y 96), y ejercicios
de regresin a partir de otras variables disponibles para los pases no-benchmark28. Con toda
esta informacin se logra un panel de datos sobre el ao base de 1996, que contiene niveles de
precios, consumo, inversin y gasto pblico de los pases incluidos en el proceso de PWT.
Las PWT 6.2, combinan benchmark para los 30 pases OCDE, actualizaciones para otros 138
pases incluidos en PWT 6.1 y 20 pases nuevos. El ao base es 2000. Para los pases OCDE
se dispone de observaciones benchmark cada 3 aos. En la mayora de los pases benchmark,
se observan 150 precios para consumo, formacin de capital y gobierno y, desde 1980, las
comparaciones internacionales se organizan regionalmente antes de hacer la agregacin para
el total mundial.
27

El Banco Mundial est llevando a cabo un nuevo benchmark para 150 pases en 2005, cuyos resultados estarn
disponibles a lo largo de 2007 y darn lugar a las PWT 7.0 Los resultados de este Programa de Comparacin
Internacional
2005
pueden
consultarse
en
http://web.worldbank.org/WBSITE/EXTERNAL/DATASTATISTICS/ICPEXT/0,,menuPK:1973757~pagePK:6
2002243~piPK:62002387~theSitePK:270065,00.html . Han sido recogidos precios en origen sobre unos 1.000
productos, para 100 pases en desarrollo. Junto a los ya disponibles por la OCDE, forman un total de 146
economas sobre las que se dispondr de informacin primaria.
28
Para pases no benchmark, se procede del siguiente modo: se estima la absorcin interna sobre la base de la
relacin entre varias medidas del coste de vida y la PPA del PIB de ese pas. El Banco Mundial no lo hace as, ya
que ataja con una ecuacin que incluye la educacin y renta nominal del pas, acudiendo a informacin directa
sobre los precios utilizando slo la PPA del PIB. PWT, en cambio, utiliza adems la PPA del consumo, la
inversin y el gasto del gobierno, no slo la del PIB.

CAP. 1 LA POBREZA

45

En la actual comparacin que lleva a cabo el Centro Internacional de Comparacin de Precios


para 147 pases, se estn recogiendo los precios medios para unos 1.000 productos29,
organizados en 91 ttulos bsicos30. Una vez reunida toda la informacin, se lleva a cabo un
proceso de reconciliacin (que no hace el Banco Mundial) en el que se toman los
benchmark de otros aos y se actualizan con deflactores de procedentes de la contabilidad
nacional de cada pas, dando ms peso al dato ms reciente31.
Como acabamos de hacer referencia, el Banco Mundial tambin elabora una comparacin
internacional de precios en PPA, al igual que PWT, pero bajo una metodologa diferente. Las
principales diferencias entre ambas metodologas son las siguientes:
1. El mtodo inicial de agregacin o la frmula de precios en nmeros ndice: las PWT usan
agregacin tipo Geary-Khamis con pesos plutocrticos32.
2. Estimaciones para los pases no-benchmark: el Banco Mundial usa un atajo incluyendo
educacin y renta nominal, mientras que PWT utiliza informacin primaria de precios y
variables no educativas.
3. Uso de los benchmark previos, que no hace el Banco Mundial.
4. Las series de precios corrientes: PWT estima PPAs y precios internacionales para cada
componente (Consumo, Inversin, Gasto pblico) y ao, mientras que Banco Mundial
obtiene la PPA-1996 del PIB y aplica las tasas de crecimiento de la contabilidad nacional
para hacer la actualizacin.
5. Las series de precios constantes: PWT usa mtodo Laspeyres sobre las tasas de
crecimiento del Consumo, Inversin y Gasto pblico procedentes de contabilidad nacional
y de sector exterior neto; el Banco Mundial slo usa tasa de crecimiento del PIB.
6. Las series por encadenamiento (chain series): PWT reporta series de encadenamiento a
precios constantes usando ponderaciones de precios internacionales para cada ao.
7. PPAs de consumo: PWT las reporta en precios corrientes y constantes, adems de para
PPA para el PIB.

29

La seleccin de stos productos que permitan la comparacin internacional es lo que se denomina proceso
circular (Ring Process). En l participan 19 pases representantes de todas las regiones del mundo que recogen
los datos de los Productos de la Lista Ring que combina comparabilidad (exactos, idealmente) y
representatividad del consumo en cada regin. A partir de los datos Ring se calculan PPP regionales y la PPP
internacional para convertir cada moneda local en US$. Los precios Ring slo son obtenidos en capitales o
grandes ciudades, lo que limita la utilidad para el clculo de una lnea de pobreza mundial.
30
Para facilitar una comparacin el IPC (Espaa segn mtodo 2001) recoge informacin en 177 municipios, de
491 artculos clasificados en 12 grupos, lo que produce unas 220.000 observaciones mensuales.
31
La metodologa es similar a la Geary-Khamis utilizada por Angus Maddison para elaborar sus series histricas
(ao 1 a 2003) de renta y crecimiento per capita. Vanse en http://www.ggdc.net/maddison/
32
Los ndices plutocrticos son aquellos que tienen en cuenta el peso correspondiente a cada estrato de ingresos.

46

CAP. 1 LA POBREZA

Una cuestin muy importante para la medicin rigurosa de la pobreza y que afecta a ambas
metodologas consiste en determinar qu precios observar para acercarse a los bienes y
servicios realmente utilizados por los pobres. Por ejemplo, si comparamos el precio de un
corte de pelo en plena calle en cualquier ciudad de la India o en Barcelona, encontraremos un
fuerte encarecimiento relativo hacia la segunda. Esta diferencia no parece que pueda
explicarse por las diferencias en la productividad de ambos peluqueros. El ejemplo sirve para
la mayora de los servicios no comercializables. Las cuestiones culturales son tambin
importantes. Los precios del arroz en la India varan mucho si lo observado es arroz lavado o
partido y de qu variedad concreta. En cuanto al vestido, los pobres suelen reutilizar ropa o
adquirirla de segunda mano. Muchos servicios de transporte son provistos por los propios
pobres (por ejemplo haciendo dedo para que les acerquen hasta la carretera prxima). Todas
estas cuestiones econmicas y culturales invitan a investigar la hiptesis de que el lugar
(mercado) concreto en que se observen los precios no es neutral a la hora de configurar las
lneas de pobreza. Las investigaciones realizadas hasta la fecha tienden a mostrar sesgos hacia
arriba entre los precios realmente pagados por los pobres y los medios del pas. El hecho de
que los pobres compren en menores cantidades por su falta de liquidez, as como su falta de
acceso a los hiper-mercados donde se venden unidades mayores a menores precios, puede
explicar al menos en parte- de esta diferencia. La tabla A-2 muestra cmo en mercados
dentro de las mismas ciudades chinas, existen diferencias importantes de precios. Si en vez de
usar los promedios de precios en China usramos los verdaderamente pagados por los pobres,
el nivel de pobreza en China sera menor.

CAP. 1 LA POBREZA

47

Tabla A-2. Nivel de precios en algunos mercados asiticos.


Bangkok- zona media
Bangkok- zona pobre
Singapur zona media
Singapur zona pobre
Shangai zona media
Shangai zona pobre
Fuli zona rural
Shenzen zona media
Hong-Kong zona media
Chengdu zona media

Pilas
79
79
135
101
110
84
59
109
118
100

Cebollas

Corte de pelo
227
306
500
312
151
135
85
164
477
100

208
102
582
406
160
107
22
126
835
100

Fuente: Perling (2003) citado en Aten & Heston (2003) p.12. La observacin se hizo en primavera de 2002. Como se aprecia
en la ltima fila, la lnea de base comparativa fueron los precios de las zonas de clase media en Chendu.

En conclusin, la principal leccin a extraer de este somero recorrido por la realidad de la


elaboracin de las PPA utilizadas para la cuantificacin de la pobreza mundial, es que
deberamos conocer (encuestar) los precios de los bienes realmente consumidos por los
pobres en los lugares donde realmente los compran, para tener una visin exacta de su
estructura de precios y poder hacer lneas de pobreza internacional con PPA ajustadas
realmente para los pobres. Actualmente, estamos bien lejos de poder contar con ese tipo de
informacin internacional.
Este estado de ignorancia, debera conducir a un reconocimiento de que no es muy difcil
identificar con rigor a los pobres en el nivel local. Incluso uno se puede fiar de los datos de
pobreza bajo precios nacionales. Pero que la comparacin internacional y la estimacin de
una lnea de pobreza internacional es un ejercicio que contiene muchos supuestos y que est
lejos del rigor cientfico con que a veces se utilizan esos datos. Los juicios sobre cuntos
pobres hay en el mundo y cmo evoluciona esta cuanta en el tiempo, tiene mucho ms de
lobby poltico que de validez cientfica. Y, si esto es as, cmo se puede publicar cada ao
un Informe sobre la Marcha de los Objetivos de Desarrollo del Milenio (Global Monitoring
Report) y, en concreto, sobre la evolucin anual del Indicador 1, tal como realiza el Banco
Mundial y utilizan con profusin las ONGD y otras instituciones polticas para reclamar
mayor volumen de ayuda?33

33

Vase http://www.mdgmonitor.org/map.cfm?goal=0&indicator=0&cd= para el seguimiento de los objetivos y

http://go.worldbank.org/UVQMEYED00 para los Informes Anuales de Seguimiento.

48

CAP. 1 LA POBREZA

CAP. 2 LA AYUDA AL DESARROLLO: CONCEPTO Y MEDICIN.

49

CAPTULO 2. LA AYUDA AL DESARROLLO: CONCEPTO Y MEDICIN.


1.

LOS CONCEPTOS CENTRALES: QU ES DESARROLLO Y QU ES


AYUDA OFICIAL AL DESARROLLO?

El objetivo de este captulo es sintetizar el estado de la cuestin y acotar y definir


trminos que permitan pensar con rigor la pregunta de si la ayuda al desarrollo reduce o
no la pobreza. En el captulo primero, hemos expuesto qu se entiende y cmo se mide
la pobreza. En este segundo, es necesario hacer lo propio con el antecedente de la
pregunta-gua de este libro. Para responder a si la pobreza se reduce gracias a la ayuda
externa para el desarrollo, es necesario definir con precisin y necesariamente de
forma sinttica- qu se entiende por ayuda y por desarrollo.
Para esta sntesis nos vamos a basar en los trabajos realizados por Thorbecke (2000,
2005) al considerar que incluyen los elementos principales de una estrategia de
desarrollo y porque su recorrido histrico alcanza hasta la actualidad. De todas formas,
existen otras revisiones valiosas que nos han servido de apoyo y complemento al hilo
conductor aportado por Thorbecke, como las de Hidalgo (1998), Bustelo (1991 y 1998),
Cooper (2004), Ranis (2004), Rogerson (2004), Stiglitz (1998), Wolfenshon (1999),
Wolfenshon y Bourguignon (2004).

1.1. LOS ELEMENTOS CONSTITUTIVOS DE UNA ESTRATEGIA DE


DESARROLLO.
Los elementos constitutivos de toda estrategia son tres. En primer lugar, se debe partir
de la definicin conceptual lo ms precisa posible. En segundo lugar, hay que
desarrollar un indicador o conjunto de indicadores que permitan valorar si la estrategia
est siendo exitosa o no. En tercer lugar, hay que disear un conjunto de instrumentos
para lograr el objetivo especificado dentro del concepto acuado en el primer punto.
Comencemos por el primer elemento o definicin de qu es desarrollo. El desarrollo, en
sentido amplio y cada vez ms amplio como evolutivamente ha venido siendo estudiado
acadmicamente, quiere ser la cara exitosa de la pobreza. Ser el proceso de creacin de
riqueza, a travs de oportunidades y aumento de capacidades, que permitir a las
personas vivir segn sus decisiones libres para hacer y ser lo que estimen valioso. Se
adopta as la orientacin del paradigma del desarrollo humano, desarrollado
principalmente por Amartya K. Sen y que institucionalmente recoge y desarrolla

50

CAP. 2 LA AYUDA AL DESARROLLO: CONCEPTO Y MEDICIN.

permanentemente el Programa de Naciones Unidas para el Desarrollo (PNUD) a travs


de sus Informes anuales sobre el Desarrollo Humano. Pero, adems de definir qu se
entiende por desarrollo, una poltica y estrategia eficaz de lucha contra la pobreza debe
incorporar otros dos campos de conocimiento: las teoras, hiptesis, modelos, tcnicas y
aplicaciones empricas para su seguimiento y evaluacin y los sistemas de recogida de
informacin y datos necesarios para su anlisis y evaluacin (juicio) empricos (tanto
cuantitativos como cualitativos). Tenemos as cuatro componentes esenciales que se
interrelacionan mutuamente:
a) Los objetivos de desarrollo y qu sen entiende por tal;
b) Las teoras del desarrollo y los modelos (principalmente de crecimiento econmico) y
tcnicas empricas para su contraste;
c) Las bases de datos necesarias para analizar su eficacia y eficiencia;
d) Las polticas y estrategias necesarias para implementar y alcanzar los objetivos del
punto a).
Siguiendo este esquema de cuatro dimensiones a lo largo de las pasadas seis dcadas
(por convenio comnmente aceptado, se toma la dcada de los aos cincuenta como el
periodo de nacimiento de la cooperacin y las teoras del desarrollo, ya que hasta el
final de la segunda Guerra Mundial este objetivo estaba realmente ausente de las
polticas y las relaciones internacionales, dominadas por el colonialismo) se puede tener
una panormica audaz que una rigor con capacidad de sugerencia analtica y reflexiva
para enfrentarse intelectualmente a la cuestin de si la ayuda al desarrollo reduce la
pobreza (promueve efectivamente desarrollo humano).

1.2. DINMICA EVOLUTIVA DE LAS ESTRATEGIAS DE DESARROLLO.


Para ofrecer este esquema, punto de partida de discusin y debate en s mismo, se ofrece
la panormica evolutiva en la Figura 1, en la que se pueden seguir las evoluciones de los
cuatro elementos constitutivos de la estrategia de desarrollo, dcada a dcada. En un
apartado posterior se ofrece el anlisis del papel de la ayuda o cooperacin para el
desarrollo en cada una de esas mismas seis dcadas, sintetizando los principales puntos
de debate, de consenso y de disenso entre los analistas de la ayuda al desarrollo.
Sera demasiado prolijo comentar con detalle todos los elementos de la figura que, por
otra parte, se encuentran bien explicados y detallados en su fuente, pero s conviene
hacer un breve comentario diacrnico de cada uno de los cuatro componentes.

CAP. 2 LA AYUDA AL DESARROLLO: CONCEPTO Y MEDICIN.

51

La evolucin de los objetivos de desarrollo muestra dos ideas fundamentales: en primer


lugar que la pobreza no debe equipararse al desarrollo, pues sta surge como objetivo
del desarrollo a partir de los aos setenta. En segundo lugar, el crecimiento econmico
no es sinnimo de desarrollo, aunque es un factor que siempre ha sido tenido en cuenta.
Bien puede afirmarse que el crecimiento econmico ha sido considerado como
condicin necesaria pero no suficiente para el desarrollo. Puede afirmarse que nadie est
en contra del crecimiento econmico y la mayora de los acadmicos sostendr su
insuficiencia para generar por s mismo el desarrollo a travs de un efecto derrame
sobre la poblacin de un pas. En lo que s hay mucho debate es en torno a las fuentes
de crecimiento y el grado y papel de la distribucin en una estrategia de desarrollo. Pero
la tendencia ms actual es a considerar crecimiento-desigualdad-pobreza como un
tringulo

ntimamente

interrelacionado

(Bourguignon,

2004;

Wolfenshon

&

Bourguignon, 2004; World Bank, 2005b; PNUD, 2005).


Tambin merece la pena resaltar aqu el debate en torno a los Objetivos de Desarrollo
del Milenio1. Si bien el consenso adoptado por la Declaracin del Milenio de Naciones
Unidas en torno a ellos y como agenda internacional fue elevadsimo, tambin existen
criticas por su reduccionismo en las metas y ciertas debilidades en sus indicadores,
fuentes de verificacin o exigencia de esfuerzo sin tener en cuenta la historia econmica
y la velocidad con que se han producido los niveles de bienestar en los pases hoy
desarrollados (vase por ejemplo la crtica de Clemens et al. 2004 sobre el objetivo de
educacin primaria universal2).

Estos ocho objetivos constituyen una sntesis de las numerosas recomendaciones y compromisos que se

fueron adoptando en la dcada de los noventa en numerosas cumbres de Naciones Unidas. El Comit de
Ayuda al Desarrollo de la OCDE recogi los principales en un documento programtico de 1996 (CAD
1996) y, posteriormente tras un desarrollo conceptual y de indicadores, se presentaron a modo de agenda
internacional en la Cumbre de Naciones Unidas que con motivo del inicio del siglo XXI tuvo lugar en
Nueva York. Los ocho Objetivos se despliegan en 18 metas y 48 indicadores. Su detalle y evolucin
puede consultarse en: http://www.un.org/spanish/millenniumgoals/
2

Bsicamente la puntualizacin consiste en que muchos pases parten de un nivel tan bajo de asistencia

educativa (20 africanos no alcanzan el 70% de tasa de matriculacin en primaria) que el esfuerzo que les

52

CAP. 2 LA AYUDA AL DESARROLLO: CONCEPTO Y MEDICIN.

Por lo que se refiere a la evolucin de teoras y modelos, puede resaltarse su riqueza de


enfoques y la enorme variedad de doctrina que hay sobre ellos. Es importante considerar
bien cmo los modelos han influido directamente sobre los otros tres componentes,
priorizando unos objetivos sobre otros, requiriendo desarrollo de las bases de datos y
orientando las polticas y estrategias concretas. Asimismo, la disponibilidad de datos y
tcnicas de clculo de evidencias empricas han influido en la evolutiva de los modelos.
En lo que a las fuentes y bases de datos se refiere, el rasgo ms destacado es su
progresiva riqueza en detalle y extensin para un nmero creciente de pases. Aunque su
calidad es siempre mejorable, especialmente las estadsticas de los pases en desarrollo,
y siempre es conveniente hacer crtica de su seleccin (data mining) y de si son
utilizados en tcnicas e instrumentos de anlisis correctos. Por ejemplo, hoy se dispone
de series histricas suficientemente largas y de un nmero de pases extenso para
construir paneles de datos amplios sobre ayuda al desarrollo y crecimiento econmico3.
Pero, como se ver en el siguiente captulo, el anlisis de la literatura emprica sobre el
impacto de la ayuda sobre el crecimiento no ofrece ni de lejos, resultados convergentes
y concluyentes. La cuestin planteada en la actualidad es si los datos disponibles de la
ayuda pasada, son capaces de capturar el impacto sobre el crecimiento agregado de un
pas o de una muestra de pases. Es decir adems de problemas de data mining hay
que lidiar con finos problemas de data analysis.
Por ltimo, la dinmica evolutiva de las polticas y estrategias de desarrollo, en su rica
variedad, muestra un elemento comn en torno al papel del Estado en la actividad social
y econmica. Aqu conviene hacer referencia a la existencia de un consenso creciente,
como ha expresado Kanbur (2001). Puede afirmarse que casi nadie defiende ya un papel
absoluto del Estado en la economa ni un sistema de planificacin central. Todos

pide en un plazo de 20 aos equivale a lo que los pases de la OCDE hicieron a lo largo de todo el siglo
XIX o incluso de una forma ms acelerada de lo que lo ha conseguido el ms rpido en la historia: Corea
del Sur.
3

Las dos bases de datos utilizadas con mayor frecuencia son la del Banco Mundial denominada World

Development Indicators y la de comparacin de precios e ingresos por habitante de la Universidad de


Pennsylvania denominada Penn World Tables dirigida por Heston, Summers y Aten.

CAP. 2 LA AYUDA AL DESARROLLO: CONCEPTO Y MEDICIN.

53

admiten la confluencia y bondad de que el Estado y el mercado acten en un sistema de


economa mixta. Dicho esto, en seguida debe reconocerse que los papeles y tamaos
de cada uno de los dos sectores (pblico y privado) es an fuente de fuertes
desacuerdos, tanto en el nivel de econmica aplicada como de teora y prctica poltica.
No puede olvidarse que el componente ideolgico en torno al papel del mercado y del
Estado, configura fuertemente el debate del desarrollo4.

Para extender este punto puede consultarse Adelman (2000). La obra de Bustelo (1991) es un recorrido

por las teoras del desarrollo clasificando a los autores sobre en funcin de su mayor o menor
reconocimiento al papel del Estado en el proceso de generacin de desarrollo.

54

CAP. 2 LA AYUDA AL DESARROLLO: CONCEPTO Y MEDICIN.

Figura 1. Evolucin de la doctrina sobre el desarrollo.


Componente Aos 50
Dcada
Crecimiento del
Objetivos del
PNB
desarrollo

Teoras y Modelos Fuerte empuje


(Big Push);
Despegue y etapas
del desarrollo;
Tesis del esfuerzo
crtico mnimo;
Criterios de
inversin agregada.
Harrod+Domar

Aos 60

Aos 70

Aos 80

Aos 90

Crecimiento del
PNB
Equilibrio exterior
(Balanza de Pagos)
Empleo

Crecimiento del
PNB
Empleo
Distribucin de la
renta
Alivio de la
pobreza
(Necesidades
bsicas)
Equilibrio externo

Estabilizacin
Equilibrio externo
Equilibrio interno
(monetario y
fiscal)
Ajuste estructural
Eficiencia

Ajuste continuado
Buen gobierno y
capacidad
institucional
Resurge el alivio
de la pobreza
Moderar los
efectos de la crisis
asitica
Limitar el
capitalismo global:
liberalizacin y
desregulacin

Dualismo
econmico;
crecimiento
equilibrado o
desequilibrado;
eslabonamientos
entre sectores;
proteccin
efectiva; capital
humano; precios
sombra; patrones

Paquetes de
medidas en las
reas rurales; papel
del sector
informal;
migracin ruralurbana; tecnologa
apropiada; relacin
y dilemas entre
produccinempleo-

Crecimiento
endgeno;
relaciones
comerciocrecimiento;
interrelaciones
entre capital
humano y
transferencia de
tecnologa; nueva
economa

Actualidad

Los de los 90
excepto la revisin
y cuestionamiento
del Consenso de
Washington
Desarrollo
Humano (p. ej.
educacin, salud)
Reduccin de la
desigualdad y la
pobreza
Objetivos de
Desarrollo del
Milenio
Reduccin de la
vulnerabilidad
Poltica econmica
Papel de las
instituciones en el del desarrollo y
papel de las
desarrollo,
instituciones;
dependencia
nexos entre
temporal (path
crecimientodependency) y
desigualdadendogeneidad de
las polticas; papel pobreza; la pobreza
del mercado y del es multidimensional;
gobierno;
equilibrios
economa de la

CAP. 2 LA AYUDA AL DESARROLLO: CONCEPTO Y MEDICIN.

Bases de datos

Contabilidad
Nacional

de crecimiento;
seleccin de la
tcnica; papel de la
agricultura.
Dos gaps
(Chenery+Strout)
Modelos inputouput
Equilibrio General
Simple
Programacin
lineal

distribucin de la
renta-pobreza;
criterios de
inversin
socioeconmica;
teora del
subdesarrollo;
teora de la
dependencia.
Mltiples objetivos
Equilibrio General
Computable
Modelos
sectoriales

Contabilidad
Nacional
Tablas InputOutput
Censos de empleo
Contabilidad
Nacional Social

Contabilidad
Nacional
Tablas InputOuput inter e intra
sectoriales
Censos de empleo
Encuestas de
hogares
Encuestas rurales
integradas
Encuestas sobre

institucional y
papel de las
instituciones;
mercados de
factores
entrelazados;
confianza en los
mercados (p. ej.
Orientacin
externa vs.
Intervencin del
gobierno).
Impacto de las
polticas fiscal y
comercial
Equilibrio General
Computable
aplicado al ajuste
estructural
Matrices de
Contabilidad
Social (SAMs) y
todas las de los 70
Encuestas de
hogares de renta o
gasto, a gran escala
y desagregadas

55

corrupcin; capital
social como
complemento del
capital humano.
Fuentes del
crecimiento
Productividad total
de los factores
Regresiones sobre
crecimiento
Modelos de
equilibrio general
computable para
explorar el impacto
de las polticas de
ajuste.

mltiples.
Experimentos con
grupos de control y
aleaorios
Crtica a las
regresiones sobre
el crecimiento

SAMs y las de los


80
Encuestas de
hogares de renta o
gasto, a gran escala
y desagregadas (p.
ej. Encuestas
Estandarizadas
sobre Nivel de
Vida del Banco
Mundial)

Las de los 90
Ms fuentes micro
y datos de panel
Datos bancarios

56

CAP. 2 LA AYUDA AL DESARROLLO: CONCEPTO Y MEDICIN.

sector informal
Datos
demogrficos

Encuestas de
mltiples aos
(apreciaciones
subjetivas de la
pobreza)
Encuestas
demogrficas y de
salud
Estabilizacin y
Estabilizacin y
Desarrollo rural
Afinamiento y
Sustitucin de
Polticas y
ajuste estructural
ajuste estructural
precios apropiados integrado
importaciones
estrategias
Orientacin
Orientacin
Estrategias
Crecimiento
Industrializacin
exterior
comprehensivas de exterior
Excedente social e equilibrado entre
Confianza en los
Confianza en los
empleo
agricultura e
inversin en
mercados
mercados
Crecimiento con
industria
infraestructuras,
Extender los
Privatizaciones
redistribucin
Promocin de
sobre todo en el
Minimizar el papel elementos del
Necesidades
exportaciones
mbito urbano
milagro asitico
del Estado
bsicas
Ayuda externa
a otros pases
Reformismo
Integracin
Desregulacin y
(redistribucin de
regional
privatizacin
Reformas fiscales activos)
Alivio de la
Planes sectoriales Colectivismo
pobreza y aumento
radical
del bienestar socioeconmico
Controles y
regulaciones para
prevenir crisis
financieras
Fuente: elaboracin a partir de Thorbecke (2005).

La globalizacin
como estrategia de
desarrollo
Crecimiento propobre

CAP. 2 LA AYUDA AL DESARROLLO: CONCEPTO Y MEDICIN.

57

1.3. UN PARADIGMA PREVALENTE? EL DESARROLLO HUMANO.


Dentro del panorama descrito anteriormente y dentro del grado de disenso -tanto terico
como prctico- que puede detectarse, aqu opto por presentar el paradigma del
Desarrollo Humano como el mejor punto de partida para la discusin y el avance de
medidas concretas para lograr un ejercicio de la ayuda al desarrollo ms eficaz y
eficiente.
Por paradigma de Desarrollo Humano puede entenderse el modelo de desarrollo integral
que ha venido explicitando el Programa de Naciones Unidas para el Desarrollo (PNUD)
desde 1990, especialmente a travs de sus Informes sobre el Desarrollo Humano.
Las ideas centrales que componen este paradigma son las siguientes:
a) El desarrollo es un proceso amplio que debe estar centrado en la persona.
b) La persona es un ser rico y complejo, por lo que su desarrollo debe ser
multidimensional. La pobreza es, por tanto, multidimensional, tanto en sus causas como
en la estrategia para reducirla5.
c) Los indicadores de progreso del desarrollo humano deben ser multidimensionales,
especialmente no debe reducirse al ingreso per capita.
d) La persona es el sujeto de derecho y de derechos. El desarrollo es un derecho humano
y la ausencia de pobreza es constitutivo de la dignidad de la persona.
A partir de estas ideas bsicas, el PNUD ha ido concretando las principales dimensiones
del desarrollo y, como se expuso en el captulo primero, ha generado nuevos
indicadores para su evaluacin. El PNUD entiende que el desarrollo humano es:
-

Aumentar las opciones de la gente, (oportunidades)

Para vivir una vida digna y saludable, (sanidad)

Adquirir conocimientos, (educacin)

Tener acceso a los recursos necesarios para un nivel de vida decente, (renta)

Mientras se preserva para las generaciones futuras, (sostenible)

Se garantiza la seguridad humana, (paz)

As ha sido recogido por el CAD en sus directrices para la reduccin de la pobreza. Vase OCDE

(2000).

58
-

CAP. 2 LA AYUDA AL DESARROLLO: CONCEPTO Y MEDICIN.

Y se logra la igualdad de las mujeres y los hombres. (gnero). (PNUD, 1999)

En cuanto a los indicadores de progreso, el PNUD ofrece el IDH para la mayora de los
pases desde 1990 con periodicidad anual. Tambin revisa peridicamente su calidad y
ofrece IDH metodolgicamente comparables para quinquenios desde 1975.
Adems elabora otros indicadores sintticos como el ndice de Pobreza Humana o los
ndices de Desarrollo y de Potenciacin de Gnero6.
Uno de los autores que inspir el paradigma del desarrollo humano y que ms ha
contribuido a perfilar un concepto de desarrollo ms aquilatado es Amartya K. Sen. Este
autor, a partir de un conjunto de conceptos propios ha elaborado una idea de desarrollo
que, principalmente supera las limitaciones de considerar al hombre como ser de
necesidades y a la pobreza como ausencia de bienes materiales. De forma muy breve, la
concepcin del desarrollo de Sen est basada en las siguientes categoras:
-

Dotaciones (endowments): son el conjunto de posesiones o propiedades iniciales


con las que cuenta una persona para afrontar su proceso de desarrollo. Entre otras,
las dotaciones estn formadas por su fuerza de trabajo, tierras, herramientas, bienes,
dinero, capital humano o destrezas y experiencias en la vida;

Derechos (entitlements): o conjunto de mercancas sobre las que se tiene dominio o


derecho de uso y entre las que se puede elegir un subconjunto;

Capacidades (capabilities): habilidades y potencialidades de las personas;

Realizaciones (functionings): condiciones de vida que pueden ser alcanzadas por las
personas, logros obtenidos a partir de las capacidades. Las diferentes formas de ser y
hacer valoradas por la gente.

Calidad de vida (quality of life): es el resultado de las categoras anteriores.

Sobre la base de estas definiciones, Sen enfoca la idea del desarrollo como un proceso
en el que se expanden las libertades de las personas para elegir su modo de vida (Sen,
2000). Ms en detalle, el desarrollo debe entenderse como una combinacin de

Sobre la base metodolgica del IDH se han propuesto variantes que incorporan aspectos

medioambientales (Lasso de la Vega y Urrutia, 2000). Para una crtica a las limitaciones del IDH como
ndice de desarrollo vase McGillivray & White (1992).

CAP. 2 LA AYUDA AL DESARROLLO: CONCEPTO Y MEDICIN.

59

distintos procesos, ms que la expansin de alguna magnitud aparentemente


homognea, tal como el ingreso real o la utilidad. Las cosas que la gente valora hacer
o ser pueden ser muy diversas y las capacidades valorables varan de libertades tan
elementales como estar libres de hambre o de subalimentacin hasta habilidades tan
complejas como las de alcanzar el autorrespeto o la participacin social (Sen 1989).
Es importante resaltar como el desarrollo as concebido contempla a la persona en
forma dinmica, con un potencial propio al que hay que ampliarle y dotarle de las
oportunidades y libertades necesarias para que se despliegue. Lejos queda, pues, una
persona como sujeto pasivo al que se ayuda y que slo recibe, consume o disfruta,
como en las versiones economicistas ms ortodoxas.
Utilizando la muy usada referencia de ensear a pescar a quien no tiene pescado, el
desarrollo humano debe indagar y ampliar todas las circunstancias y contextos del que
se va a convertir en pescador. Habr que analizar si quiere pescado, si quiere aprender a
pescar, de qu modos se pesca en su tradicin cultural, qu mercados hay para el
pescado y cmo estn conectados, si el lugar donde pescar est contaminado o no, si
existen instituciones que defendern el fruto de su trabajo y las propiedades sobre las
que se puede pescar estn bien definidas o amenazadas. De alguna manera, como
mencion Marx, lo que el desarrollo necesita es reemplazar la dominacin de las
circunstancias y el azar sobre los individuos, por la dominacin de los individuos sobre
el azar y las circunstancias7.
En resumen, y en palabras de Iguiz (1991:19) el acento del paradigma del Desarrollo
Humano est puesto en lo que la gente puede hacer y ser por s misma y no en lo que
puede tener. Muchas veces no har falta tener ms para ser ms. Es lo que se despende
de muchos testimonios de los propios pobres, tal como han recogido las obras de la
serie del Banco Mundial titulada La voz de los pobres8. En la primera de esa triloga, la
pobreza es definida por la ausencia de bienestar material (alimentos, agua, empleo),

Citado en SAGASTI et al. (1999:143).

Vanse NARAYAN, D. (2000); NARAYAN, D. et al. (2002); NARAYAN, D. y PETESCH, P. (eds.)

(2002).

60

CAP. 2 LA AYUDA AL DESARROLLO: CONCEPTO Y MEDICIN.

bienestar psicolgico (poder y voz, participacin y normas culturales y sociales)


infraestructuras y bienes y servicios pblicos, y activos (capital fsico, humano, social,
ecolgico y vulnerabilidad en el hogar, el empleo o la convivencia social). Es decir, la
vida humana est compuesta de realizaciones que van desde las ms elementales
como escapar de la morbilidad y la muerte por inanicin a las ms sofisticadas como
lograr el autorespeto, tomar parte en la vida de la comunidad o aparecer en pblico sin
sentir vergenza. El desarrollo humano es el proceso que permite poner en acto
existencial estas realizaciones9.

2.

CONCEPTO

EVOLUCIN

DE

LA

AYUDA

OFICIAL

AL

DESARROLLO.
2.1. EVOLUCIN DOCTRINAL.
Por el recorrido realizado hasta aqu, ya debera ser evidente que el desarrollo -y an
ms el desarrollo humano- no es una funcin cuya nica variable endgena (casi
mgica) sea la ayuda al desarrollo. Hay muchas otras variables explicativas y queda
pendiente la demostracin de que la ayuda sea efectivamente endgena al desarrollo de
los pases. Adems, aunque uno de los fines de la ayuda a lo largo de la historia haya
sido la reduccin de la pobreza y el fomento del desarrollo, no ha sido el nico. Como
reconoce el Banco Mundial en un anlisis sobre su eficacia, la ayuda ha estado siempre
combinando el altruismo solidario con el inters geoestratgico propio:
Desde el principio (la cooperacin al desarrollo) tuvo un objetivo doble y,
potencialmente contradictorio. El primero era fomentar el crecimiento a largo plazo y
reducir la pobreza en los pases en desarrollo. Los donantes actuaban movidos por
altruismo, pero tambin por inters, pues consideraban que, a largo plazo, su
seguridad econmica y poltica se beneficiara del crecimiento de los pases pobres. El

Un discurso que enlaza bien con el Desarrollo Humano es el de los Bienes Pblicos Globales, que aqu

se omite por brevedad, pero que deber formar parte de la agenda temtica. Para introducirse en ellos,
pueden verse Alonso (2001) y Kaul et al. (2001).

CAP. 2 LA AYUDA AL DESARROLLO: CONCEPTO Y MEDICIN.

61

segundo objetivo era promover los intereses polticos y estratgicos a corto plazo de los
donantes. La asistencia se dirigi a regmenes que eran aliados polticos de las
principales potencias occidentales. As pues, exista la posibilidad pero no la certezade que los objetivos estratgicos y de desarrollo fueran contradictorios (Banco
Mundial 1998:7).
Conviene tener tambin la perspectiva histrica de la ayuda al desarrollo, al igual que se
ha tenido sobre el concepto y las estrategias de desarrollo10. En la Figura 2 se ofrece una
panormica evolutiva sobre el papel de la ayuda en el desarrollo, las instituciones
dominantes o crecientes en cada periodo, la ideologa preponderante entre los donantes,
su fin principal y los tipos o instrumentos dominantes o emergentes en cada dcada.

10

Este aspecto puede ampliarse en Hjertholm & White (2000).

CAP. 2 LA AYUDA AL DESARROLLO: CONCEPTO Y MEDICIN.

62

Figura 2. Evolucin del papel de la ayuda al desarrollo.


Papel de la ayuda

Instituciones

Aos 40-50
Transferir recursos
a gran escala.
Financiar la
industrializacin.
Fe en la capacidad
del gobierno
receptor para
usarla con
eficiencia y para
planificar.

Aos 60
El modelo de los
dos-gaps
(ahorro-inversin y
exportacionesimportaciones)
procura criterios
para asignar la
ayuda en cada pas.
Contribuir al
crecimiento
equilibrado.
Asistencia tcnica
para aumentar el
capital humano del
receptor.

Aos 70
Apoyar el
crecimiento con
redistribucin y
satisfacer las
necesidades
bsicas.
Reducir (aliviar) la
pobreza.

Naciones Unidas;

Los donantes

Expansin del

Apoyar el
desarrollo rural
integrado y el
multilateralismo.

Aos 80
Problema de la
deuda externa al
que la ayuda ha
contribuido.
Financiar el
ajuste estructural
y la
estabilizacin.
Condicionalidad
ex -ante.
Macroestabilidad.
Olvido de la
reduccin de la
pobreza.
Fruto de la
minimizacin del
papel del Estado,
se privatiza la
ayuda (ONGs y
ayuda del sector
privado).

Aos 90
Fatiga del donante
de la ayuda.
Reducir la
dependencia hacia
ella.
Limitado xito de
la condicionalidad.
Condonacin y
reduccin de deuda
externa.
Condicionalidad ex
post.
Falta de
coherencia,
coordinacin y
complementariedad
entre donantes.
Asociacin y
apropiacin.

Crecimiento y

Instituciones

Actualidad
Logro de los
ODM.
Reducir la
pobreza, vuelve a
ser el centro.
Debate sobre
eficacia de la
ayuda y sus
limitaciones:
fungibilidad,
volatilidad,
efectos fiscales,
corrupcin y
debilidad
institucional.
Destinatarios:
incluir a los
pases de renta
media?
Criterios de
asignacin:
selectividad.
Incremento de las
cantidades y
nuevas fuentes de
recursos para el
desarrollo.
Comit de Ayuda

CAP. 2 LA AYUDA AL DESARROLLO: CONCEPTO Y MEDICIN.

dominantes

Banco Mundial;
Plan Marshall.
EE. UU. y la
Unin Sovitica
como bloques.

Planificacin vs.
Ideario
preponderante entre Mercado. Guerra
Fra.
los donantes

expansin de las
ONGs de
Desarrollo

nacidas al hilo del


desmembramiento
de la Unin
Sovitica. Europa
del Este pasa a ser
receptora.
Neoliberalismo y
Retroceso del
papel del Estado. Consenso de
Ajuste basado en Washington.
el mercado.

bilaterales.

multilateralismo
(Banco Mundial,
FMI, Fondos
rabes)

Guerra Fra. Papel


del Estado en
sectores
productivos.

Papel del Estado


en sectores
productivos y
satisfaccin de
necesidades
bsicas.

Sectores
productivos,
revolucin verde,
infraestructuras.

Sectores de
necesidades
bsicas. Reducir la
pobreza.

Reforma
macroeconmica
y ajuste
estructural.

Cada en ayuda
alimentaria y
comienzo de la
ayuda a las
importaciones.

Programas
financieros.
Condonacin y
tratamiento de la
deuda externa.

Fin principal de la
ayuda

Reconstruccin y
Desarrollo
Comunitario.

Tipos e
instrumentos

Asistencia tcnica
Plan Marshall.
Ayuda alimentaria. bilateral. Apoyo
presupuestario.
Proyectos.
Proyectos
multilaterales.

63

al Desarrollo de
la OCDE. El
multilateralismo
pierde fuerza.

Bienes Pblicos
Globales.
Declaracin de
Pars sobre la
eficacia:
apropiacin,
alineamiento,
armonizacin,
orientacin hacia
resultados,
rendicin mutua
de cuentas.
Pobreza y
Pobreza y
gobernabilidad. En seguridad.
Desarrollo de
menor medida,
capacidades.
gnero y medio
Fortalecimiento
ambiente.
institucional.
Predominio de los Programas
sectoriales.
programas sobre
Apoyo
los proyectos.
presupuestario.
Fondos globales
temticos.

64

CAP. 2 LA AYUDA AL DESARROLLO: CONCEPTO Y MEDICIN.

Fuente: elaborado y ampliado a partir de Thorbecke (2000) y Hjertholm & White (2000).

65

Como se aprecia en el esquema, no siempre el objetivo (papel asignado) de la ayuda al


desarrollo ha sido el mismo. Quiz el fin de la Guerra Fra con la cada del muro de
Berln en 1989 y la desmembracin del bloque sovitico ha sido el cambio ms
importante en cuanto a los fines de la ayuda se refiere. Hasta entonces, la cuestin
ideolgica y la afiliacin de los pases a la ideologa capitalista o comunista era
fundamental. Cada bloque ayudaba o no a un pas en desarrollo en funcin de su
decisin de optar por un sistema econmico e ideolgico u otro (vase la fila 3 de la
figura). Desaparecido el bloque sovitico, se esperaba una reasignacin de la ayuda as
como un aumento en los flujos disponibles de ayuda, ya que el gasto armamentstico
podra disminuir y canalizarse a los fines humanitarios. Por un parte y,
lamentablemente, ese esperado dividendo de la paz no se ha producido. Pero, por otra
parte, la desaparicin de la tensin Este-Oeste ha permitido que la desigualdad NorteSur tome ms protagonismo y que al menos en el discurso de los documentos
internacionales- la lucha contra la pobreza se est convirtiendo en el objetivo especfico
de la ayuda al desarrollo, como se deduce de la fila 4 de la figura.
Por lo que se refiere a los instrumentos (fila 5), la evolucin puede sintetizarse en una
sucesiva complejidad de los tipos e instrumentos utilizados as como de su tamao y
cuanta de fondos. De los proyectos ms sencillos y concretos pero de dudoso efecto
integrador por su atomizacin a los nuevos instrumentos como la ayuda programtica
y el apoyo presupuestario sea sectorial o general- ha habido toda una experiencia de la
que an no se pueden sacar conclusiones sobre si un instrumento u otro es siempre ms
eficiente. Una de las grandes dudas que permanecen en la actualidad es saber en qu
condiciones y en qu marco institucional deben ejecutarse los distintos tipos de
instrumentos. Apuntando nicamente la cuestin, parece que los proyectos al estar ms
pegados al terreno y la realidad local, son ms eficientes en su control, gestin y
obtencin de productos concretos. Pero tienen la debilidad de su pequeo impacto, de
efectos aislados sin apenas externalidades sobre el conjunto de la poblacin y que se
traduzcan en mejoras empricas sobre los grandes indicadores de pobreza y desarrollo
nacionales.
Los instrumentos de mayor cuanta como el apoyo presupuestario, tratan de resolver dos
cuestiones bsicas. Por una parte, quieren reforzar la apropiacin y las polticas
nacionales, dejando que sena los propios gobernantes de los pases en desarrollo quienes

66

lideren estas polticas. Por otra parte, pretenden reducir los costes de transaccin
elevados de una multiplicidad inconexa de proyectos11. Bajo un marco de coordinacin
y mayor previsibilidad presupuestaria, la ayuda de un conjunto amplio de donantes
puede ser ms eficiente actuando en un entorno de economas de escala y spillovers.
Pero la condicin necesaria para que esto se produzca es que exista realmente una
coordinacin entre los donantes, un alineamiento de sus sistemas de seguimiento y
evaluacin utilizando los formatos y recursos locales y una condicionalidad de la ayuda
ms orientada a la obtencin de resultados en trminos de reduccin de pobreza y no
tanto en trminos de condiciones polticas, comerciales, institucionales que muestren
una frrea actitud de desconfianza ante el uso y gestin de la ayuda por parte del
receptor. Todas estas condiciones y actitudes se exasperan cuando la ayuda se dirige
hacia pases con una institucionalidad muy dbil y altos niveles de corrupcin. Son los
conocidos como estados frgiles o fallidos, dndose la paradoja de que los ciudadanos
de stos pases quiz sean los ms necesitados de recibir la ayuda internacional.
Otra visin de la evolucin de la ayuda al desarrollo nos la aporta la serie temporal de
este tipo de flujos internacionales de capital. Pero para su adecuada interpretacin,
debemos definir con precisin qu se entiende por ayuda y cmo se contabiliza. Es lo
que exponemos en el siguiente apartado.

2.2. CONCEPTOS Y TIPOLOGAS DE AYUDA.


Definicin y caractersticas.
Con la expresin Ayuda Oficial al Desarrollo (AOD) se hace referencia a un tipo
especial de ayuda gubernamental (oficial) que el Comit de Ayuda al Desarrollo
(CAD), que es el conjunto de pases donantes de ayuda de la OCDE, defini en 1971 en
los siguientes trminos: constituye la AOD, los flujos que las agencias oficiales,
incluidos los gobiernos estatales y locales, o sus agencias ejecutivas, destinan a los

11

Una ampliacin de las cuestiones clave en torno a los nuevos instrumentos se encuentra en Castao y

Larr (coords.) (2005).

67

pases en desarrollo y a las instituciones multilaterales, y que en cada operacin


satisfacen las siguientes condiciones:
a) tienen como principal objetivo la promocin del desarrollo econmico y el bienestar
social de los pases en desarrollo, y
b) son de carcter concesional ( su tipo de inters debe ser menor al de mercado) y
contienen un elemento de donacin de al menos el 25%, calculado a una tasa de
descuento del 10%12.
Por lo tanto una primera conclusin importante que se deriva de la definicin del CAD
es que no todo el dinero destinado a ayudar a los pases en desarrollo es AOD. La
diferencia ms importante es que la AOD no tiene en cuenta toda la ayuda privada que
personas o instituciones privadas (fundaciones, empresas, universidades, etc.) otorgan
para el desarrollo a entidades como ONGs o iglesias y que han sido recogida de forma
particular por ellas mismas. Es decir, en estas donaciones no media ninguna institucin
pblica. Son dadas libremente careciendo del carcter coactivo que tienen los diversos
tipos de ingresos pblicos (impuestos, tasas, etc.). Todas estos montos de origen privado
pueden suponer cantidades importantes de recursos, pero al no existir una recogida
sistemtica y organizada de estas cuantas, son en gran parte desconocidas13. Un estudio

12

Esta tasa de descuento se utiliza para determinar si un prstamo es concesional o no. Si un prstamo

satisface el resto de condiciones, se considera AOD el monto total del prstamo. El componente de
donacin no se usa para descontar el valor facial del prstamo en la contabilidad de la AOD. Los intereses
no computan a la hora de contabilizar la AOD neta.
13

Quiz la excepcin ms importante sea EE.UU. Los estadounidenses donaron al mundo en desarrollo
en 2005, 95.000 millones de dlares a travs del sector privado, entendiendo por tal el conjunto de
fundaciones, corporaciones, organizaciones privadas y voluntarias, colegios y universidades e
instituciones religiosas, as como tiempo donado por voluntarios y remesas de dinero. Esto es casi tres
veces y medio la ayuda oficial de Estados Unidos. Las compaas estadounidenses invirtieron y prestaron
otros 69.000 millones de dlares en capital privado. Estas gestiones privadas conformaron casi el 86 por
ciento del movimiento econmico total estadounidense a los pases en desarrollo. (Adelman 2007b).

68

que ha pretendido empezar a medir estos flujos es el de Schweinberger & Lahiri (2006)
en el que se ofrecen las siguientes estimaciones (Tabla 1).
Tabla 1. Flujos internacionales privados para el desarrollo.
DONANTE

Ayuda Privada, Millones $

Ratio AOD/Ayuda privada

Alemania

972

5.74

Australia

111

8.67

Austria

46

9.91

Blgica

36

24.53

Canad

155

10.91

Dinamarca

35

48.69

Espaa

133

10.34

Estados Unidos

2671

3.29

Finlandia

79.2

Francia

Holanda

158

19.25

Italia

40

56.95

Japn

203

52.41

18.66

Noruega

126

10.48

Nueva Zelanda

12

10.83

Portugal

37.00

Reino Unido

408

9.47

Suecia

40

39.33

Luxemburgo

Fuente: Schweinberger & Lahiri (2006), Table 1, p.181.

Queda claro entonces que la AOD slo hace referencia a flujos de recursos cuyo origen
son los estados, sea el central o los de nivel inferior (en el caso espaol, autonomas,
diputaciones, ayuntamientos, cabildos, etc.).
Adems, no todos los recursos oficiales que van a parar a los pases en desarrollo
constituyen ayuda. Los pases desarrollados otorgan prstamos en condiciones de
mercado que no constituyen AOD, y muchas empresas realizan inversin directa
extranjera en los pases en desarrollo sin que represente AOD.
Para que sea contabilizada como AOD la ayuda de un pas debe cumplir a la vez, las
tres condiciones del CAD: i) tener como objetivo principal (luego puede tener otros
objetivos no principales como fomentar las exportaciones del donante, promover la paz
o la influencia poltica del pas donante en el pas que la recibe) promover el desarrollo

69

del receptor; ii) ser un pas en desarrollo (es decir, estar en la lista que elabora el propio
CAD para tal efecto) y iii) tener carcter concesional (esto es, ser una actividad que no
se presta en las mismas condiciones del mercado), alcanzando este componente
concesional un mnimo del 25% de la ayuda prestada. Cuando la concesionalidad se
concreta en un no reembolsamiento del 100%, es lo que se considera una donacin. Por
tanto, a excepcin de las donaciones, una porcin de la AOD que reciben los pases
debe devolverse. El mximo ser el 75% del monto total recibido y las condiciones de
devolucin variarn en cada caso, siendo mejores que las del libre mercado de capitales.
Un corolario importante de esta condicin reembolsable de la AOD es que genera
endeudamiento externo al pas receptor.
En efecto, la deuda externa de los pases en desarrollo puede provenir de operaciones en
los mercados internacionales de capital (deuda privada si el prestamista ha sido una
entidad privada), pero tambin de AOD recibida ya haya sido otorgada por organismos
internacionales (deuda AOD multilateral) o por pases en particular (deuda AOD
bilateral). En otras palabras, recibir AOD no siempre es algo gratuito para los pases
receptores. La AOD reembolsable aumenta la deuda externa. Es un flujo externo que un
pas decide aceptar pero que debe utilizar bien para generar un rendimiento al menos
suficiente como para poder devolver la parte reembolsable adquirida en las condiciones
y plazos acordados. Si no es as, recibir AOD ser parte del problema futuro de
sobreendeudamiento que tenga que afrontar el pas receptor. Los pagos internacionales a
realizar quedarn reflejados en la cuenta financiera de su balanza de pagos con saldo
deudor aumentando su variacin de pasivos. Por su parte, el donante anota una
variacin de activos en el exterior, aumentando su capacidad de financiacin. Algunas
transacciones de AOD no quedan recogidas en la balanza de pagos, como los costes de
educacin secundaria y terciaria, as como la formacin profesional (incluidos
estipendios y viajes) que disfrutan ciudadanos de pases en desarrollo en territorio
nacional del donante. Tambin son AOD pero no queda registrada en la balanza de
pagos los costes administrativos de la gestin de la ayuda, los subsidios a las ONG del
pas donante y los programas de sensibilizacin y educacin para el desarrollo
desempeados en el pas donante.
Es necesario realizar un comentario adicional a la segunda condicin del CAD para
considerar a un flujo internacional como AOD: la de ir destinada a un pas en desarrollo.

70

La cuestin parece obvia pero no es balad. Cules son los pases en desarrollo?
Quin determina ese estatus? Hasta cundo puede mantener un pas esta condicin?
Adems, la inclusin o no de determinados pases que reciban fuertes flujos
internacionales en la condicin de pas en desarrollo o no, ser determinante del flujo
total de AOD internacional. Respondamos a estas cuestiones.
En primer lugar, son considerados pases en desarrollo aquellos que no alcanzan
determinado umbral de renta per capita. Este umbral evoluciona con el tiempo. Quien
compone la lista de pases elegibles para recibir AOD es el propio CAD que elabora una
lista dinmica en el tiempo, agrupando a los pases segn su renta per capita. La lista
actualmente en vigor, vlida para contabilizar los flujos de AOD en el trienio 2008-2010
es la siguiente:

71

72
La lista contiene un total de 151 pases y territorios agrupados en cuatro categoras.
Aquellos pases con una renta nacional bruta per capita inferior a 935 dlares corrientes
en 2007 constituyen el grupo de los pases menos adelantados (49 en total y clasificados
as por decisin multicriterio de Naciones Unidas) y el de otros pases de renta baja
compuesto por 12 pases. El tercer grupo es el denominado pases y territorios de renta
media baja por situarse su renta per capita en el intervalo entre los 936-3.705 dlares
corrientes en 2007. El grupo posee 47 miembros. El cuarto grupo, denominado pases
de renta media alta, posee una renta per capita entre los 3.706 y 11.455 dlares y est
compuesto por 43 miembros14. En principio, aquellos pases que superan este umbral de
renta por habitante quedan excluidos. Los niveles de renta per capita se actualizan
peridicamente en funcin de la inflacin y los tipos de cambio y, aunque no coinciden
exactamente, se aproximan bastante a los que utiliza el Banco Mundial cuando realiza
una clasificacin similar para determinar condiciones de elegibilidad de algunos de sus
instrumentos.
Arabia Saud perdi su condicin de pas en desarrollo en 2008, como la perdi Israel
en 200515. El caso de Israel merece un breve comentario. Inicialmente elegible por su

14

Este grupo de pases de renta media-alta es el que ms ha crecido con respecto a la clasificacin del

periodo 2005-07 que estuvo formada por 36 pases. Bielorrusia, Brasil, Cuba, Fiji, Jamaica, Kazajstn,
Montenegro, Serbia y Surinam han pasado del grupo de pases de renta media-baja en 2005-07 al de renta
media-alta en 2008-10. Camern, Congo, India, Moldavia, Mongolia y Nicaragua han pasado del grupo
de pases de renta baja al de renta media-baja. El salto ms notable es el de Cabo Verde que fue
clasificado como pas menos adelantado en la lista de 2005-07 y es incluido como renta media-baja en la
lista de 2008-10. Estos cambios muestran cmo la lista de pases receptores de AOD es dinmica y esto
tiene su importancia a la hora de contabilizar los totales de AOD mundiales, ya que la serie temporal del
flujo no tiene un destino homogneo.
15

La

evolucin

de

las

listas

de

pases

elegibles

puede

consultarse

en:

http://www.oecd.org/document/45/0,2340,en_2649_34447_2093101_1_1_1_1,00.html- En este sitio web


se ofrecen las listas correspondientes a los seis periodos anteriores, siendo stos: 1996; 1997-99; 2000;
2001-02; 2003-04; 2005-07. Israel todava aparece en la lista de 2003-2004 como pas elegible en la Parte
II de la lista (Ayuda Oficial) dentro del grupo de pases y territorios ms avanzados, pero ya no aparece
en la ofrecida para 2005-2007.

73
nivel de renta per capita, su estatus vari en 1997 al ser transferido del grupo de pases
de renta alta a la conocida como parte II de la lista de pases elegibles. Esta segunda
parte fue creada a partir de 1990 para acoger la ayuda que reciban los pases que
surgan de la desmembracin del bloque sovitico (conocidos como los Nuevos Pases
Independientes). Formaban un grupo especial ya que, si bien algunos posean un nivel
de renta per capita alto, eran receptores de altos flujos internacionales destinados a
apoyar la transicin de su sistema econmico bajo planificacin central a uno de
mercado. Esta parte II de la lista ha desaparecido en la reciente revisin del CAD que
determina la elegibilidad para 2005-2007, pero se ha mantenido hasta entonces. A los
flujos recibidos por los pases miembros de la parte II de la lista se les denomin
Ayuda Oficial (AO) en vez de Ayuda Oficial para el Desarrollo (AOD).
Volviendo al caso de Israel como muestra de los pases que van desapareciendo de la
lista de elegibles, debe tenerse en cuenta esta condicin dinmica de la muestra de
receptores cuando se analice la serie temporal total de la AOD. Israel recibi 2.672
millones de dlares en 1996 (ltimo ao para el que se ofrecen estadsticas), lo que
represent el 4,2% de toda la AOD mundial. La ayuda a Israel super desde 1975 los
1.300 millones anuales de dlares constantes de 2005, siendo el 94,2% el promedio de
los que represent lo recibido por parte de Estados Unidos.
Grfico 1. AOD a Israel.

74

3500

120,0%

3000
100,0%

2500

$ constantes de 2005

80,0%

2000

60,0%

1500

40,0%
1000

20,0%
500

0,0%

19
60
19
61
19
62
19
63
19
64
19
65
19
66
19
67
19
68
19
69
19
70
19
71
19
72
19
73
19
74
19
75
19
76
19
77
19
78
19
79
19
80
19
81
19
82
19
83
19
84
19
85
19
86
19
87
19
88
19
89
19
90
19
91
19
92
19
93
19
94
19
95
19
96

AOD a Israel

% AOD dado por EE.UU.

Fuente: OECD StatExtracts. On line. Notas: los niveles estn expresados en millones de dlares
constantes de 2005 (eje izquierdo). Los porcentajes correspondientes a EE.UU. se miden en el eje
derecho. En 1996 la base de datos ofrece un error de medida de 34,4 millones de dlares superiores a
EE.UU. respecto al total, con lo que el dato es de 101,3%.

Al caso de Israel pueden aadirse, entre otros, el de Portugal que pierde su condicin de
elegibilidad en 1991, varias antiguas colonias francesas como la Guyana, Martinica,
Guadalupe, Reunin en 1992, Grecia en 1995, Bahrain en 2005 o el ya comentado de
Arabia Saud en 2008. Espaa dej de ser elegible en 1983 pasando a formar parte de
los donantes del CAD en 1991.
Una ltima consideracin acerca de los pases en desarrollo es que algunos adems de
ser elegibles por el CAD, pueden ser a su vez donantes de ayuda a otros pases, aunque
esta no queda recogida en las estadsticas del CAD. Es el caso reciente de China,
Venezuela, Irn y algunos de los pases rabes que han otorgado flujos de ayuda a
aquellos pases con los que desean mantener relaciones geoestratgicas digamos
privilegiadas.
La contabilidad de la AOD. Algunos casos frontera.
A pesar de que la definicin del CAD sobre lo que es AOD acota bastante los flujos que
pueden considerarse ayuda, existen algunos casos en los que el criterio de promocin
del desarrollo econmico y el bienestar de los pases en desarrollo como objetivo
principal no est claro. Los detalles del proceso de contabilidad pueden consultarse en

75
OECD-DAC (2006), pero la resolucin actual del CAD ante los casos ms dudosos es la
que se ofrece a continuacin16.
1) La ayuda militar. Queda excluido de computar como AOD el equipamiento
militar y los servicios adjuntos a las operaciones militares, as como la
condonacin de deuda externa realizada por motivos militares. S se consideran
AOD los costes adicionales para el uso de las Fuerzas Armadas como
dispensadoras de ayuda humanitaria o de servicios para el desarrollo.
2) Operaciones de mantenimiento de la paz. Las partidas ligadas a hacer cumplir
los acuerdos de mantenimiento de la paz, no computan como AOD, pero s se
consideran los costes bilaterales netos en que incurran los donantes al llevar a
cabo operaciones administradas o aprobadas bajo Naciones Unidas tales como
seguimiento de procesos electorales, acciones a favor de los Derechos Humanos,
rehabilitacin de infraestructura nacional y desmovilizacin de soldados,
seguimiento y entrenamiento de administradores locales incluidos funcionarios
de aduanas y policas, desarme y eliminacin de minas anti-persona. Por costes
bilaterales netos debe entenderse el coste extra de asignar personal a estas
actividades, netos de dietas y otras compensaciones que puedan recibir de
Naciones Unidas. Actividades similares (como entrenamiento militar para el
desminado) no son recogidas como AOD. El tratamiento a las acciones de
similares caractersticas no llevadas bajo la administracin de Naciones Unidas,
computan como AOD pero no dentro del sector de Operaciones de
mantenimiento de la paz.
3) Entrenamiento a policas. Se considera AOD a menos que sea entrenamiento
para funciones paramilitares o trabajo de contra-insurgencia. El apoyo directo
con policas del donante para el control de desobediencia civil en el pas receptor
no se considera AOD.
4) Programas sociales y culturales. Slo cuando stos estn dirigidos a construir
capacidad en los pases receptores, sern elegibles. Por tanto quedan incluidos

16

Se sigue OECD-DAC (2006b).

76
como AOD los programas de promocin de museos, bibliotecas, escuelas de arte
y msica y de deporte. La promocin y patrocinio de conciertos o costes de viaje
de atletas, por ejemplo, quedan excluidos.
5) Asistencia a refugiados. Computa como AOD aquella que tiene lugar en los
pases en desarrollo o la que se preste en el pas donante pero slo durante el
primer ao como mximo. Tambin son computables sus costes de repatriacin.
6) Energa nuclear. El uso pacfico de esta fuente de energa, como la construccin
de centrales o el uso mdico, se considera AOD. Quedan excluidas las
aplicaciones militares.
7) Investigacin. Computa como AOD slo aqulla que est asociada directa y
primariamente a los problemas del subdesarrollo (por ejemplo, investigaciones
sobre enfermedades tropicales o desarrollo agropecuario en las condiciones
geogrficas de los pases en desarrollo), aunque la investigacin se lleve
fsicamente a cabo en el pas donante.
8) Tratamiento de la deuda externa. Ya que la deuda reembolsable ha sido
computada como AOD en el ao del desembolso, cuando hay una operacin de
condonacin slo se computan los intereses pendientes perdonados, no el
principal. En los casos de deuda comercial pblica garantizada se computa como
AOD el total de la reduccin al no haber habido contabilizacin previa de la
operacin como AOD.
Los agentes que operan en la AOD.
La primera condicin de la definicin del CAD sobre qu es AOD enunciada ms
arriba, mantena que estos flujos deben ser provistos por agencias oficiales, incluyendo
estado y gobiernos locales o sus agencias ejecutoras que se dirigen directamente a los
pases en desarrollo o a instituciones multilaterales cuyo fin principal es la promocin
del desarrollo de dichos pases. En el primer caso, la AOD se denomina bilateral
mientras que en el segundo multilateral.
Estas instituciones multilaterales pueden a su vez subdividirse en:
-

Financieras: tales como el Fondo Monetario Internacional y el grupo del


Banco Mundial surgidos a raz de la conferencia internacional de Bretn
Woods en 1944; los bancos regionales de desarrollo como el asitico (creado
en 1966), el iberoamericano (1960), el africano (1963), el europeo (1990);
as como otros fondos temticos como el Fondo Internacional para el

77
Desarrollo Agrcola (FIDA-1977) o el Fondo para el Medio Ambiente
Mundial (FMAM-1990).
-

No Financieras: aqu se consideran las agencias especializadas de NN.UU17.


como el PNUD, ACNUR, PMA, FAO, OMS, UNICEF, PNUMA, FNUAP,
UNCTAD, Hbitat. Tambin son considerados dentro de esta categora, el
Comit Internacional de la Cruz Roja y el ya mencionado Comit de Ayuda
al Desarrollo (CAD) de la OCDE.

Por ltimo, tambin se considera multilateral la ayuda que presta la


Comisin de la Unin Europea, al ser una institucin supranacional y,
aunque se nutre de las aportaciones de los Estados miembro, tienen
autonoma en su asignacin y gestin y es adicional a la que aportan de
forma bilateral cada uno de los Estados miembro.

Estos tres grupos de agentes mantienen la condicin que su ayuda tiene como origen
fondos pblicos. En el caso de las instituciones de Naciones Unidas que tienen un
mandato especfico que va ms all de la promocin del desarrollo econmico de los
pases, lo que el CAD es asignar un coeficiente a cada una de ellas a la hora de
computar como AOD sus presupuestos respectivos. Este coeficiente se revisa
peridicamente en dilogo con cada institucin no financiera. Por ejemplo, la
Organizacin Mundial de la Salud (OMS) realiza muchas funciones que tienen que ver
con el desarrollo de los pases pobres. El CAD ha asignado a su presupuesto un
coeficiente de 75,4% para considerarlo como AOD. No obstante, aquellos programas
de la OMS que cumplen todas las condiciones de AOD, son computados al 100%,
mientras que, por ejemplo, las aportaciones de la OMS a la Agencia Internacional de
Investigacin contra el Cncer no computa como AOD.
Adems de estos tres grupos de agentes, existen otras entidades que intervienen en el
trabajo de la AOD, aunque ya hemos dicho que los fondos recogidos directamente por
ellas no se consideran AOD (no son oficiales, sino privados). Dentro de esta
categoras se encuentran las Organizaciones No Gubernamentales de Desarrollo

17

El website de NN.UU. en espaol es: http://www.un.org/spanish/

78
(ONGD), las fundaciones de empresas, las universidades, los sindicatos, las iglesias y
cualquier otro que realice cooperacin para el desarrollo, siendo la ausencia de
bsqueda del lucro en la actividad realizada un factor comn.
Los subsidios internacionales que los gobiernos donantes puedan hacer a empresas
privadas, se denominan Otros Flujos Oficiales, establecindose una diferencia clara
con la AOD al apoyar primariamente objetivos comerciales.
Algunas tipologas de AOD.
Los flujos de AOD pueden clasificarse atendiendo a varios criterios. Los principales
son:

Por el responsable principal de su gestin: multilateral, bilateral, descentralizada, no


gubernamental.

Segn los retornos esperados: reembolsable, no reembolsable, rotatoria18.

Segn la condicionalidad impuesta por el donante: ayuda condicionada que puede


ser

comercial (en cuyo caso se denomina ayuda ligada) o poltica (mediante

clusulas democrticas, de respeto a los Derechos Humanos, medioambientales...): o


no condicionada.

Segn las acciones que son objeto de ayuda: financiera (ayuda con dinero o
tratamiento de la deuda externa) y no financiera (econmica19, tcnica, alimentaria,
humanitaria, educacin para el desarrollo, mantenimiento de la paz, etc.).

Para clasificar de forma ms precisa la gran variedad de acciones de AOD, el CAD


dispone de una clasificacin sectorial propia20. Esta tiene un nivel de desglose de cinco

18

La rotatoria puede considerarse un caso particular de reembolsable, pero se caracteriza porque los

retornos recibidos vuelven a emplearse en operaciones de AOD, cosa que no tiene por qu cumplirse en
todas las operaciones reembolsables.
19

Es importante notar la distincin entre ayuda financiera y econmica: la segunda se presta en forma de

bienes y servicios, inversiones, cesin de tecnologa, etc. La primera incluye prstamos (incluidos los
microcrditos), donaciones y operaciones de deuda.
20

Esta se conoce como el Country Reporting System (CRS) y puede consultarse una versin actualizada a

2007 en http://www.oecd.org/document/21/0,2340,en_2649_34469_1914325_1_1_1_1,00.html. En 2006

79
dgitos. En la Tabla siguiente ofrecemos el desglose nicamente al nivel de dos dgitos,
ya que la intencin es mostrar la gran variedad de actividades y destinos hacia los que se
dirige la AOD. En algunos casos, su relacin con la reduccin de la pobreza de los
pases en desarrollo en ms claro que en otros. Sobre esta cuestin volveremos ms
adelante, pero como se observa en el grfico 2, en 2006 el predominio lo tuvo el sector
de Infraestructura y servicios sociales (casi el 35%) seguido de las operaciones
relacionadas con la deuda externa, excepcionalmente altas ese ejercicio (22,6%).

se realiz una reestructuracin respecto a la que se vena utilizando desde 2002. El cuadro de
correspondencias puede consultarse en http://www.oecd.org/dataoecd/24/23/37353078.xls.

80
Tabla 2. Sectores del CAD, desglosados a dos dgitos.
CAD
100

200

300

400

500
600
700

910
920
998

SECTOR

DESCRIPCIN
INFRAESTRUCTURAS SOCIALES Y SERVICIOS
110 EDUCACIN
120 SALUD
130 PROGRAMAS / POLTICAS SOBRE POBLACIN Y SALUD
REPRODUCTIVA
140 ABASTECIMIENTO Y DEPURACIN DE AGUA
150 GOBIERNO Y SOCIEDAD CIVIL
160 OTROS SERVICIOS E INFRAESTRUCTURAS SOCIALES
INFRAESTRUCTURA ECONMICA Y SERVICIOS
200 INFRAESTRUCTURA ECONMICA Y SERVICIOS
210 TRANSPORTE Y ALMACENAMIENTO
220 COMUNICACIONES
230 GENERACIN Y SUMINISTRO DE ENERGA
240 SERVICIOS BANCARIOS Y FINANCIEROS
250 EMPRESAS Y OTROS SERVICIOS
SECTORES PRODUCTIVOS
300 SECTORES PRODUCTIVOS
310 AGRICULTURA, SILVICULTURA Y PESCA
320 INDUSTRIA, MINERA Y CONSTRUCCIN
330 COMERCIO Y TURISMO
MULTISECTORIAL
410 PROTECCIN MEDIO AMBIENTE
420 MUJER Y DESARROLLO
430 OTROS, MULTISECTORIAL
AYUDAS EN FORMA DE SUMINISTRO DE BIENES Y PROGRAMAS
510 AYUDAS EN FORMA DE SUMINISTRO DE BIENES Y PROGRAMAS
ACTIVIDADES RELACIONADAS CON LA DEUDA
600 ACTIVIDADES RELACIONADAS CON LA DEUDA
AYUDA DE EMERGENCIA
700 AYUDA DE EMERGENCIA
710 AYUDA ALIMENTARIA DE EMERGENCIA
720 OTRAS AYUDAS EN SITUACIONES DE EMERGENCIA Y
CATSTROFES
COSTES ADMINISTRATIVOS DONANTES
APOYO A ORGANIZACIONES NO GUBERNAMENTALES (ONGD)
SIN ESPECIFICACIN / NO CLASIFICADOS

81
Grfico 2. Distribucin sectorial de la AOD neta en 2006.
6,4
r
ica
cif
pe
Es
n
r ia
Si
ita
an
m
u
H
a
ud
Ay

i
Co

cio
er
m

4,1
6,9
22,6
3,1
5,8
1,1
0,8

o
m
ris
Tu

2,9

ra
tu
ul
r ic
Ag
s
tr a
O

4,8
2,8
3,9
4,7

es
on

ci
ica
un
s
m
le
m
cia
co
y
so
s
rte
o
i
o
ic
o
sp
rv
nt
ie
an
se
y
Tr
am
a
ne
ur
t
a
c
s
d
y
ru
lu
st
ua
Sa
ee
Ag
fra
in
a
tr a
tiv
O
ra
is t
in
m
Ad
y
l
cia
So
ra
tu
c
tru
es
fra
In

11,4
4,5
8,9
4,0
4,1
4,7
8,7
34,9
5,0

10,0

15,0

20,0

25,0

30,0

35,0

Fuente: OCDE-DAC. CRS On-line. Nota: los sectores en rojo corresponden a la desagregacin de dos
dgitos. En los sectores de infraestructura social, econmica y productivo se ofrece un segundo nivel de
desglose (barras en azl).

La tabla 3, ofrece la evolucin


cin por dcadas de tres sectores importantes, la educacin la
salud y las operaciones de deuda. Los datos permiten realizar dos afirmaciones: frente a
una posible creencia popular que identifique la ayuda al desarrollo con lo destinado a
educacin y salud de los pases pobres, estos dos sectores apenas han representado el
5% y 3% respectivamente en la ayuda considerada a largo plazo (1974-2006). El
mximo de la serie en educacin se situ en el 9,5% en 2004, mientras que el de salud
fue el 5,5% en 1998. Por encima de ellos se sita la ayuda que ha reestructurado la
deuda externa (un promedio del 6,5%) para el periodo 1974-2006 con un mximo del
22,4% del total de AOD neta en 2005. La evolucin de la serie para cada sector se
ofrece en los grficos 3, 4 y 5.

Tabla 3. Porcentajes de AOD neta a educacin, salud y deuda externa en varios


periodos.
Periodo
Educacin
Salud
Deuda
1980-1989
3,9%
2,3%
2,5%
1990-1999
6,2%
4,0%
7,4%
2000-2006
7,5%
4,7%
12,6%
1990-2006
6,7%
4,3%
9,5%
1974-2006
5,1%
3,2%
6,5%
Fuente: OCDE-DAC. CRS On-line.

82
Grfico 3. Evolucin de la AOD Neta a educacin.
12000

10,0%
9,0%

Millones de $ corrientes

10000

8,0%
7,0%

8000

6,0%
6000

5,0%
4,0%

4000

3,0%
2,0%

2000

1,0%

AOD neta a educacin

20
06

20
04

20
02

20
00

19
98

19
96

19
94

19
92

19
90

19
88

19
86

19
84

19
82

19
80

19
78

0,0%

19
76

19
74

% sobre el total AOD neta

Fuente: OCDE-DAC. CRS On-line.

Grfico 4. Evolucin de la AOD Neta a salud.


7000

6,0%

Millones de $ corrientes

6000

5,0%

5000
4,0%
4000
3,0%
3000
2,0%
2000
1,0%

1000

AOD neta a salud

Fuente: OCDE-DAC. CRS On-line.

% sobre el total AOD neta

20
06

20
04

20
02

20
00

19
98

19
96

19
94

19
92

19
90

19
88

19
86

19
84

19
82

19
80

19
78

0,0%

19
76

19
74

83
Grfico 5. Evolucin de la AOD Neta a acciones relacionadas con deuda externa.
30000

25,0%

Millones de $ corrientes

25000

20,0%

20000
15,0%
15000
10,0%
10000
5,0%

5000

AOD para deuda externa

20
06

20
04

20
02

20
00

19
98

19
96

19
94

19
92

19
90

19
88

19
86

19
84

19
82

19
80

19
78

0,0%

19
76

19
74

% sobre el total de AOD neta

Fuente: OCDE-DAC. CRS On-line.

Cuando se realizan estudios empricos sobre la AOD, sta puede considerarse de varias
formas, constituyendo otro grupo de tipologas:
a) AOD Neta o Bruta. La AOD bruta considera
era los flujos llegados a cada pas
receptor cada ao, mientras que la AOD neta resta a la bruta los reembolsos
correspondientes a AOD reembolsable pasada y que han vencido en ese
ejercicio. Existe por tanto la posibilidad (y sucede en el nivel bilateral) de que en
determinados aos los pases receptores de AOD sean financiadores netos de
alguno de sus anteriores donantes. Mientras la AOD Bruta expresa con mayor
nfasis el esfuerzo de los donantes, la AOD Neta expresa de forma ms clara
cul es el beneficio real que ha disfrutado el receptor. Es por eso que nos parece
que para los estudios de eficacia macro de la ayuda la mejor opcin es utilizar la
AOD Neta.
b) AOD bajo compromisos o desembolsos. Los compromisos recogen la suma de
operaciones acordadas por los donantes y receptores en cada ejercicio aunque no
hayan sido an satisfechas, mientras que los desembolsos computan nicamente
los flujos realmente liberados en cada ejercicio. Es claro que la diferencia entre
uno y otro revela la eficiencia asignativa de los donantes para financiar en el
plazo prometido las operaciones inicialmente aprobadas. Cuanto menor sea esta
diferencia, ms creble es el compromiso del donante y ms fcil ser la

84
planificacin y ejecucin de las intervenciones por parte del receptor. Para los
estudios de eficacia de la ayuda ex post la variable ms idnea es utilizar los
desembolsos, mientras que si estudiamos modelos de asignacin ex -ante quizs
sea ms aconsejable utilizar los compromisos. La evolucin de ambas variables
hasta 2007 se ofrece en el Grfico 6.
Grfico 6. Evolucin de los compromisos y desembolsos.
140.000

120.000

millions constant USD 2006

100.000

80.000

60.000

40.000

20.000

04

02

00

98

96

94

92

90

88

06
20

20

20

20

19

19

19

19

19

86

19

84

82

80

78

76

74

72

70

68

66

64

62

Desembolsos

19

19

19

19

19

19

19

19

19

19

19

19

19

19

60

Compromisos

Fuente: OCDE-DAC. CRS On-line.

c) AOD o AED (Asistencia Efectiva para el Desarrollo). En 1999, Chang,


Fernndez-Arias y Servn (1999) publicaron un trabajo en el que ofrecan un
nuevo sistema para medir la ayuda. La denominaron Asistencia Efectiva para el
Desarrollo (Effective Development Assistanse o EDA en ingls) y ofrecieron
datos para 133 pases entre 1975-1995 para poder comparar la AOD con la
AED. La AED es el resultado de la suma de las donaciones de los donantes ms
los prstamos oficiales pero valorados en trminos de donacin. El cambio
propuesto se justific porque la AOD neta, tal como vena midindose hasta
entonces, cometa siete fallos: i) subestimaba el flujo realmente desembolsado
por el donante al restar la amortizacin de los prstamos cuando son repagados a
su vencimiento; ii) los prstamos de alta concesionalidad quedaban
sobrevalorados al considerarlos por su valor nominal, deberan considerarse slo
el componente de donacin; iii) al contrario que en el caso anterior, los
prstamos de baja concesionalidad tendan a subrepresentar el esfuerzo

85
financiero del donante; iv) para los autores los prstamos de asistencia tcnica
no deberan computarse, pues el donante queda beneficiado al ser l quien los
presta y cobra por ello; v) deberan tenerse en cuenta los costes de oportunidad
de las cantidades de AOD y para ello proponen calcular el valor actualizado no
bajo una tasa de descuento fija del 10% como hace el CAD, sino teniendo en
cuenta el tiempo, la moneda del flujo y el vencimiento elaborando curvas de
rendimiento para cada prstamo; vi) asuncin implcita de que los tipos de
inters son fijos, pero la realidad de los retornos es que pueden ser a inters
variable lo que conduce a predecir las cargas futuras por intereses de los
receptores; vii) no incorporar el riesgo de crdito supone que el tipo de mercado
refleja de forma correcta el riesgo, pero habra que incorporarlo ya fuera
aumentando la tasa de descuento o por proyecciones del servicio de la deuda
menores. Este ltimo paso exige utilizar horquillas de riesgo especficas y
probabilidades de impago, con lo que la AED no lo contempla aunque los
autores lo advierten como debilidad del cmputo tradicional de la AOD. Aunque
la elaboracin de la AED supone una mejora tcnica importante y trabajos sobre
eficacia de la ayuda muy reconocidos la han utilizado21, lo cierto es que la
correlacin entre la AOD y la EDA en series o datos de panel amplios se sita
en torno al 98%, con lo que los resultados no varan mucho. Esta es una seal
del alto grado de concesionalidad y el elevado componente de donacin que, en
promedio, suelen tener los prstamos concedidos como AOD.
d) Ratios relativos a AOD. Cuando slo consideramos el flujo total de AOD
recibido por un pas sea en trminos corrientes o constantes- y no lo
ponderamos por ninguna otra variable podemos realizar un anlisis bastante
sesgado ya que todos los pases son homogneos. Para disminuir este sesgo de
seleccin, podemos dividir el flujo de AOD por variables como el PNB del pas
receptor, su poblacin (AOD per capita), su volumen de importaciones, de
inversin (o formacin bruta de capital), o el presupuesto del gobierno. Todas

21

Quiz el ms influyente, como se ver ms adelante, es el de Burnside y Dollar (2000).

86
estas ratios estn disponibles en la base de datos del Banco Mundial World
Development Indicators. Un ejemplo de cmo vara el anlisis de la ayuda
mundial cuando se utilizan los datos del flujo de AOD ponderados o sin
ponderar queda reflejado en la tabla 4.
Tabla 4. Ratios y volumen de AOD. Promedios de 1981-2003.
% AOD/PIB %AOD/GP
CHINA Ranking
Valor
INDIA

Ranking
Valor

141

n.d.

(0,38)

%AOD/FBC %AOD/M

$ AODpc

AOD M$

140

115

166

(1,01)

(2,33)

(1,56)

(1.837)

134

124

124

88

161

(0,61)

(2,68)

(2,68)

(5,47)

(2,04)

(1.761)

Fuente: Banco Mundial, WDI.


Nota: el primer receptor mundial de AOD a lo largo del periodo considerado es Egipto con 2.076
millones de $. Israel ocup el 8 puesto con 1.192 millones.

Cuando consideramos el flujo total de AOD en millones de dlares, China aparece


como el segundo receptor mundial tras Egipto y la India el tercero. Los trminos se
invierten cuando utilizamos los ratios. En trminos per capita China slo recibi como
promedio de los 23 aos considerados un dlar y medio, ocupando el ltimo puesto del
ranking de pases con datos disponibles y la India dos dlares. La ayuda que recibe
China apenas representa el 0,38% de su PIB y la India el 0,61%. Los ratios permanecen
en valores bajos para los pases grandes, mientras que se elevan al considerar a los
pases pequeos.
En la Tabla 5 se ofrecen los 20 pases que durante el periodo 1990-2004 tuvieron una
ratio AOD/RNB ms elevada. Esta ratio es la que se considera comnmente para
clasificar a los pases dependientes de la ayuda. Tambin los estudios de eficacia de la
ayuda que han testado la hiptesis de una relacin cuadrtica o de rendimientos
decrecientes entre la ayuda y el crecimiento de la renta per capita han utilizado este
indicador, situndose el valor del punto de inflexin entre los rendimientos crecientes y
decrecientes entre el 15-35% de AOD/RNB. Adems de los que aparecen en la tabla, el
nmero total de pases que superaban el 15% AOD/RNB dentro del promedio 19902004 fue de 38.
Tabla 5. Los 20 pases con mayor AOD/RNB entre 1990-2004.
Pas
Santo Tom y Prncipe
Somalia
Palau
Timor-Este
Islas Marshall

aos con dato


15
1
13
5
7

Media %
98,4
59,1
53,5
51,5
47,7

87
Guinea-Bissau
15
47,7
Micronesia, Estados Federados de
12
43,2
Mozambique
15
40,5
Afganistn
4
30,4
Eritrea
12
27,6
Nicaragua
15
27,4
Rwanda
15
26,8
Malawi
15
26,4
Sierra Leona
15
25,3
Liberia
8
25,2
Guyana
15
24,6
Kiribati
15
24,0
Burundi
15
23,6
Zambia
15
23,6
Cabo Verde
15
23,5
Fuente: Banco Mundial, WDI. Nota: la segunda columna recoge el nmero de observaciones disponibles
con las que se ha calculado el promedio, dentro de los quince aos comprendidos en el periodo.

No deja de asombrar que existan cuatro pases en los que ms de la mitad de su renta
nacional bruta est constituida por los flujos exteriores en forma de ayuda, llegando al
98% en el caso de Santo Tom y Prncipe22. Cabe hacerse la pregunta hasta qu punto
podemos considerar a estos pases independientes, al menos desde el punto de vista
econmico.
La tabla 6 recoge el ratio de AOD respecto al gasto pblico central. De los 20 pases que
presentan valores ms elevados, destaca Ecuador, que en el periodo del que hay datos
(1990-1995) alcanz valores tan desorbitados como cerca de 22.000 y 21.000 en 1994 y
1995 respectivamente. Las razones de este dato tan atpico pueden encontrarse en
recaudaciones extraordinariamente bajas del periodo considerado, correlacionadas con
tasas de crecimiento del PIB real negativos (-0,2% en 1990 y 1,05% en 1995) o muy
bajos (1,38% en 1991; 0,12% en 1992; 1,2% en 1994; y 0,25% en 1995).
Tabla 6. Los 20 pases con mayor ratio AOD/Gasto Pblico entre 1990-2004.
Pas
Ecuador
Afganistn
Gambia
Tayikistn

22

aos con dato


5
1
1
6

Media %
17.218,3
319,3
182,3
119,4

En la serie de quince aos utilizada, el valor mnimo se situ en el 54,8% (2002) y el mximo en el

210,56% (1995). Super el 100% todos los aos entre 1990-96.

88
Rwanda
3
119,1
Guinea
3
117,1
Camboya
3
114,5
Nicaragua
15
105,7
Bhutan
15
94,4
Burundi
8
84,0
Kyrgyz Rep.
7
82,6
Zambia
2
82,3
Etiopia
1
81,4
Vanuatu
6
81,1
El Salvador
3
73,8
Senegal
3
73,3
Uganda
5
69,8
Ghana
4
64,5
Mongolia
1
63,3
Georgia
8
57,1
Fuente: Banco Mundial, WDI. Nota: la segunda columna recoge el nmero de observaciones disponibles
con las que se ha calculado el promedio, dentro de los quince aos comprendidos en el periodo.

Ms all del caso extremo de Ecuador, llaman la atencin pases como Nicaragua y
Bhutan que, sobre la base de observaciones para los quince aos del periodo, presentan
valores en torno al 100%. Tambin es significativo que en el ranking presentado hay
pases de todas las regiones geogrficas. Tres de estos pases son de desarrollo humano
bajo (Burundi, Zambia y Gambia). Las rentas per capita van desde los 630 dlares PPA
de Burundi hasta los 3.580 dlares de Ecuador. No parece que ninguna de estas
variables (nivel de desarrollo o renta per capita) presenten altas correlaciones con la
recepcin de AOD.
El ratio de AOD entre el nmero de habitantes del pas ofrece un resultado interesante.
Los pases menos poblados reciben mucha ms ayuda per capita que los pases grandes.
Esto queda claramente reflejado en la Tabla 7 en la aparecen los 20 pases que
recibieron ms y menos ayuda per capita en el periodo 1990-2004.
Tabla 7. Los 20 pases con ms y menos AOD per capita entre 1990-2004.
Pas
Nueva Caledonia
Polinesia Francesa
Palau
Mayotte
Islas Marshall
Micronesia
Antillas Holandesas
S. Tom y Prncipe
Aruba
Cabo Verde
Dominica
Tonga
Palestina

aos con dato


15
15
2
2
14
14
15
15
2
15
15
15
12

Media $
Pas
1.860,2 Argentina
1.730,6 Corea del Norte
1.136,0 Qatar
1.106,1 Myanmar
913,3 Iran
803,2 Bermudas
483,1 Singapore
332,5 Nigeria
327,8 Macao, China
272,6 Mxico
271,8 Venezuela, RB
266,5 Kuwait
245,7 China

aos con dato Media $


15
4,0
15
4,0
15
3,1
15
2,5
15
2,4
15
2,4
15
2,4
15
2,3
15
2,1
15
2,1
15
2,0
12
1,9
15
1,9

89
Samoa
Seychelles
Vanuatu
Kiribati
Israel
St. Kitts and Nevis

15
15
15
15
15
15

229,8 Hong Kong, China


15
1,8
224,2 India
15
1,8
218,4 Libia
15
1,3
212,4 Brasil
15
1,1
193,8 Arabia Saud
15
1,0
171,9 Emiratos rabes
15
-0,2
Unidos
Bosnia- Herzegovina
13
171,3 Corea del Sur
15
-1,9
Fuente: Banco Mundial, WDI. Nota: la segunda y quinta columnas recogen el nmero de observaciones
disponibles con las que se ha calculado el promedio, dentro de los quince aos comprendidos en el
periodo. Valores en dlares corrientes.

Los pases del bloque de la izquierda son los que reciben ms ayuda por habitante. La
mediana para la muestra de 171 pases con datos fue de 34,17$, lo que da una idea de la
fuerte dispersin de la variable. Los grandes receptores de ayuda per capita son pases
pequeos y muchos de ellos tambin son grandes receptores de AOD/RNB. Ntese el
mencionado caso de Israel que recibe 193$ por habitante, siendo un pas de renta per
capita alta (24.382 $PPA en 2004, ocupando el puesto 23 de 177 segn el PNUD,
2006).
Por lo que se refiere a la ratio AOD entre importaciones de bienes y servicios, la tabla 8
muestra como hay 14 pases que superan el umbral del 50% en dicha ratio, con los casos
extremos de S. Tom y Prncipe y Guinea Bissau superando el 100%. Un dato que
refuerza cmo la ayuda realmente sostiene la viabilidad econmica de algunos pases.
Ntese el predominio de los pases africanos debido a su baja participacin en el
comercio internacional.

Tabla 8. Los 20 pases con mayor ratio AOD/M entre 1990-2004.


Pas
Aos con dato Media %
S. Tom y Prncipe
6
106,0
Guinea-Bissau
12
102,9
Rwanda
15
88,4
Burundi
15
81,5
Mozambique
15
73,3
Sierra Leone
15
69,8
Etiopia
15
63,2
Malawi
13
61,3
Burkina Faso
7
59,2
Uganda
15
57,6
Rep. Centro Africana
5
55,1
Nger
15
55,0
Chad
5
52,7
Tanzania
15
50,2
Comores
6
46,9
Lao PDR
12
46,0
Haiti
15
45,7

90
Madagascar
15
45,2
Guinea Ecuatorial
7
42,1
Cabo Verde
15
41,2
Fuente: Banco Mundial, WDI. Nota: la segunda columna recoge el nmero de observaciones disponibles
con las que se ha calculado el promedio, dentro de los quince aos comprendidos en el periodo.

El porcentaje de AOD sobre la formacin bruta de capital puede expresar el potencial


complemento que la ayuda puede tener para financiar el crecimiento de los pases a
travs de la elevacin de la inversin productiva. La tabla 9 ofrece los valores
porcentuales de los 20 primeros pases en el ranking promedio entre 1990-2004.
Tabla 9. Los 20 pases con mayor ratio AOD/FBC entre 1990-2004.
Pas
Aos con dato Media %
Somalia
1
345,7
Sierra Leona
15
316,8
Burundi
15
262,4
Guinea-Bissau
15
243,9
Liberia
4
241,5
S. Tom y Prncipe
15
236,4
Rwanda
15
192,2
Djibouti
15
186,7
Malawi
15
163,6
Nger
15
161,9
Timor-Este
5
157,7
Mozambique
15
148,9
Zambia
15
147,4
Congo, Dem. Rep.
15
145,4
Albania
15
138,5
Rep. Centro Africana
13
117,4
Eritrea
12
112,4
Afganistn
3
112,1
Kiribati
3
102,1
Nicaragua
15
100,1
Chad
15
98,6
Fuente: Banco Mundial, WDI. Nota: la segunda columna recoge el nmero de observaciones disponibles
con las que se ha calculado el promedio, dentro de los quince aos comprendidos en el periodo.

En este caso particular, al disponer Somalia de una sola observacin hemos recogido 21
pases. La mediana de la muestra de 156 pases con datos fue de 17,6%. Los porcentajes
tan elevados muestran los bajos niveles de inversin que tienen los pases y quiz cmo
los incentivos a aumentarlo son bajos si reciben tanta AOD fornea, producindose un
potencial efecto sustitucin del esfuerzo inversor nacional por los fondos externos.
Como se ver ms adelante es una de las hiptesis subyacentes la ineficacia de la ayuda
para elevar la renta per capita de los pases receptores. En el extremo opuesto a los
grandes porcentajes, en la muestra aparecieron 18 pases en los que la AOD no lleg a

91
representar el 1% de la inversin, siendo los pases con ms dinamismo econmico
(Argentina, China, Chile, Brasil, Mxico o Malasia estn entre ellos). Dos pases
(Emiratos rabes Unidos y Corea del Sur) tuvieron porcentajes negativos debido a los
retornos de AOD reembolsable pasada (recurdese que el numerador es AOD Neta).
2.3. LA SERIE HISTRICA DEL TOTAL DE AOD Y SUS PERSPECTIVAS.
En los grficos 7 y 8, se ofrece la evolucin del total de AOD neta desde 1950 hasta
2006 tanto en niveles como en tasas de variacin interanual. El grfico 6 contiene la
lnea de tendencia y ecuacin del crecimiento exponencial del flujo de AOD desde
1950. El total acumulado en todo el periodo se elev a 1.610.218 millones de dlares
corrientes y 2.780.077 en millones de dlares constantes de 200523.

23

Aunque el trabajo de series temporales en dlares constantes sea ms habitual en algunos estudios

economtricos, sobre todo cuando se emplee la regresin, hemos preferido reportar los datos en dlares
corrientes ya que los pases receptores y sus habitantes viven y deciden a precios corrientes. Adems la
serie de dlares constantes ofrecida por el CAD slo parte de 1960. De todas formas, el coeficiente de
correlacin entre los datos en trminos corrientes y constantes es de 0,9027 con lo que las diferencias son
poco significativas.

92
Grfico 7. Evolucin de la AOD neta mundial.
140.000

120.000

y = 2936,9e0,0705x
R2 = 0,9572
100.000

USD million

80.000

60.000

40.000

20.000

19
57
19
59
19
61
19
63
19
65
19
67
19
69
19
71
19
73
19
75
19
77
19
79
19
81
19
83
19
85
19
87
19
89
19
91
19
93
19
95
19
97
19
99
20
01
20
03
20
05

19
50
-5
5

Fuente: Elaboracin propia a partir de los datos del CAD.

Grfico 8. Tasa de variacin de la AOD neta mundial.


70,0%

120.000

60,0%
100.000
50,0%

Millones USD corrientes

30,0%
60.000
20,0%

10,0%

40.000

0,0%
20.000
-10,0%

-20,0%

19
50
-5
5
19
57
19
59
19
61
19
63
19
65
19
67
19
69
19
71
19
73
19
75
19
77
19
79
19
81
19
83
19
85
19
87
19
89
19
91
19
93
19
95
19
97
19
99
20
01
20
03
20
05

Millones $ de AOD neta

Fuente: Elaboracin propia a partir de los datos del CAD.

Tasas variacin interanual

Tasas de Variacin

40,0%

80.000

93
En la Tabla 10 se ofrecen los datos de las cuantas anuales, su tasa de variacin
interanual, tasas de crecimiento acumulado y volatilidades de algunos periodos de
especial inters24. Pueden distinguirse tres periodos en esta serie temporal.
Tabla 10. Serie temporal de la AOD Neta, variaciones y volatilidades.
Ao
1950-55
1956
1957
1958
1959
1960
1961
1962
1963
1964
1965
1966
1967
1968
1969
1970
1971
1972
1973
1974
1975
1976
1977
1978
1979
1980
Periodo

Millones US$
Tasa Variacin
1.953
3.172
62,4%
3.632
14,5%
4.169
14,8%
4.058
-2,7%
4.676
15,2%
5.244
12,1%
5.554
5,9%
5.752
3,6%
5.924
3,0%
6.489
9,5%
6.459
-0,5%
6.358
-1,6%
6.914
8,7%
6.889
-0,4%
6.713
-2,6%
7.284
8,5%
8.844
21,4%
8.703
-1,6%
11.180
28,5%
13.254
18,6%
13.248
0,0%
14.956
12,9%
19.148
28,0%
21.841
14,1%
26.195
19,9%
Crec.
Volatilidad
(Coeficiente de
Acumulado
Variacin)

Ao
Millones US$
Tasa Variacin
24.604
-6,1%
1981
27.037
9,9%
1982
26.770
-1,0%
1983
28.130
5,1%
1984
28.755
2,2%
1985
35.836
24,6%
1986
40.606
13,3%
1987
47.063
15,9%
1988
45.735
-2,8%
1989
52.730
15,3%
1990
56.418
7,0%
1991
60.488
7,2%
1992
56.148
-7,2%
1993
58.820
4,8%
1994
58.780
-0,1%
1995
55.591
-5,4%
1996
48.465
-12,8%
1997
52.087
7,5%
1998
53.233
2,2%
1999
53.749
1,0%
2000
52.435
-2,4%
2001
58.292
11,2%
2002
69.085
18,5%
2003
79.553
15,2%
2004
106.777
2005
34,2%
104.421
-2,2%
2006
Ranking de
volatilidad

1960-1969

4,0%

0,12

1970-1979

12,5%

0,40

1980-1989

5,7%

0,26

1990-1999

0,1%

0,07

2000-2006

9,9%

0,31

24

La volatilidad se ha calculado en torno a la media de cada periodo, a travs de su coeficiente de

variacin. Dicho coeficiente es el cociente entre la desviacin estndar y el promedio.

94
1950-1990

9,60%

0,87

1990-1997

-1,00%

0,07

1998-2006

8,00%

0,32

Fuente: CAD y clculos propios.

El primer periodo es el comprendido desde los orgenes de los aos 50 hasta 1990. En
estas cuatro dcadas, la ayuda fue aumentando su volumen a un promedio acumulado
del 9,6% con tasas de variacin interanual por encima del 20% en varios aos (1974 y
1978 del 28%; 25% en 1996; 21% en 1972 y 20% en 1980). Tambin hubo 9 periodos
en los que tasa interanual fue negativa. La volatilidad ms alta se produjo en la dcada
de los 70 cuando el coeficiente de variacin tom el valor de 0,4.
El segundo periodo recorre desde el final de la Guerra Fra en 1990 hasta 1997. En stos
siete aos el crecimiento fue negativo (-1%), con una diferencia de 12.023 millones de
dlares entre lo aportado en el mximo de 1992 y el mnimo alcanzado en 1997. Es la
etapa que suele denominarse de fatiga de los donantes. La volatilidad de la ayuda
(0,07) disminuy considerablemente respecto a la del periodo 1950-1990.
El tercer periodo es la recuperacin que tiene el volumen de AOD neta mundial desde
1997 hasta 2006, con un mximo histrico en 2005 de 106.777 millones de dlares
corrientes. El crecimiento acumulado de esta dcada ha sido del 8%, con la mayor tasa
de variacin interanual de la serie situada en 2005 (34,2%). La volatilidad aument a
0,32 debido a este repunte mantenido en 2006.
Si analizamos la volatilidad de la ayuda otorgada por cada uno de los donantes en el
periodo 1960-2005 (tabla 11), vemos que Irlanda y Austria han sido ms voltiles,
Estados Unidos y Grecia los menos, y Espaa se sita en el puesto decimocuarto con
coeficiente de variacin de 0,81.
Tabla 11. Volatilidad de la ayuda por donantes. 1960-2005.
Puesto
1
2
3
4
5
6
7
8
9
10
11
12
13

Pas
Irlanda
Austria
Luxemburgo
Reino Unido
Finlandia
Suiza
Italia
Noruega
Portugal
Dinamarca
Japn
Holanda
Suecia

CV
1,36
1,25
1,04
1,03
1,03
1,01
1,00
1,00
0,99
0,94
0,90
0,86
0,86

95
14
Espaa
15
Blgica
16
Nueva Zelanda
17
Alemania
18
Francia
19
Canad
20
Australia
21
Estados Unidos
22
Grecia
Fuente: CAD y clculos propios

0,81
0,81
0,80
0,77
0,77
0,72
0,67
0,66
0,38

El mximo de 2005 viene explicado por dos principales razones: la cuantiosa ayuda
humanitaria destinada a compensar el desastre del tsunami en Asia y las fuertes
operaciones de condonacin de deuda a Irak (3.914 millones slo por parte de estados
Unidos) y Nigeria (600 millones). A estas dos operaciones puntuales puede aadirse la
ayuda a Afganistn (Estados Unidos aport a este pas 1.400 millones). El grfico 9
muestra la comparativa de los aumentos de cada uno de los principales instrumentos de
ayuda desde 2000. El protagonismo de la condonacin de deuda y su naturaleza peculiar
al no suponer nuevo dinero, ha hecho que organizaciones como ActionAid (2005)
denominen este aumento como ayuda fantasma.
La importancia relativa de las operaciones de deuda queda reflejadas en la Tabla 12. En
ella se aprecia cmo la deuda ha supuesto ms del 20% de la AOD neta total en los
ejercicios de 2003, 2005 y 2006.

Grfico 9. Evolucin reciente de los principales instrumentos de AOD.

96

Fuente: OECD-DAC (2007)

Tabla 12. AOD Neta a operaciones de deuda. Millones de $ corrientes.


Donantes CAD
Estados Unidos
% EE.UU./CAD
% deuda/AODNeta total
Fuente: CAD y clculos propios.

2000
3.504
133
3,8%
6,5%

2001
4.156
125
3,0%
7,9%

2002
6.449
581
9,0%
11,1%

2003
15.969
2.569
16,1%
23,1%

2004
8.071
204
2,5%
10,1%

2005
25.903
4.101
15,8%
24,3%

2006
21.889
1.686
7,7%
21,0%

El grfico 10 pone en perspectiva de futuro el esfuerzo que los donantes han prometido
realizar.
Grfico 10. Evolucin de la AOD neta 1990-2006 y simulacin del aumento 20072010.

97

Fuente: OECD-DAC (2007).

Tras el mximo de 2005 que quebr la tendencia anterior por las razones ya expuestas, y
que se han mantenido en 2006, se espera otro pequeo descenso en el monto total de
AOD neta en 200725, pero que confirme la tendencia al alza desde 1997. La base de la
simulacin son los compromisos formalizados por los distintos donantes miembros del
CAD de ir aumentando progresivamente los volmenes de AOD. El detalle del
compromiso de cada donante puede consultarse en OECD-DAC (2007). Esta es una
primera fase de incrementos que intentan sentar una base sobre la que lograr en 2015 los
Objetivos de Desarrollo del Milenio. Hasta la fecha, los compromisos verbales de los
donantes no han tenido, por lo general, un cumplimiento firme en el largo plazo, pues
ya desde los 70 existe el compromiso de alcanzar el esfuerzo del 07% PNB en AOD
por parte de todos los donantes. En los ltimos aos, slo cinco donantes cumplen o
superan este umbral (Suecia, Noruega, Luxemburgo, Holanda y Dinamarca).

25

Las cifras preliminares ofrecidas por la OCDE sitan en 103.700 millones de dlares la AOD neta de

2007, una cada en trminos reales del 8,4% respecto a 2006 (OECD-DAC 2008).

98

3.

CONCLUSIONES.

Este captulo ha querido establecer el marco conceptual para poder abordar la pregunta
que gua el libro. Para poder responder a si la ayuda al desarrollo reduce la pobreza, es
imprescindible definir con precisin qu se entiende por pobreza y cmo medirla
(desarrollado en el captulo anterior) y qu es ayuda para el desarrollo. Una estrategia de
desarrollo exige, adems del marco conceptual, unos indicadores y unas polticas para
lograrlo. Hemos visto en este captulo que el desarrollo es un concepto muy amplio que
ha evolucionado con el tiempo. El paradigma que parece prevalecer en la actualidad es
el del Programa de Naciones Unidas para el Desarrollo (PNUD) denominado desarrollo
humano. Uno de sus principales idelogos fue A.K. Sen que entiende el desarrollo
como la expansin de las libertades de los individuos. Cuando se amplan las libertades,
los individuos gozan de ms oportunidades y capacidades para poder vivir bajo el
proyecto de vida que estiman valioso. Eso es el desarrollo humano.
La ayuda al desarrollo es un flujo que pretende contribuir a financiar el desarrollo de los
pases. Hemos expuesto su concepto y formas de medicin, as como la evolucin
histrica de este flujo.
De todas formas es importante sealar que la ayuda no es el nico (ni el principal) flujo
que puede financiar el proceso de desarrollo. Naciones Unidas insisti en la conocida
como Declaracin del Milenio en que haba que potenciar el aumento de los recursos
nacionales de los pases en desarrollo, as como tratar de obtener nuevos recursos
adicionales a la AOD. Entre las propuestas ya presentadas a consideracin de la
comunidad internacional en las Naciones Unidas se encuentran la conocida como tasa
Tobin (una tasa sobre las inversiones especulativas de capitales), el impuesto sobre el
contenido de carbn de los hidrocarburos, una tasa sobre los billetes de avin, la
International Finance Facility (un adelanto de los fondos de ayuda comprometidos a
futuro propuesto por el Reino Unido), la creacin de Derechos Especiales de Giro para
el desarrollo dentro del FMI, una reduccin del coste de las remesas, innovaciones en
las donaciones privadas y el campo de la filantropa, una lotera global o una prima
sobre un bono para el desarrollo global (global premium bond). Una presentacin de
estos nuevos instrumentos de financiacin, complementarios con la AOD, puede
consultarse en Atkinson (2004).
Con independencia de que estos nuevos instrumentos lleguen a prosperar, lo que se
deduce de forma clara cuando se analizan los flujos internacionales de capital, es que la

99
AOD no representa ms que una muy pequea porcin de lo que los pases en desarrollo
pueden lograr del exterior. Como reflejan los grficos 11 y 12, tanto la inversin directa
extranjera (IDE) como las remesas de los emigrantes juegan hoy da un papel muy
superior a la ayuda. Cuando se tienen en cuenta las remesas y la ayuda privada, las
transferencias

de

los

donantes

hacia

los

pases

en

desarrollo

aumentan

considerablemente. Todos los instrumentos financieros tienen ventajas e inconvenientes


relativos, pero lo que ms puede diferenciar a la ayuda de los dems es su carcter
redistribuidor global. Las remesas presentan la ventaja de ser una financiacin directa
de familias a familias, donde el carcter privado queda ensalzado. La inversin directa
extranjera puede traer empleo, tecnologa y numerosas externalidades a los pases en
desarrollo. Lo malo es que los ms pobres, tanto familias como pases, no disponen de
las condiciones para emigrar o para atraer IDE. Ya hemos dejado constancia de que la
AOD tampoco es un flujo exento de otros fines adicionales al desarrollo y la lucha
contra la pobreza, pero al menos en el discurso oficial- es reconocido como el
instrumento internacional ms especficamente pensado para reducir la pobreza. Si lo
est logrando o no, considerado de forma agregada (o macro) es lo que pasamos a
desarrollar en el siguiente captulo.
Grfico 11. Evolucin de los instrumentos internacionales de financiacin para el
desarrollo.
350

300

Miles de millones de USD

250

200

150

100

50

1990

1991

1992

1993

1994

1995

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

(50)
Remesas

Inversin Directa Extranjera

Fuente: Datos del Banco Mundial.

Flujos privados y capital riesgo

Ayuda Oficial al Desarrollo

2006

100

Grfico 12. Flujos de ayuda oficial, privados y remesas como % de la RNB, 2005.

Fuente: Adelman (2007), p.16.

CAP. 3 LA EFICACIA MACRO DE LA AOD.

97

CAPTULO 3. EMPIRISMO Y RACIONALISMO EN EL DEBATE SOBRE LA


EFICACIA MACRO DE LA AYUDA AL DESARROLLO.
1.

INTRODUCCIN.

En la poltica de cooperacin para el desarrollo, como en tantas otras, puede


identificarse una extraa separacin entre la produccin acadmica y la realidad de la
toma de decisiones polticas. Es lo que aqu identificamos como un trade-off entre cierto
empirismo atribuido a los trabajos acadmicos que han buscado con ahnco evidencias
del impacto de la ayuda sobre el crecimiento econmico (cunta ayuda causa
crecimiento?), y un racionalismo que no alcanza a desarrollar una teora explicativa de
los resultados empricos de la ayuda (por qu y cmo la ayuda causa o no
crecimiento?), una fundamentacin de los procesos de causalidad (qu se quiere decir
con que la ayuda causa o no crecimiento?) y parece ignorar la realidad del proceso de
toma de decisiones polticas (cmo y a qu pases se asigna ayuda?).
Dentro de la literatura emprica de la eficacia macro de la ayuda pueden distinguirse dos
grupos de modelos. Por una parte, se han realizado numerosos estudios ex post en
bsqueda del impacto de la ayuda sobre el crecimiento econmico y la renta per capita
de los pases receptores. El denominador comn de todos estos trabajos es que, ms que
llegar a conclusiones precisas, describen un universo de posibilidades donde parece que
todos los resultados imaginados son posibles. La ayuda es buena, mala y neutra para
el crecimiento y desarrollo de los pases (McGillivray et al. 2005). Este es el
sorprendente resultado que se encontrar quien inicie un estudio sobre el estado de la
cuestin del impacto ex -post en la eficacia de la ayuda.
Por otra parte, no menos perplejo se encontrar cuando aborde el tema ex -ante o de
asignacin geogrfica. Los modelos de optimizacin (sean denominados de
condicionalidad o de selectividad como los de Collier & Dollar 2002, Ampru et al.
2005, Dollar & Levin 2006 o Subramanian 2007, entre otros) han utilizado un conjunto
tan amplio y heterogneo de variables polticas, econmicas e institucionales, que slo
cabe especular qu nueva variable o trmino interactivo con la ayuda saldr a luz en los
prximos artculos de las revistas del desarrollo. La combinacin de intereses
geoestratgicos y comerciales (adems de los altruistas o humanitarios) de los donantes,
junto a las amplias necesidades de los pases receptores en materia de desarrollo
humano, hace que el acento en la asignacin geogrfica vaya desde una determinada
combinacin de buenas polticas econmicas (inflacin, dficit pblico y apertura

98

CAP. 3 LA EFICACIA MACRO DE LA AOD.

comercial) de los pases receptores, hasta la bsqueda de alianzas internacionales,


medidas por el voto idntico al de los EE.UU. en las sesiones del Consejo de Seguridad
de Naciones Unidas. Decir que la poltica importa (Powell & Bobba 2006, 2007) a la
hora de juzgar el impacto de la ayuda, no es concretar mucho, aunque estos autores
introducen la responsabilidad del donante como factor explicativo y no slo las polticas
de los pases receptores. De todas formas, lo que aqu se va a criticar con ms nfasis no
es tanto el esfuerzo emprico por intentar explicar cientficamente la asignacin
geogrfica de los flujos de ayuda que realizan los donantes, sino la ignorancia (al menos
eso parece) de la realidad de cmo se llevan a cabo esas decisiones. Por muy robusto
que sea un modelo y una apariencia de complejas matemticas que tenga, si la realidad
es que casi ningn poltico (y dejo el casi para curarme del caso excepcional) asigna los
flujos de ayuda bajo una regla de optimizacin, sino por un conjunto de aspectos
incluidos en la amplsima red de las relaciones exteriores de su pas, el modelo de
asignacin ex ante no servir para mucho ms que para dar gloria y prestigio a su
creador y la revista que lo publica, pero afecta eso a la vida concreta de los pobres si lo
positivo y lo normativo viven en mundos abiertamente desconectados?
Es muy probable que si esto lo leen economistas investigadores de las polticas
educativas, sanitarias, de infraestructuras o de crecimiento econmico de los pases en
desarrollo, se sientan identificados y constaten que en esos campos ocurre algo parecido
con lo que aqu se va a centrar en la poltica de ayuda al desarrollo. Los economistas (y
ms los acadmicos) vivimos a veces en un mundo que parece tener normas, usos y
costumbres propias alejados de la realidad. Es la clsica pregunta sobre el realismo de
los supuestos subyacentes en los modelos econmicos. Algunos autores, liderados por
los austriacos. defienden que es muy importante partir de supuestos realistas para
construir primero una teora econmica que luego busque su contrastacin emprica
para evaluar su verdad. Cada paso deductivo debe estar lgicamente enlazado en lo que
denominan el mtodo gentico-causal. Otros autores, echaron por la borda la cuestin
(por considerarla quiz muy filosfica) del realismo de los supuestos y defendieron
que si un modelo serva para predecir porque los nmeros acertaban valores que luego
se daban en la realidad, eso ya era el mejor contraste valorativo y criterio de verdad.
Tengo la impresin de que stos ltimos (los monetaristas de la escuela de Chicago con
Milton Friedman a la cabeza) han triunfado en campos tan importantes como la poltica
monetaria y las finanzas. Si los mercados financieros parecen expresndome
burdamente- operaciones especulativas que buscan maximizar una ganancia financiero-

CAP. 3 LA EFICACIA MACRO DE LA AOD.

99

electrnica, es absurdo preguntarse si las herramientas predictivas (anlisis tcnico)


tienen algn fundamento in re diran los escolsticos-, que es lo que trata de buscar el
anlisis fundamental al estudiar los balances y ratios de empresas concretas sobre las
que invertir o no.
Aadamos a esto el desarrollo reciente de potentes softwares que facilitan los clculos,
el uso de gran cantidad de estimadores cada vez ms complejos- y cierta facilidad para
elaborar bases de datos, aunque no se haga ningn ejercicio de data mining para saber
qu hay detrs de esos datos. No hay duda de que este desarrollo tecnolgico ha
contribuido a que la inmensa mayora de las publicaciones actuales en materia de
desarrollo, reporten varios ejercicios de regresin y anlisis de sensibilidad, para
probar que sus resultados son robustos (aunque contradigan abiertamente la robustez
de otro artculo ya publicado).
No es mi intencin menospreciar el esfuerzo y la contribucin cientfica emprica, pero
lo que puede asombrar es encontrar respuestas contrarias a la sencilla pregunta de si la
ayuda al desarrollo funciona o no, reduce la pobreza o no. La conclusin que aqu se
va a defender es que la premisa de que la pregunta es sencilla, es errnea. Dada la gran
cantidad de supuestos que encierran las cifras de pobreza y de ayuda, los trminos de la
premisa son ms bien in-conmensurables. Adems, los anlisis de sensibilidad y
revisiones tcnicas de los estudios previos llevados a cabo recientemente (Roodman
2004, 2007a,b) y la tcnica del meta-anlisis (Doucouliagos & Paldam 2006),
confirman que la ciencia que hay detrs de casi un centenar de evidencias empricas
sobre la eficacia de la ayuda, es dbil.
Por otra parte, la teora subyacente a la ayuda al desarrollo, sigue manejando modelos
macroeconmicos de los 60 tales como el big push de Rosenstein-Rodan (1961), el
keynesianismo, las trampas de la pobreza, la falta de eslabonamientos de Hirschman
(1958) para un desarrollo equilibrado, o el modelo de las dos brechas de Chenery y
Strout (1966). Por qu hay que ayudar desde fuera a las economas de los pases
pobres? No es el desarrollo un proceso endgeno? La respuesta a esta pregunta no se
debera contestar slo ni preferentemente- desde la economa, ni desde los estudios de
eficacia macro de la ayuda, sino que debera contener componentes de respuesta tica,
poltica y sociocultural. Es un hecho comnmente reconocido que ya desde su inicio
con el Plan Marshall, la ayuda se ha otorgado bajo condicionalidades y escenarios de
poltica internacional concretos y dinmicos. Este componente extra-econmico que es

100

CAP. 3 LA EFICACIA MACRO DE LA AOD.

reconocido por el Banco Mundial (1998)1-, queda normalmente eliminado de las


regresiones economtricas o, a lo sumo, expresado como supuesto (si la ayuda se
otorgara realmente para reducir la pobreza o de forma altruista, entonces...). Esta
ignorancia de economa poltica, puede explicar una parte de los fracasos empricos de
la eficacia de la ayuda precisamente por abordarse bajo supuestos no realistas.
El objetivo de este trabajo es intentar aclarar por qu los trabajos empricos no ofrecen
resultados convergentes y cmo interpretar la supuesta relacin causal que podra
derivarse de las correlaciones halladas. Para lograr este objetivo el trabajo se organiza
de la siguiente manera. Para afrontar la crtica al empirismo, la segunda seccin sintetiza
los hallazgos empricos de los estudios de eficacia macro de la ayuda, acentuando las
debilidades tcnicas e interpretativas de sus conclusiones. La tercera seccin analiza
ms en profundidad el racionalismo de la ayuda, mediante el estudio de la categora
filosfica de causalidad. En la cuarta seccin se concluye la pregunta sobre si la ayuda
causa o no una reduccin de la pobreza, debe tener necesariamente una respuesta
inconclusa, al partir de proposiciones precisamente inconmensurables. Datos con mucho
ruido (noisy data sets) y teoras causales sobre la pobreza an incipientes, no pueden
generar respuestas claras y distintas, que dira Descartes.

2.

UNA REVISIN DE LAS REVISIONES DE LA LITERATURA.

Una primera idea acerca de la cuestin de si la ayuda al desarrollo funciona o no es


notar la gran cantidad de revisiones que sobre las pruebas empricas existen en la
literatura acadmica reciente. Quiz el primer gran esfuerzo sistemtico para ofrecer una
respuesta a si la ayuda funciona o no, fue el de Cassen et al. (1986). Desde entonces, los
esfuerzos empricos se han multiplicado y revisiones como las de Alonso (1999),
Hansen y Tarp (2000), Beynon (2002), Clemens et al.(2004), Roodman (2004), Rajan &
Subramanian (2005), Addison et al. (2005), Doucouliagos & Paldam (2006), Riddell
(2007) o Roodman (2007) han ido recopilando y analizando las divergencias de decenas

Desde su origen la cooperacin para el desarrollo ha tenido dos objetivos, potencialmente conflictivos
entre s. El primero es promover el crecimiento a largo plazo y la reduccin de la pobreza de las
economas en desarrollo (la motivacin de los donantes por este objetivo es una combinacin de altruismo
y una preocupacin ms interesada de que a medio y largo plazo su seguridad y estabilidad se vern
favorecidas por un contexto de crecimiento de los pases ms pobres). El segundo objetivo era promover
los intereses polticos y estratgicos inmediatos de los donantes. La mayor parte de la ayuda se diriga a
pases con regmenes aliados de las potencias occidentales. Ms an, los objetivos estratgicos y de
desarrollo de la ayuda, aparecan enfrentados entre s (Banco Mundial 1998:7)

CAP. 3 LA EFICACIA MACRO DE LA AOD.

101

de trabajos empricos sin que la cuestin est hoy cerrada. Es notable que la mayora de
los trabajos publicados aborden la cuestin de la eficacia de la ayuda desde un enfoque
macro o agregado, en vez de un abordaje micro, evaluativo, de casos ms especficos
(Cassen et al. 1986 y Riddell 2007 pueden considerarse representantes de esto ltimo).
Adems, varios autores (Duflo & Kremer 2005; Roodman 2007) reconocen la
existencia de un sesgo en las publicaciones hacia la presentacin de casos de xito, tanto
en el plano de las evaluaciones de proyectos y programas, como de los modelos macro
que ofrezcan resultados robustos, ya sea en la direccin de que la ayuda es eficaz o
ineficaz. Trabajos publicados que presenten como idea central, razones por las que la
respuesta sobre la eficacia de la ayuda debe quedar inconclusa empricamente, son poco
frecuentes.
No deja de producir cierta perplejidad la abundancia de planteamientos de trabajos
acadmicos que, tras la presentacin de la cuestin terica sobre el impacto de la ayuda
en la renta per capita de los pases, afirman que la respuesta sobre su veracidad debe
decidirla la contrastacin emprica, ms all de la calidad y abundancia de los datos que
se tengan para poder llevar a cabo tal verificacin. Pero tambin merece la pena
plantearse la pregunta del impacto de la ayuda en los trminos opuestos. Dado que los
estudios empricos generan confusin y falta de convergencia en los resultados se
debera acentuar el esfuerzo sobre la teora econmica para que sea ella la que haga
inclinarse la balanza hacia los resultados positivos o negativos. Una tercera posibilidad,
como aqu defendemos, es dejar abierta la cuestin emprica en el nivel macro y
proceder a avanzar en el conocimiento sobre lo que funciona o no en la ayuda a travs
de evaluaciones micro. En cierto modo, se trata de sacrificar la validez externa (por
supuesto nunca pretender establecer leyes universales y necesarias tipo siempre que se
ayuda de esta manera o en estas condiciones se alcanza este resultado, porque ese
determinismo ya no lo sostiene ni la fsica fuera de la mecnica newtoniana) por un
conocimiento limitado pero dinmico, ms falsable que verificable, basado en la
experiencia y donde la validez interna se fortalece frente a la validez externa.
Llegados a este punto veamos cules son las principales dificultades encontradas en los
estudios macro sobre la eficacia de la ayuda para no poder ofrecer una respuesta clara y
distinta sobre la cuestin. Para ello procedo en cinco etapas. En la primera sintetizo las
tres generaciones de trabajos empricos descritas por las primeras revisiones de la
literatura. En la segunda etapa, se identifico los estudios que han servido como
catalizadores de la cuestin, al provocar muchos trabajos que han pretendido contestar

102

CAP. 3 LA EFICACIA MACRO DE LA AOD.

sus hallazgos. En la tercera etapa presento los frutos de los trabajos ms recientes y que
ofrecen mayor solidez economtrica. En la cuarta etapa identifico los problemas
comunes que afectan a la credibilidad de stos trabajos y las razones tcnicas de por
qu, siendo superiores a los anteriores, siguen dejando la cuestin de la eficacia de la
ayuda abierta. En la quinta etapa resumo las principales conclusiones que ha aportado
este empirismo de la eficacia de la ayuda.
2.1 Las tres generaciones detectadas por las primeras revisiones de la literatura.
Siempre es difcil establecer una sntesis cronolgica de aportaciones empricas ya que
es costumbre que cada trabajo acadmico dedique un apartado a la revisin y discusin
de la literatura sobre el tema que se aborda, pero fueron Hansen y Tarp (1999, 2000)
quienes organizaron la materia en torno a tres generaciones de estudios empricos sobre
la ayuda al desarrollo hasta esa fecha2.
La primera generacin de estudios sobre la eficacia de la ayuda analiz el impacto de la
ayuda sobre el ahorro y el crecimiento econmicos. La teora subyacente era que el flujo
exterior de la ayuda sera capaz de superar la trampa de la pobreza derivada del bajo
nivel de ahorro existente en los pases en desarrollo. Con baja renta y ahorro, el stock de
capital y la tasa de inversin son bajas y el pas no crece. Sin crecimiento del producto
no aumenta la renta por habitante, permanecindose en la pobreza. Lograba la ayuda
elevar el nivel de ahorro de los pases receptores? La revisin de 131 trabajos empricos
de Hansen y Tarp (2000) mostr que la ayuda quedaba asociada a un mayor nivel de
ahorro, aunque con una elasticidad menor que uno. Adems, el aumento de ahorro no se
traduca en mayores tasas de inversin, ni de crecimiento. El automatismo esperado
por la teora del crecimiento de Harrod-Domar no se confirmaba empricamente. Pero
era posible que el efecto de la ayuda sobre el crecimiento no fuera inducido
directamente por el ahorro, sino por la inversin. Esta posibilidad es la que trat de
capturar los trabajos de la segunda generacin de estudios sobre la eficacia de la ayuda.
Esta segunda generacin se desarrolla en un marco analtico ms amplio de estudio de
los efectos de los flujos exteriores de capital sobre el crecimiento econmico. La ayuda
externa era una de las fuentes de capital exterior. En 15 trabajos empricos llevados a
cabo en los aos ochenta y primeros noventa, se detect un efecto significativo y
positivo de la ayuda sobre la inversin. Adems, entre los 71 trabajos revisados por

Para una difusin comentada de esta revisin vanse Alonso (1999) o Larr (2003 a,b).

CAP. 3 LA EFICACIA MACRO DE LA AOD.

103

Hasnsen y Tarp (2000) sobre el efecto de la ayuda directamente sobre el crecimiento


econmico, en 40 encontraron un efecto positivo y en 31 el parmetro no era
estadsticamente significativo. Tras esta mezcla de resultados, los trabajos de Mosley et
al. (1987, 1992) forjaron lo que se denomin la paradoja micro-macro. La ayuda
analizada en evaluaciones por proyectos, presentaba un alto porcentaje de desempeos
positivos. Pero cuando era analizada en la dimensin macroeconmica, no aparecan
resultados concluyentes.
La principal razn de esta paradoja podra encontrarse en la limitada capacidad de las
tcnicas economtricas (regresiones multivariantes en seccin cruzada de pases) para
capturar de forma adecuada el impacto de la ayuda sobre el crecimiento. Adems, los
datos disponibles se limitaban a los totales de ayuda recibida por distintos receptores en
un ao.
Los desarrollos informticos y economtricos de los finales de los aos noventa
ofrecieron una mayor potencia de clculo para investigar la paradoja micro-macro.
Junto a desarrollos contables dentro del seno del CAD que permitan computar la ayuda
de forma ms precisa e incluso clasificarla sectorialmente, los softwares economtricos
avanzaron ofreciendo la posibilidad de trabajar con datos de panel. Esta potencia fue
aprovechada por los investigadores de la tercera generacin de estudios.
La tercera generacin abandona el marco analtico de Harrod-Domar para centrarse en
la aportacin de Solow (1956) sobre el crecimiento econmico. Adems, los resultados
ofrecidos por las regresiones sobre las fuentes del crecimiento a partir de las
contribuciones de Barro (1989, 1991) y Barro y Sala-i-Martin (1995) sobre la
convergencia econmica, despliegan una gran riqueza para los estudios de eficacia de la
ayuda. La ayuda externa era una variable independiente que bien se poda introducir
como un control ms en los estudios tipo Barro. Adems, el trabajo con datos de
panel y la disponibilidad de datos para un nmero mucho ms extenso de pases que los
que se dispona anteriormente, enriqueca el valor de los resultados de estos trabajos. La
capacidad informtica permita realizar amplios estudios de sensibilidad de los
resultados, bien para el periodo acotado, la muestra de pases o en los estimadores
utilizados. La sorpresa ha sido que, si bien muchos de los estudios han encontrado
resultados positivos de la ayuda sobre el crecimiento econmico (vase por ejemplo las
numerosas referencias de Addison et al. 2005), stos no han tenido el impacto poltico
dominante, sino que lo han sido los minoritarios trabajos que arrojaban dudas sobre
dicho impacto.

CAP. 3 LA EFICACIA MACRO DE LA AOD.

104

2.2 Los trabajos que sirven como catalizadores de los recientes estudios empricos.
Suelen considerarse los estudios de Boone (1995, 1996a,b) los que inician esta tercera
generacin, seguidos por los de Burnside y Dollar (1997, 2000). Un factor comn de
estos estudios es que llegaban a resultados polticamente muy sensibles sobre el efecto
de la ayuda en los pases en desarrollo. Boone encontraba evidencia de que la ayuda al
desarrollo correlacionaba con un mayor consumo y gasto pblicos y lo asociaba a un
posible efecto negativo de la ayuda al no llegar a los pobres sino que era capturada por
las elites y oligarquas locales: parece probable que los ingresos recibidos en concepto
de ayuda a largo plazo se utilicen, en realidad, para aumentar el tamao del gobierno y
el nmero de funcionarios... o para hacer transferencias a las lites polticas
relativamente

prsperas

(Boone

1996b:43).

De

alguna

forma

confirmaba

empricamente que la ayuda era utilizada como instrumento de la poltica exterior y los
resultados sobre el crecimiento econmico o reduccin de la pobreza de los pases en
desarrollo, no era el principal motivo de asignacin de ayuda. Adems, los efectos de la
ayuda sobre varios indicadores de desarrollo, no eran estadsticamente significativos
(Tabla 1). La Guerra Fra era el contexto internacional que reforzaba estos resultados.
Tabla 1. El impacto de la ayuda segn Boone (1996).
Variable dependiente
Parmetro
Consumo /PNB

1.02**

Inversin /PNB

0.03

Crecimiento PNBpc

0.04

Mortalidad infantil

-0.20

Esperanza de Vida al Nacer

-0.02

Escolarizacin primaria

0.69

Fuente: Boone (1996b). Variable dependiente: Ayuda/PNB. Tamao muestral, 96 pases. ** significativa
al 95% de confianza.

El trabajo de Burnside y Dollar (2000) probablemente ha sido el de mayor influencia


poltica reciente. Adems de suponer la base reactiva de numerosos trabajos empricos
discutiendo sus resultados, logr ser el fundamento acadmico de la revisin sobre la
eficacia de la ayuda del Banco Mundial (1998) que estuvo muy presente en las cumbres
de Naciones Unidas de inicio del milenio y sobre la financiacin del desarrollo de
Monterrey en 2002. En ese escenario naci la nueva Iniciativa de Desarrollo del Milenio
(Millenium Challenge Account) del presidente norteamericano G. W. Bush que,
hacindose eco del hallazgo de Burnside y Dollar, establece una condicionalidad ex

CAP. 3 LA EFICACIA MACRO DE LA AOD.

105

ante, econmica, poltica e institucional para que los pases puedan recibir ayuda de esta
lnea de financiacin americana.
La clave del trabajo de Burnside y Dollar (2000), posteriormente extendido y revisado
en Burnside y Dollar (2004a,b), es que la ayuda por s sola no tiene ningn efecto
significativo sobre el crecimiento econmico, pero que en interaccin con un conjunto
de buenas polticase indicadores institucionales, s que lo tiene. Las buenas polticas
quedan definidas por bajos niveles de inflacin, dficit pblico y altos niveles de
apertura comercial y en la versin de 2004a- la calidad institucional3. Esto condujo a
trabajos de optimizacin de la ayuda como los de Collier y Dollar (2001, 2002) en los
que se propona una asignacin selectiva de la ayuda a los pases que previamente
mostraran un escenario macroeconmico de buenas polticas como el diseado por los
autores.
Esta conclusin no se deriva forzosamente del trabajo de Burnside y Dollar (2004b) ya
que, ms all de la debilidad de sus resultados en los estudios de sensibilidad, hacen
referencia a cmo la ayuda fue asignada en el pasado. Adems, no parece congruente
con un objetivo global de asignar la ayuda para reducir la pobreza ya que precisamente
los pases ms pobres son los que presentan peor desempeo macroeconmico e
institucional. El debate se orienta entonces a cmo ayudar a los pases con malas
polticas en vez de dejar de ayudarlos.
Pero son seguramente estas consecuencias polticas las que explican que la academia no
se haya dado por satisfecha con ninguno de los trabajos empricos realizados y siga
tratando de desentraar el impacto real de la ayuda sobre el crecimiento econmico. En
el siguiente epgrafe analizamos los trabajos que, desde la tercera generacin
identificada por Hansen y Tarp (2000), han sido ms determinantes.

2.3 La cuarta generacin de estudios: mayor solvencia?


Tras la publicacin del trabajo de Burnside y Dollar (2000), aparecieron numerosos
trabajos contestando sus resultados y criticando su escasa robustez. En ellos la ayuda
presenta correlacin positiva con la renta per capita de los pases receptores, aunque
stos no dispongan de buenas polticas ni calidad institucional. La tabla 2 compara
cmo estas dos hiptesis se han enfrentado en la literatura acadmica.
3

Utilizan el indicador de democracia de Freedom House, la media de los seis indicadores institucionales
de Kaufmann, Kraay y Zoido-Lobaton (1999) y el imperio de la ley segn la ICRG.

CAP. 3 LA EFICACIA MACRO DE LA AOD.

106

Tabla 2. Estudios a favor y en contra de la condicionalidad de la ayuda al entorno poltico e


institucional del receptor.
La Ayuda slo es eficaz bajo buenas polticas e
La Ayuda es eficaz an sin buenas polticas e
instituciones
instituciones.
Burnside & Dollar (1997, 2000, 2004a,b)
Amavilah (1998)
Collier & Dollar (2001, 2002, 2004)
Dayton-Johnson & Hoddinott (2003)
Collier & Dehn (2001)
Durbarry et al. (1998)
Collier & Hoeffler (2002)
Hansen & Tarp (2000, 2001)
Dollar & Levin (2004, 2006)
Lensink & Morrissey (2001)
Lensink & White (2000, 2001)
Dalgaard & Hansen (2001)
Lu & Ram (2001)
Guillaumont & Chauvet (2001)
Chauvet & Guillaumont (2004 )
Mosley & Hudson (2001)
Lloyd et al. (2001)
Gounder (2001, 2002)
Mavrotas (2002)
Gomanee et al.( 2002, 2003, 2005)
Ram (2003, 2004)
Economides et al. (2004)
Dalgard, Hansen y Tarp (2004)
Clemens et al. (2004)
Outtara & Strobl (2004)
Easterly et al. (2004)
Feeny (2005)
Fuente: Elaboracin propia.

Frente a las nueve versiones que han encontrado que la ayuda slo promueve el
crecimiento por habitante si se destina a pases con estabilidad macroeconmica,
apertura comercial y buena calidad institucional, hay al menos 28 trabajos que
encuentran impacto de la ayuda sin someterlo a esas restricciones. D. Roodman (2007a)
someti a un exhaustivo anlisis de sensibilidad el trabajo de Burnside y Dollar (2000),
junto a los de Collier & Dehn (2001), Collier & Dollar (2002), Collier & Hoeffler
(2002), Guillaumont & Chauvet (2001), Hansen y Tarp (2001) y Dalgaard, Hansen y
Tarp (2004). Los resultados de Roodman son concluyentes sobre la fuerte sensibilidad
de los estudios a cambios en las variables de control, definicin y fuentes estadsticas de
la ayuda, variables utilizadas para definir el vector de buenas polticas e instituciones, el
periodo temporal empleado, la muestra de pases y la inclusin o no de los casos
atpicos (ouliers). El trabajo que sala mejor parado de esta anarqua en los nmeros,
era el de Dalgaard et al. (2004). Un pequeo ejemplo de la varianza de los resultados se
ofrece en la Tabla 3.
Tabla 3. Anlisis de sensibilidad de algunos estudios sobre la eficacia de la ayuda.
Variable
Mnimo y mximo valor del parmetro
Ayuda

(-0,89 ; +1,47)

Ayuda x Polticas

(-0,28 ; + 0,39)

Ayuda al cuadrado

(-0,13 ; +0,06)

CAP. 3 LA EFICACIA MACRO DE LA AOD.

Ayuda x porcentaje de tierra sobre el trpico*


Ayuda x entorno vulnerable**

107
(-2,3; -0,23)

(-0,49 ; -0,11)

Fuente: Roodman (2007a). La variable dependiente es la variacin del PNBpc del receptor de ayuda. Para
la configuracin exacta de las variables de * y **, vanse Dalgaard et al. (2004) y Guilaumont & Chauvet
(2001) respectivamente.

La conclusin de Roodman es doble. La ayuda no es una variable endgena respecto al


crecimiento y los resultados de los trabajos deberan acotarse en extremo. Por ejemplo,
en vez de concluir como Burnside y Dollar (2000), que la ayuda slo tiene impacto
sobre el crecimiento si el pas receptor desempea buenas polticas, lo riguroso sera
sostener que: la ayuda estuvo asociada a un mayor crecimiento del PIB en un buen
entorno de poltica durante 1970-93, en media, en pases y periodos donde se pudo
recoger los datos necesarios, excepto para los casos atpicos (a no ser que la ayuda al
cuadrado por el vector de poltica sea incluido para permitir rendimientos decrecientes
de la ayuda) y cuando la ayuda es definida como Ayuda Efectiva para el Desarrollo
como porcentaje del PIB real del receptor y las polticas son definidas por la inflacin,
el dficit publico y el indicador de apertura comercial de Sachs y Warner, y cuando se
controla el resultado por el logaritmo del PIB per capita al inicio del periodo, nmero
de asesinatos por habitante, fraccionalizacin etno-lingstica, el producto de estas dos
ltimas, la oferta monetaria dividida por el PIB, y los efectos peridicos, asumiendo
que ninguno de los efectos no observados especficos de cada pas influya de forma
simultnea y sustancial en la ayuda, las polticas ni el crecimiento y que ninguna otra
variable excepto la ayuda y la ayuda por las polticas sean endgenas respecto al
crecimiento (Roodman 2004:51).
Algo parecido debera decirse de los dems estudios empricos.
Quiz este descriptivo estado de la ignorancia hubiera bastado para abandonar el
empeo emprico por asociar la ayuda al desarrollo con el crecimiento econmico. Pero
no ha sido as. Incluso despus del anlisis de sensibilidad de Roodman, han aparecido
ms trabajos con resultados que refuerzan la perplejidad ante la cuestin de la eficacia
de la ayuda. Comentamos a continuacin tres de ellos.
El primer trabajo, de fuerte influencia en la literatura emprica sobre la eficacia de la
ayuda ha sido el de Clemens, Radelet y Bhavnani (2004). El estudio destaca por tres
contribuciones principales.
En primer lugar, la extensa revisin de la literatura emprica sobre la eficacia de la
ayuda resaltando los problemas economtricos que debe afrontar y que se comentarn
ms adelante.

108

CAP. 3 LA EFICACIA MACRO DE LA AOD.

En segundo lugar, por proponer una desagregacin de los datos de la ayuda en funcin
del periodo estimado que podra causar algn impacto sobre el crecimiento. Los autores
clasifican la ayuda en tres grupos. El primer grupo est compuesto por la ayuda ms
improbable en producir algn efecto sobre el crecimiento econmico per capita, como la
ayuda humanitaria para reconstruccin ante desastres naturales, para refugiados, ayuda
alimentaria, etc. El segundo grupo es denominado ayuda de impacto a corto plazo,
formada por las aportaciones para el equilibrio de la balanza de pagos, para
infraestructuras y desarrollo agrcola y del tejido industrial. El tercer grupo es la ayuda
de potencial impacto a largo plazo sobre el crecimiento, al necesitar largos periodos de
tiempo para detectar sus efectos como la ayuda para servicios sociales, educacin o
salud. El principal resultado del anlisis de Clemens et al. (2004) es que la ayuda de
corto impacto est asociada de forma significativa, positiva y muy robusta al
crecimiento econmico y, adems, es independiente al vector de polticas
macroeconmicas que desempee el pas receptor.
En tercer lugar, el trabajo presenta un extenso anlisis de sensibilidad de este resultado
mencionado. La ayuda de corto impacto es promotora de crecimiento econmico por
s misma sin depender del entorno institucional o de polticas macroeconmicas y est
sometida a rendimientos decrecientes, confirmando numerosos estudios anteriores que
ya lo haban detectado. La inclusin de once trminos interactivos de la ayuda de corto
impacto con otras variables no ofreci significatividad estadstica en ninguno de los
casos. El impacto es un 0,5% mayor en frica Sub-Sahariana que en la media muestral
total. El impacto es mayor en pases con mejores niveles de salud (medida a travs de la
esperanza de vida) y menor en los pases ms endeudados.
El segundo trabajo que merece ser mencionado es el de Rajan & Subramanian (2005a).
Su principal aportacin es la de llamar la atencin sobre el problema de endogeneidad y
causalidad bidireccional de la ayuda sobre el crecimiento. Para estos autores, es clave la
instrumentacin de las regresiones para poder salvar estos problemas tcnicos y obtener
resultados rigurosos. Utilizando como variable instrumental la distancia del pas
receptor al ecuador en lnea con lo elaborado por Frankel y Romer (1999), los autores
no encuentran ningn efecto significativo de la ayuda sobre el crecimiento, ya sea
considerando la ayuda de forma aislada, al cuadrado, interactiva con las polticas e
incluso la ayuda de corto impacto tal como la definen Clemens et al. (2004), al
realizar regresiones en seccin cruzada de 107 pases para el periodo 1960-2000. Por el
contrario, si la regresin se realiza sin ningn tipo de instrumentacin (estimacin en

CAP. 3 LA EFICACIA MACRO DE LA AOD.

109

mnimos cuadrados ordinarios), el parmetro de la ayuda sobre el crecimiento es de


7,27 (significativo al 99%). Este resultado da idea de la importancia de la
instrumentacin y del ruido que contienen los datos tomados de forma cruda.
Cuando en vez de analizar la eficacia de la ayuda en largo plazo (los 40 aos de 19602000) emplean una base de datos de panel decenal, los parmetros de la ayuda cambian
de signo y son muy voltiles, en funcin de la especificacin concreta que se utilice.
Una posible explicacin de esta falta de convergencia de los resultados la buscaron en
un segundo trabajo (Rajan & Subramanian 2005b) en el que la hiptesis fundamental de
la posible falta de impacto de la ayuda sobre el crecimiento, es la apreciacin del tipo de
cambio del pas receptor, en lnea con la literatura de la enfermedad holandesa.
La conclusin de los autores tras su notable esfuerzo emprico es que los economistas
no hemos encontrado una combinacin fiable de circunstancias econmicas que nos
permitan afirmar que la ayuda contribuye de forma positiva al crecimiento y que a
menos que uno sea economista, perder la fe en que ms anlisis economtricos puedan
arrojar luz sobre este debate (Rajan 2005:53-54).
El tercer trabajo que seleccionamos es el de Djankov, Montalvo y Reynal-Querol (2005,
2006). Lo seleccionamos como muestra de aquellos que bajo una trabajada sensibilidad
emprica concluyen con que la ayuda ha sido negativa para los pases receptores4. En el
primer trabajo los autores encuentran una maldicin de la ayuda (en paralelo a la
maldicin de los recursos naturales) que se manifiesta en un perjuicio sobre la
democracia de los pases en desarrollo y de mayor cuanta que la causada por la
exportacin de petrleo. Para una muestra de 108 receptores y un periodo 1960-1999,
tomando por quinquenios la ratio AOD/RNB, estiman que para los pases en los que la
ayuda llega al percentil 75, se produce una reduccin en el indicador de democracia (de
la base de datos Polity IV) de 0,6 que incluye a pases como Bolivia, Chad, Senegal,
Repblica Centro Africana y Hait. Por su parte, pases dependientes del petrleo que
llegan al percentil 75 slo presentan un efecto negativo en el indicador de democracia
de 0,02. El resultado es robusto para otros indicadores, muestras y tipos de estimacin.
En el trabajo de 2006, encuentran que la ayuda (recalculada a dlares constantes en
paridad de poder adquisitivo bajo el valor unitario de las importaciones que ofrece el
FMI) no queda asociada ni al crecimiento econmico, ni la inversin del receptor, pero
s al aumento del consumo pblico, como evidenci Boone (1996). Adems este
4

Otro ejemplo es el de Ovaska 2003. Como se ver, no es casualidad que dos de ellos estn publicados en
el Cato Journal.

110

CAP. 3 LA EFICACIA MACRO DE LA AOD.

resultado es directamente proporcional al contenido de donaciones (frente a prstamos)


recibidos por el pas en desarrollo. Adems, cuando la relacin donacin/ayuda es baja,
la ayuda s presenta correlacin positiva con la ratio inversin/PIB del receptor.

2.4 Las razones tcnicas de por qu la cuestin sigue abierta.


Doucouliagos y Paldam (2006) se preguntan por qu despus de 104 trabajos empricos
sobre la eficacia de la ayuda no tenemos una respuesta convincente. En este epgrafe
vamos a tratar de iluminar la cuestin, utilizando la aportacin del meta-anlisis
utilizado por stos autores as como los problemas economtricos que subyacen a
muchos de los trabajos empricos. Comenzamos por stos ltimos.
Causalidad bi-direccional e instrumentacin.
La cuestin central es la fuerte limitacin que existe para, a partir de unos pocos datos,
poder atribuir la direccin de causa-efecto en muchos de los flujos econmicos.
Tcnicamente el problema se denomina endogeneidad o causalidad bi-direccional. La
ayuda puede causar como efecto mayor crecimiento econmico en el pas receptor. Pero
tambin puede suceder que los pases con menor crecimiento sean los que ms ayuda
atraigan y es entonces el bajo crecimiento el que causa (atrae) mayor volumen de
ayuda.
El problema es compartido con otros hechos financieros como la doble causalidad entre
inversin directa extranjera (IDE) y crecimiento, o desarrollo del sector financiero y
crecimiento econmico. En efecto, los pases receptores de IDE pueden utilizarla en
beneficio de su sistema productivo y crecer ms. La IDE sera causa del efecto mayor
crecimiento del PIB. Pero tambin observamos que la IDE slo se dirige a los pases
que muestran mayor dinamismo econmico. Es decir, tambin se observa que el
crecimiento causa mayor atraccin de IDE.
Anlogamente, un sistema financiero ms profundo y amplio facilita la intermediacin
financiera, el desarrollo empresarial y el crecimiento econmico. Es decir, el sistema
financiero causa crecimiento. Pero sin alcanzar un umbral mnimo de riqueza no hay
incentivos para que el sistema financiero se desarrolle. Es decir, tambin se observa que
el crecimiento causa desarrollo financiero. Cmo saber cul es la direccin causal
verdadera?
Hasta hace poco tiempo, el recurso para lidiar con la cuestin de la doble causalidad era
acudir a la teora para que diese argumentos ms probables hacia una direccin de la

CAP. 3 LA EFICACIA MACRO DE LA AOD.

111

causalidad o hacia las dos. Pero en los aos recientes los trabajos empricos acuden a un
medio tcnico para afrontar el problema de la endogeneidad: la instrumentacin.
Recordemos que en el caso de la eficacia de la ayuda, Rajan y Subramanian (2005)
plantearon sus trabajos bajo el enfoque de la instrumentacin para superar las
debilidades de los anteriores estudios. Roodman (2007b) describe la instrumentacin
como un sustituto imperfecto de los experimentos controlados. Si un donante ayudara
de forma aleatoria a un receptor y no a otros y pudiramos observar sus efectos
sabiendo que todo lo dems no ha influido en el efecto de la ayuda o su efecto es
conocido con exactitud, entonces podramos atribuir con precisin qu efecto ha
causado la ayuda en el pas receptor. Pero esto slo es posible en algunas intervenciones
muy especficas y concretas de la ayuda. Es el mtodo de las evaluaciones
randomizadas que propone Banerjee (2007), entre otros. Pero no es aplicable al estudio
macro de la eficacia de la ayuda5.
El camino es entonces utilizar variables instrumentales para detectar la direccin de la
causalidad. La instrumentacin consiste en disear una variable que est directa y
fuertemente correlacionada con la ayuda (actuando como variable independiente) pero
no con el crecimiento econmico (variable dependiente). El problema es que casi todo
est correlacionado con el crecimiento econmico. Por ejemplo, suelen usarse como
variables instrumentales la asignacin de ayuda por parte de los donantes a sus antiguas
colonias. La dificultad esencial es saber con seguridad si el haber sido colonia de un
donante o de otro no est correlacionado tambin con el crecimiento. Por ejemplo,
Levine et al.(2000) muestran que el sistema legal heredado de la colonia (ingls,
francs, alemn o escandinavo) tiene correlacin con el desarrollo del sistema financiero
del pas y con su crecimiento econmico.
En suma, aunque el concepto de variable instrumental es til para afrontar el problema
de la endogeneidad, construir verdaderas variables instrumentales es muy difcil, sobre
todo cuando la variable a explicar es tan densa como el crecimiento econmico6.
Otra limitacin importante es que la instrumentacin no tiene por qu ser aditiva. Es
decir, varias variables instrumentales pueden ser vlidas de forma individual pero no
utilizadas de forma conjunta en una misma regresin. Adems, la interpretacin terica

La razn esencial es que la ayuda no se asigna de forma aleatoria por parte de los donantes, sino poltica
y que todo lo dems excepto la ayuda nunca permanece constante en un pas.
6
Argumentos convergentes para reconocer dudosa causalidad en las regresiones sobre el crecimiento
econmico se encuentran en Durlauf et al. (2004) y Rodrik (2005).

112

CAP. 3 LA EFICACIA MACRO DE LA AOD.

de un conjunto de variables instrumentales se hace muy compleja al no poder distinguir


qu variable causa qu efecto dentro del conjunto, incluso si las variables
instrumentales no estn correlacionadas entre s (otro fenmeno a tener muy en cuenta).
Por ejemplo, el trabajo de Rajan & Subramanian (2005) emplea dos variables
instrumentales para cada tres observaciones cuando realiza la estimacin en datos de
panel. Cmo interpretar la causalidad bajo ese marco instrumental, incluso si los
resultados como sostienen los autores- son robustos al truncamiento de la
instrumentacin? Adems, y para el caso de la estimacin en seccin cruzada de los
mismos autores, debemos suponer que la misma variable instrumental no afecta al
volumen de ayuda recibido por dos pases que comparten esa variable? Es decir, India y
Kiribati que son ex -colonias britnicas, reciben la misma instrumentacin, pero es
creble que el Reino Unido de idntico trato de ayuda al desarrollo a uno y otro pas?
En suma, no tenemos an la capacidad para realizar instrumentaciones perfectas. Como
resalta Roodman (2007b), la conclusin de Rajan y Subramanian (2005) puede ser
mltiple. Una opcin es mantener que la ayuda sigue estando pobremente instrumentada
en su estudio y seguir manteniendo la cuestin abierta. Otra opcin es creer que la
instrumentacin de los autores es medianamente buena y aceptar su conclusin de que
el efecto de la ayuda sobre el crecimiento es demasiado pequeo para ser detectado.
Una tercera opcin es creer que la ayuda ha sido perfectamente instrumentada y
entonces debemos reconocer sin miedo que la ayuda no correlaciona con el crecimiento
y dar la cuestin por cerrada.
Colineariedad.
Los trabajos empricos de tercera generacin ya expuestos, introducen trminos
interactivos de la ayuda con alguna o algunas variables, adems de incluir la ayuda al
cuadrado (interpretable como interactivo de la ayuda consigo misma)7. El problema de
los trminos interactivos es que sus resultados son muy voltiles. Pattillo et al. (2007)
muestran cmo permutando los pesos o valores de cada componente del trmino
interactivo, resultados como los de Burnside y Dollar (2000), Easterly (2003) y Rajan y
Subramanian (2005) son muy inestables. Si uno de los trminos predomina sobre el
otro, ste arrastra su poder explicativo dentro del interactivo. Es un caso claro de

Lensink y White (1999) son los que introducen la hiptesis de los rendimientos decrecientes de forma

pionera, al introducir la ayuda al cuadrado en la parte derecha de la ecuacin de la regresin.

CAP. 3 LA EFICACIA MACRO DE LA AOD.

113

colineariedad, especialmente cuando en el modelo de regresin aparecen la ayuda y la


ayuda al cuadrado adems de variables instrumentales.
Autocorrelacin.
Modelos como los de Hansen y Tarp (2001), Clemens et al. (2004) y Djankov et al
(2005) utilizan como variables instrumentales la propia ayuda al desarrollo retardada un
periodo, variando la longitud de los periodos de un trabajo a otro (4, 5 o 10 aos es lo
ms frecuente). Pero estas instrumentaciones retardadas slo son vlidas si aceptamos el
supuesto de que la regresin est libre de autocorrelacin, lo cual es especialmente
difcil de sostener en el caso de los flujos de ayuda donde el componente inercial de los
donantes hacia los receptores es un hecho muy probado. Adems, como seala
Roodman (2007b:17), es posible que la autocorrelacin no se aprecie de forma
automtica debido a que la extrema volatilidad en el crecimiento econmico de algunos
pases muestrales sea tan alta que la oculte. As ocurre en Clemens et al. (2004) con
Gabn y Nicaragua.
Sensibilidad hacia los casos atpicos.
Un ltimo problema tcnico que deben enfrentar los estudios empricos de eficacia
macro de la ayuda es la sensibilidad de los resultado hacia los casos atpicos. Una crtica
repetida por muchos de los estudios mencionados en la tabla 2, es la fuerte influencia
que la eliminacin de los dos pases atpicos supuso en los primeros resultados de
Burnside y Dollar (2000) y cmo la extensin temporal de observaciones para la misma
muestra que llevan a cabo Easterly et al (2003, 2004) conduce a resultados contrarios.
Una critica parecida realiza Roodman (2007b:16) a uno de los estudios ms robustos en
los exmenes de sensibilidad, como es el de Dalgaard et al. (2004). Su resultado de que
la ayuda es eficaz en la expansin del crecimiento de los pases receptores siempre y
cuando stos tengan poca superficie sobre los trpicos, es muy sensible a la inclusin o
no de cuatro casos: Siria, Egipto, Jordania y Botswana.
En suma, aunque la calidad y potencia de los estudios economtricos se ha ampliado
mucho a partir de lo que Hansen y Tarp (2000) denominan la tercera generacin,
todava quedan muchas debilidades tcnicas por resolver, entre las que destacan la
instrumentacin que se realice para superar el problema de la causalidad bidireccional,
la existencia de colineariedad y autocorrelacin entre las variables independientes, y la
sensibilidad de los resultados a los casos atpicos dentro de la muestra seleccionada.
Adems, los problemas derivados de variables omitidas en los ejercicios de explicacin
causal de factores influyentes en el crecimiento econmico son muy probables y

CAP. 3 LA EFICACIA MACRO DE LA AOD.

114

afectan claramente a los estudios empricos ms influyentes sobre la eficacia de la


ayuda.
Otra cuestin que aade dificultad a la fiabilidad de los ensayos economtricos es la
estructura de retardos con que la ayuda puede correlacionar con el crecimiento. Dada la
enorme heterogeneidad de sectores e instrumentos de ayuda, cualquier intento de
generalizacin en este campo es muy arriesgada.
Pero adems de la dimensin tcnica, podemos considerar otro tipo de explicaciones a
la hora de analizar por qu unos resultados son publicados y otros no, con
independencia de su rigor tcnico. Es lo que han examinado Doucouliagos y Paldam
(2006). Lo ms interesante de su meta-anlisis8 es que identifican cuatro sesgos
aprioristicos en el conjunto de la literatura publicada sobre la eficacia de la ayuda. La
tabla 4 sintetiza estos sesgos.
Tabla 4. Sesgos cualitativos en la literatura sobre la eficacia de la ayuda.
Sesgo

Explicacin
La ideologa de los autores les
Ideologa
conduce a predecir resultados
conforme a ella
Los autores (o grupos de
investigacin) que ya tienen
Historia personal del autor publicado un trabajo buscan
confirmar sus resultados con ms
trabajos convergentes
Autores que trabajan para una
institucin (u organismo
Intereses institucionales
internacional) buscan publicar
resultados que apoyen la labor de su
institucin
Los investigadores tienen que
publicar para prosperar y las
Sesgo de publicacin
revistas quieren resultados claros en
vez de dudosos
Fuente: Doucouliagos y Paldam (2006), tabla 5.

Aplicacin a la eficacia de la ayuda


Algunos autores expresan su
ideologa poltica y encuentran
resultados que la apoyan
La mitad de los autores sobre el tema
han escrito ms de un estudio.
Pueden identificarse grupos luchando
por hacer prevalecer su modelo
El 35% de la investigacin es
financiada con fondos de ayuda,
creando asimetra, por ejemplo
respecto a autores de pases en
desarrollo
La significatividad de los resultados
crece menos de lo que debera por el
tamao muestral

Como se desprende de la tabla, los resultados que se obtengan y publiquen sobre la


eficacia de la ayuda no estn sometidos a una limpieza insesgada como si se tratara de
un ensayo fsico de laboratorio en condiciones estticas. Hay intereses en juego, tanto
8

El metaanlisis es el estudio basado en la integracin estructurada y sistemtica de la informacin


obtenida en diferentes estudios, sobre un problema determinado. Bsicamente consiste en identificar y
revisar los estudios, con el fin de dar una estimacin cuantitativa sinttica de todos los estudios
disponibles. Dado que incluye un nmero mayor de observaciones, un metaanlisis tiene un poder
estadstico superior al de los trabajos que incluye. Los dos principales problemas metodolgicos de los
metaanlisis son: la heterogeneidad de los estudios incluidos y el posible sesgo de publicacin, derivado
de que no todos los anlisis realmente realizados han sido publicados, por resultados negativos o no
esperados.

CAP. 3 LA EFICACIA MACRO DE LA AOD.

115

institucionales como personales, que hacen que se otorguen ms credibilidad a unos


trabajos que a otros con independencia de la rigurosidad de sus resultados. El caso ms
notorio en la literatura sobre la eficacia de la ayuda son las aportaciones de Burnside,
Collier y Dollar que con resultados muy contestados han logrado que lneas de
financiacin como la Millenium Challenge Account norteamericana est basada en sus
conclusiones. Tambin es fcil de advertir como existe un amplio conjunto de trabajos
publicados por sus contrarios: sea el grupo britnico de Morrisey, Lensink y White,
los escandinavos Dalgaard, Hansen y Tarp o los franceses Guillaumont y Chauvet. Este
empeo en producir trabajos en una direccin determinada se refuerza al analizar
algunas caractersticas de los 104 autores de los 97 estudios que meta-analizan
Doucouliagos y Paldam y que se recogen en la Tabla 5.

Tabla 5. Algunas caractersticas de los autores de la literatura sobre eficacia de la ayuda.


Participacin de los autores en:
N de Trabajos

Nmero de Autores

Probabilidad de aparecer

75

Nunca ms

50%

17

1 vez ms

22.7%

2 veces ms

16%

3 veces ms

8.0%

4 veces ms

3.3%

6 o ms

5 o ms veces

Total

0%

104
Origen del autor

Pas desarrollado

Originario de pas en desarrollo pero


ahora trabajando en pas desarrollado

Pas no desarrollado

Financiador de la investigacin
73

Universidad

72

Organismo Internacional

17

Ayuda al Desarrollo

12

Otro

27

Fuente: Doucouliagos y Paldam (2006) Tabla 6. Slo 9 de 104 autores son mujeres.

La conclusin de los autores es que tras 40 aos de ayuda al desarrollo, es probable que
en el mundo haya en torno a un 20% menos pobres gracias a la ayuda, frente a un 50%
de menor pobreza en China e India gracias al crecimiento econmico. Quiz la ayuda
puede ser til y eficaz en trminos de crecimiento econmico e incluso desarrollo, pero

CAP. 3 LA EFICACIA MACRO DE LA AOD.

116

el esfuerzo emprico que representan 104 autores, 97 estudios, 1.025 regresiones y 182
modelos no parece estar nada acorde con un avance del conocimiento que aclare la
cuestin. Lo ms probable es que el empirismo est dejando de lado toda la compleja
poltica que est detrs de la ayuda y que esta dimensin explique mucha ms realidad
de la ayuda que la multitud de parmetros obtenidos de los modelos sin capacidad real
para predecir.
3.

EL RACIONALISMO: QU SIGNIFICA LA AYUDA ES EFICAZ (O


INEFICAZ)?

En esta seccin analizamos el significado de la pregunta sobre la eficacia de la ayuda al


desarrollo. Qu queremos saber cuando interrogamos sobre la eficacia de la ayuda? Si
la ayuda al desarrollo, reduce la pobreza? Si incrementa el ritmo del crecimiento per
capita del pas receptor? Si genera desarrollo humano? Los pases que reciben ms
ayuda en trminos proporcionales a su renta interior bruta, muestran mayores niveles
de renta per capita a lo largo del tiempo? Se destina la ayuda a los pases que mejor la
van a utilizar (harn un uso ms eficaz de ella)? Todas estas preguntas se parecen, pero
son muy diferentes tanto en su significado como en la informacin necesaria para
responderla y la metodologa para conocer la respuesta. Aqu nos centraremos en si la
ayuda al desarrollo reduce o no la pobreza, debido a que el marco internacional de la
ayuda cada vez afirma con ms claridad que este es su objetivo (Declaracin del
Milenio de Naciones Unidas, Objetivos de Desarrollo del Milenio, Declaracin de Pars
sobre los principios para una ayuda eficaz, por nombrar slo algunos). De estos
documentos y de bastantes trabajos empricos, discursos polticos o campaas de
ONGD, puede interpretarse una relacin causa-efecto lineal e inmediata entre el
aumento de la ayuda y la reduccin de la pobreza. Como hay mucha pobreza, hay que
duplicar la ayuda. El argumento correra de la siguiente manera:
Argumento 1.
A. La situacin de pobreza en la que se encuentran millones de personas (ya
sabemos que esta cantidad es desconocida con precisin y est sujeta a muchos
supuestos contables) es inaceptable.
B. La ayuda reduce la pobreza.
C. Cuanto ms ayuda se d, menos pobreza habr.

CAP. 3 LA EFICACIA MACRO DE LA AOD.

117

Incluso a lo largo de la historia del siglo XX encontramos numerosas ocasiones en las


que se ha sostenido que doblando la cantidad de ayuda, se solucionar la pobreza
mundial.
La clave del argumento no est en la imprecisin cuantitativa de A. Es decir, no
sabemos realmente cunta pobreza hay. La clave, a mi entender, es que la proposicin B
no es un axioma, sino una hiptesis que hay que probar.
En primer lugar, es falaz que los donantes asignan su ayuda buscando slo reducir la
pobreza del receptor. Los intereses comerciales y geoestratgicos estn, al menos,
igualmente presentes. Dos pruebas de ello son:
a) los notables incrementos de la ayuda registrados en las cifras del CAD en 2005 y
2006, estn sesgados por las operaciones en Irak y las condonaciones de deuda a
Nigeria y Pakistn;
b) el reconocimiento explcito de organismos internacionales como el Banco Mundial,
sobre todo en el contexto de la Guerra Fra en el que naci la ayuda, pero que no ha
desaparecido del todo9.
En segundo lugar, puede que suceda C, pero como hemos visto en la anterior seccinC es funcin de B (la poltica de asignacin de ayuda de los donantes) y de otras
muchas otras variables independientes del pas receptor, exgenas (clima, orografa,
haber sido colonia, fraccionamiento tnico, lingstico o religioso) y endgenas
(polticas, econmicas y sociales).
En el argumento 1, la relacin ayuda-pobreza se concibe entonces de forma causaefecto y su impacto es mecanicista y determinista. La ayuda causa reduccin de
pobreza. O bien, hay pobreza (efecto) porque los pases ricos no dan suficiente ayuda
(causa). Si los pases ricos doblan su ayuda, la pobreza se reducir a la mitad. Es decir,
la relacin pobreza-ayuda es lineal y de uno a uno. En trminos econmicos, la
elasticidad ayuda-pobreza es igual a la unidad. Los flujos de ayuda tienen rendimientos
constantes. Easterly (2003, 2006:19-26) ha mostrado cmo en las sucesivas veces que
en las ltimas dcadas se ha reclamado doblar la ayuda, la realidad ha sido que ni se

Desde su origen la cooperacin para el desarrollo ha tenido dos objetivos, potencialmente conflictivos
entre s. El primero es promover el crecimiento a largo plazo y la reduccin de la pobreza de las
economas en desarrollo (la motivacin de los donantes por este objetivo es una combinacin de altruismo
y una preocupacin ms interesada de que a medio y largo plazo su seguridad y estabilidad se vern
favorecidas por un contexto de crecimiento de los pases ms pobres). El segundo objetivo era promover
los intereses polticos y estratgicos inmediatos de los donantes. La mayor parte de la ayuda se diriga a
pases con regmenes aliados de las potencias occidentales. Ms an, los objetivos estratgicos y de
desarrollo de la ayuda, aparecan enfrentados entre s (Banco Mundial 1998:7)

118

CAP. 3 LA EFICACIA MACRO DE LA AOD.

ha alcanzado realmente ese esfuerzo financiero, ni la pobreza de los pases ms


ayudados se ha reducido. El ejemplo ms evidente es la relacin de pases que han
recibido prstamos de ajuste estructural entre 1970-2000 (Easterly 2006, fig.2, p.46).
Los constantes flujos crecientes de ayuda recibidos por frica, estn asociados con
cadas constantes de su PIB per capita desde 1980.
Ya hemos dejado claro en la anterior seccin que los datos (con todas las limitaciones
de calidad que tienen) confirman que esto no es as. Y la historia econmica lo refuerza.
Aunque no disponemos del contrafactual histrico de un pas que haya duplicado su
ayuda y haya doblado su nivel de producto por habitante o reducido a la mitad su
porcentaje de personas por debajo de la lnea de pobreza, s tenemos evidencias de que
la realidad econmica no est sometida a este tipo de causalidad lineal.
Adems, los estudios empricos sobre la relacin entre la ayuda y el crecimiento
econmico, lo que muestran con bastante certeza es que existen rendimientos
decrecientes en los flujos de ayuda (el parmetro de la ayuda al cuadrado es negativo).
Lo que quiero recalcar es que el reclamo por parte de organizaciones no
gubernamentales a travs de campaas a favor de aumentar la ayuda porque esta reduce
la pobreza (o para que lo haga), no est basado en evidencia emprica, ni histrica.
Puede apoyarse esta iniciativa desde muchos ngulos (ticos, poltica acertada, bienes
pblicos mundiales, etc.) pero hoy por hoy no podemos presentar cientficamente que
hay que ayudar porque hay una ley econmica que ha mostrado que ms ayuda se
transforma en menos pobreza. Al menos de forma agregada. Y puede que esta
agregacin tenga bastante que ver con nuestra ignorancia y por eso no defendemos aqu
ms estudios macro de la eficacia de la ayuda, sino el desarrollo ms sistemtico y
abundante de evaluaciones concretas y ms acotadas que nos permitan verificar mejor la
hiptesis de que algunas veces, cierto tipo de ayuda, bajo determinados contextos, ha
logrado reducir alguna o algunas de las dimensiones de la pobreza, en esta zona
geogrfica (comunidad, distrito, estado, pas...) y periodo.
Las evaluaciones permiten acotar la dimensin de las premisas del Argumento 1, y
pueden ofrecer causalidades ms crebles, pero encontramos un trade-off entre
agregacin y validez externa o generalizacin. Cuanto ms acotamos la muestra, ms
manejable, creble y til es la relacin causal que se pretende afirmar, pero menor es la
confianza de que la extrapolacin de otra ayuda, produzca el mismo efecto en otro
receptor. Por poner un ejemplo del campo de la medicina. No podemos afirmar que un
conjunto acotado de sntomas, producen siempre la misma enfermedad, que tratada de la

CAP. 3 LA EFICACIA MACRO DE LA AOD.

119

misma forma sobre todos los pacientes, producen siempre su curacin. Las ciencias
sociales no enuncian nunca ese tipo de leyes. Pero incluso no lo hace la fsica, como
vamos a ver a continuacin al analizar los tipo de causalidad (cientfica) que se pueden
distinguir.

Causalidad fsica, estadstica y filosfica.


Causalidad fsica.
La fsica clsica busca la causalidad para poder establecer leyes de la naturaleza. La
causa precede al efecto. Luego analizando los efectos, pueden inferirse las causas. De
esta forma y tras numerosos experimentos, se llega a la certeza de que como siempre
que sucede B, se ha dado A (A precede a B), puede afirmarse que A causa B.
El problema con este determinismo causal o principio de uniformidad (toda causa
produce siempre un mismo efecto), se plante con la teora de la relatividad tanto
especial como general. En este marco de conocimiento, slo se afirma que el efecto
debe pertenecer al cono de luz futuro de su causa, an en espacio-tiempos curvos. La
causalidad aparece ya ligada estrechamente a la localizacin.
Fue Heisenberg quien introdujo con el principio de incertidumbre, un reto frontal a la
causalidad uniforme. En efecto, tanto en su mecnica matricial como en la
complementaria mecnica ondulatoria de Schrdinger, de una misma causa ya no se
deriva siempre un mismo efecto, sino que existe una variedad de posibles efectos. Lo
que la ciencia afirma ahora es que la probabilidad de que cuando la causa se
produzca, ocurra uno de los efectos y sea cognoscible de forma precisa. No existe
ninguna razn por la que se obtengan resultados diferentes. Si bien la naturaleza no es
determinista, se pueden calcular con precisin las probabilidades de obtener los posibles
efectos. La ciencia de la fsica cuntica sigue ofreciendo exactitud, no indeterminacin.
Estas precisiones epistemolgicas se derivaron de experimentos en los que se detectaba
la imposibilidad de medir simultneamente propiedades observables y no observables
de la materia. Por ejemplo, la posicin y la velocidad de una misma partcula10.

10

Por poner un ejemplo aclaratorio: si hubiera un microscopio capaz de ver un electrn, habra que enviar
una cantidad mnima de luz para hacerlo observable (digamos un fotn), pero apenas este fotn toque al
electrn ya lo ha hecho cambiar de posicin. En otras palabras, como es imposible alcanzar la ausencia
absoluta de energa cintica, es imposible confinar las partculas y determinar su posicin exacta. De ah
que se postule que debe existir una energa residual de punto cero, que mantiene las partculas en
movimiento y tambin nuestra incertidumbre.

120

CAP. 3 LA EFICACIA MACRO DE LA AOD.

Esta causalidad fsica no determinista ha permitido un gran avance en la mecnica de


partculas, ahora a base de conocimiento terico, no de experimentos naturales digamos
empiristas.
Esta reflexin es muy til para nuestro enigma de si la ayuda al desarrollo causa
reduccin de la pobreza o incremento del ingreso per capita o el desarrollo humano. De
ella podemos extraer tres lecciones.
1) La primera leccin es que, si la fsica acepta construir conocimiento en trminos
probabilsticos, con ms razn puede planterselo una ciencia tan inexacta como la
economa del desarrollo.
2) La segunda leccin es aceptar que, aunque no podamos reproducir experimentos
naturales repetibles y detectar constancia en los resultados, se puede hablar con rigor
cientfico de causalidad, siempre que se tenga en cuenta que ya estamos fuera de la
concepcin determinista del principio de uniformidad. Es decir, es cientfico afirmar
que en unas ocasiones la ayuda ha causado reducciones de la pobreza (o mayor
crecimiento), aunque no afirmemos una ley universal uniforme del tipo siempre que se
ha ayudado se ha reducido la pobreza, precisamente porque ese tipo de conocimiento
supera nuestro marco epistemolgico humano.
3) La tercera leccin proviene las paradojas fsicas que muestran lo complejo que
pueden ser los universos cognoscibles, pero que no por ello son irracionales o
acientficos. El caso ms conocido en la fsica es el del gato de Schrdinger. ste es
un experimento imaginario, diseado por Erwin Schrdinger para exponer uno de los
aspectos ms extraos, a priori, de la mecnica cuntica. Supongamos un sistema
formado por una caja cerrada y opaca que contiene un gato, una botella de gas
venenoso, una partcula radiactiva con un 50% de probabilidades de desintegrarse y un
dispositivo tal que, si la partcula se desintegra, se rompe la botella y el gato muere. Al
depender todo el sistema del estado final de un nico tomo que acta segn la
mecnica cuntica, tanto la partcula como el gato forman parte de un sistema sometido
a las leyes de la mecnica cuntica.
Siguiendo la interpretacin de Copenhague, mientras no abramos la caja, el gato est en
un estado tal que est vivo y muerto a la vez. En el momento en que abramos la caja, la
sola accin de observar al gato modifica su estado, haciendo que pase a estar solamente
vivo, o solamente muerto. Pero, qu ha causado su estado final de vida o muerte, queda
claramente fuera de las posibilidades de conocimiento.

CAP. 3 LA EFICACIA MACRO DE LA AOD.

121

De alguna manera la cuestin de si la ayuda causa una reduccin la pobreza, es una


cuestin que puede parecerse a esta paradoja. Es realmente difcil inferir una ley a partir
de un sistema cerrado y opaco como el de Schrndinger. Podramos parafrasear su
experimento diciendo: introducimos en una caja un pobre (el gato), un sistema
institucional completamente deficiente para el desarrollo humano (la botella de gas
venenoso), un proyecto de desarrollo con un 50% de probabilidades de que funcione (la
partcula radiactiva), y un sistema de seguimiento y evaluacin burocrticos tal que si el
proyecto falla, la institucin se vuelve contra el pobre y permanece en su condicin o se
ahonda an ms su marginalidad. Al hacer depender todo el sistema de un conjunto
(inconexo) de proyectos de ayuda, mientras no evaluemos su eficacia (no abramos la
caja), debemos afirmar que el pobre sigue pobre y no pobre a la vez. La ayuda al
desarrollo puede funcionar y no funcionar para reducir la pobreza a la vez. Lo ms
sorprendente es que cuando abramos la caja (introduzcamos en la ayuda un sistema de
seguimiento y evaluacin eficiente), esta misma accin ya va a modificar el estado de la
ayuda. Ahora ya NO podemos saber si la ayuda agregada reduce la pobreza o no, pero
S sabremos que unos proyectos funcionan y otros no. No sabremos su causa. Pero
podremos practicar una ayuda que ir completando y mejorando nuestro conocimiento
con el paso del tiempo y las evaluaciones.

Causalidad estadstica.
En estadstica no se habla en trminos de causalidad, sino de correlacin o asociacin
entre dos variables. Los diseos que permiten una mayor afirmacin en trminos de
minimizacin de sesgos son los experimentos naturales aleatorizados. En ellos se
forman dos grupos lo ms idnticos posibles. A uno se le somete a un tratamiento con el
factor estudiado (grupo de tratamiento) y al otro no (grupo de control)11. La
comparacin entre los efectos producidos por el factor en uno y otro grupo permite
afirmar el (o los) efectos causados por el factor. Como este tipo de diseos no es
sencillo ni pueden implementarse siempre en las intervenciones de desarrollo, existen
una serie de criterios estadsticos que ayudan a afirmar que la asociacin entre el
hipottico factor causal y los efectos observados, no son casuales (aunque no causales).
Los principios ms conocidos son: fuerza de la asociacin (o coeficiente de
determinacin R2); gradiente o efecto dosis-respuesta; secuencia temporal; consistencia

11

Vase Larr (2008).

122

CAP. 3 LA EFICACIA MACRO DE LA AOD.

o repeticin del mismo resultado en otros estudios; coherencia con otros hallazgos;
analoga con otros fenmenos; plausibilidad o mecanismo plausible que explique la
relacin causa-efecto; especificidad; evidencia experimental en diseos aleatorizados
como los comentados ms arriba.
Lo interesante de esta coleccin de principios es que sin dotarnos de posibilidad para
afirmar causalidad, construyen pensamiento

falsable, cientfico en

trminos

popperianos.
Aplicados al tema que nos ocupa. Aunque los estudios economtricos no son capaces de
ofrecernos resultados en trminos de causalidad sobre la relacin ayuda-pobreza (o
ayuda-crecimiento), s que disponemos de criterios que aplicados a unidades ms
concretas de evaluacin como los proyectos, programas y polticas de desarrollo,
permiten ir construyendo un acervo de conocimientos que orientan las decisiones de
poltica en una direccin u otra. Ahora nuestro fin no es encontrar un parmetro
incuestionable que nos permita predecir con exactitud la eficacia de la ayuda gracias a
una regresin. Sino acumular certezas que orientan las buenas prcticas sobre la ayuda
al desarrollo, para ir aprendiendo a reducir progresivamente la pobreza y no hacer ms
dao sobre la vida de los pobres.
El concepto economtrico que ms se acerca a la causalidad estadstica es el de
causalidad de Granger. Se dice que una serie temporal Xt causa en el sentido de Granger
un efecto sobre otra serie Yt, cuando los valores retardados de Xt proveen de
informacin significativa estadsticamente sobre los futuros valores de Yt. Se afirma
entonces que X causa (en el sentido de Granger) Y, y no al revs. Es importante notar
que este concepto slo puede aplicarse a pares de variables. Cuando en la relacin
verdadera estn involucradas tres o ms variables, los resultados de los test de
causalidad de Granger pueden conducir a resultados errneos. Quiz esto explique por
qu se han aplicado con poca frecuencia este tipo de anlisis a la relacin entre ayuda y
crecimiento12. Existen excepciones como las de Lloyd et al. (2000) sobre las
exportaciones de los donantes y la ayuda13, Arvin et al. (2002)14 sobre la democracia y

12

No es viable para relaciones como la ayuda y la pobreza o la desigualdad, al carecerse de series


temporales anuales en los casos de pobreza y desigualdad, ya que las encuestas a los hogares que originan
este tipo de informacin no se hacen anualmente en la inmensa mayora de los pases.
13
Para una muestra de 4 donantes (Francia, Alemania, Holanda y el Reino Unido) y 26 receptores
africanos entre 1969-1995, encontraron un 14% de casos de causalidad Granger en los que las
exportaciones atraan mayor ayuda, 13% de casos en los que era la ayuda la que causaba ms
exportaciones del donante al receptor.

CAP. 3 LA EFICACIA MACRO DE LA AOD.

123

la ayuda o Roodman (2008) en el que encuentra que el nivel de ayuda recibido por un
pas en desarrollo no ayuda a predecir su crecimiento en los prximos aos, pero
conocer cunto ha crecido ayuda a predecir cunta ayuda recibir. Es decir encuentra
causalidad-Granger del crecimiento sobre la ayuda. La ayuda tiende a seguir al
crecimiento, ms que viceversa (Roodman 2007b:19). Crecer, atrae ms ayuda
mientras que recibir ayuda no permite predecir que habr mayor crecimiento. A igual
conclusin llegaron Doucouliagos y Paldam (2006), pues al considerar el conjunto de
estudios y hacer una regresin simple entre la ayuda y el crecimiento con un retardo, sin
retardo y con un ao de avance, fue sta ltima (es decir la precedencia del crecimiento
sobre la ayuda) la nica combinacin que result significativa al 95% de confianza
(coeficiente de 0.039 con p-valor de 0.023 y 895 observaciones).
Como vemos, tanto la causalidad fsica como la estadstica nos aproximan a un
concepto blando de causalidad y operativo, pragmtico si se quiere. Tambin invitan a
que la construccin de conocimiento se haga sobre unidades ms pequeas y manejables
de ayuda, ms reales y no tanto sobre los nmeros generados de forma imprecisa y
agregada, tal como se ha hecho hasta ahora en los estudios macro de eficacia de la
ayuda.
La causalidad filosfica nos ayudar a detectar las posibles falacias que se construyen a
partir de las evidencias empricas que generan este tipo de estudios de eficacia macro.

Causalidad filosfica.
La categora de causa o causacin ha sido objeto de reflexin filosfica desde sus
orgenes15. Nuestra intencin no es hacer aqu un anlisis pormenorizado de la historia
de la filosofa en relacin a la causacin, sino aprovechar algunas de sus reflexiones
para intentar iluminar la cuestin de en qu sentido puede mantenerse o no la
proposicin de que la ayuda al desarrollo causa una reduccin de la pobreza.
La reflexin filosfica sobre la causa se ha desarrollado en torno a dos grandes aspectos.
Uno es sobre la causa original o primaria de todo lo que viene a ser (el tema de
creacin, emanacin, causa primordial, etc.) El otro es la causa en el sentido fsico,
sobre todo en la teora del movimiento. Si sobre el primer sentido se produjo la
14

En 8 pases encontraron un efecto beneficioso de la ayuda sobre la democracia; en otros 3 un efecto


prejudicial; hubo 8 que recibieron menos ayuda aunque mejoraron su indicador de democracia; en 5
pases la causalidad fue bidireccional. La conclusin de los autores es que no haya una relacin causal
entre la democracia y la ayuda externa (p.182-3).
15
Vase la voz causa en Ferrater Mora (1991:461-471).

124

CAP. 3 LA EFICACIA MACRO DE LA AOD.

reflexin de los presocrticos y filsofos medievales, sobre el sentido fsico ha


abundado la reflexin desde los siglos XVII y XVIII y donde la reflexin ha sido
compartida con los epistemlogos y filsofos de la ciencia. Es en este segundo sentido
en donde nos vamos a centrar. La observacin del movimiento llev al enunciado que a
todo efecto (mvil) le antecede una causa. Cuando esta observacin es permanente en el
tiempo, se afirma que siempre que se produce tal efecto, su origen est en la misma
causa. Es el principio de determinacin o ley fsica el que permite predecir hechos.
Aristteles16 plante en su Fsica, una tipologa de causas. La causa eficiente o
principio del cambio (debe existir un motor inmvil originante de todos los cambiosmovimientos), la causa material o aquello por lo cual algo surge o llega a ser, la causa
formal que es la idea o paradigma, la esencia que es antes de haber sido, y la causa
final o teleolgica hacia la que tiende el ser. Tambin reconoci la existencia de causas
recprocas, lo que llev a los estoicos a hablar de causa mutua.
De la clasificacin aristotlica podemos aprovechar su idea de causa material aplicada
al campo que nos ocupa. As, la ayuda al desarrollo puede ser origen de una reduccin
de pobreza potencial o de llegar a ser. La idea intuitiva es que la ayuda externa puede
ser causa material de una reduccin de la pobreza observada como efecto.
La idea estoica de causa mutua la hemos identificado en la seccin de la revisin
emprica al considerar los trminos interactivos de los modelos de evaluacin de la
ayuda. La conocida hiptesis de Burnside y Dollar (2000) al hacer depender la eficacia
(causa) de la ayuda sobre el crecimiento econmico slo si interacta en un pas con
buenas polticas, utiliza esta categora de causa mutua. La ayuda por s sola no causa
crecimiento, pero la ayuda junto a las buenas polticas, s causa el efecto del incremento
de la renta per capita del pas receptor.
Santo Toms bebi de las fuentes aristotlicas para desarrollar una amplsima topologa
de especies de causa que pueden agruparse en ocho pares. Por espacio, no nos
detenemos a profundizar en la aportacin tomista, ya que fue pasado ya el renacimiento,
en los siglos XVII y XVIII cuando se produjo la dolarizacin de posturas entre
empiristas y racionalistas en torno a la nocin de causa y que ha marcado toda la
reflexin posterior.
Galileo fue de los primeros en renunciar a la nocin de causa para centrarse en sus
experimentos en medir movimiento. De algn modo es precursor de la postura empirista
16

Por espacio y por no tratarse de un texto filosfico omito las referencias bibliogrficas filosficas
originales.

CAP. 3 LA EFICACIA MACRO DE LA AOD.

125

que tiene en Hume a uno de sus mximos representantes. Para el filsofo ingls no
existe causacin, sino slo sucesiones de fenmenos con lo que no podemos llegar a
enunciar leyes predictivas. Lo universal y necesario slo se da entre ideas, pero nunca
entre hechos. Siglos ms tarde Cassirer recoge la tesis empirista afirmando que un
enunciado causal no dice ms que lo que ya se sabe, y que la causalidad no es ley, ni
determinacin, sino slo el punto de vista para poder hablar de leyes.
Vemos as que para los empiristas no tiene ningn sentido pretender sostener que la
ayuda causa reduccin de la pobreza, ya que ni puede medirse, ni experimentarse, ni
hay constancia de efectos, con lo que no puede ser la causa. La causa slo es un ente de
razn sin fundamento de realidad. La ayuda reduce la pobreza es una proposicin
inverificable y por tanto acientfica (si nos movemos en el extremo empirista de la teora
de la ciencia positivista del tipo de R. Carnap y el crculo de Viena).
Frente a los empiristas, los filsofos racionalistas equipararn causa a razn. Leibniz
enunciar el principio de no contradiccin por el que no puede mantenerse que A y noA se den al mismo tiempo, es decir un mismo efecto no puede ser causado y no causado
por una misma causa. Al principio de no contradiccin, aadir -en positivo- el de razn
suficiente: nada sucede sin razn suficiente, tanto a nivel lgico como ontolgico. Esta
yuxtaposicin obligaba a los racionalistas a defenderse de que para entender
racionalmente el efecto, ste deba estar incluido en la causa. Los ocasionalistas como
Algazel trataron de salir de la apora renunciando, en el fondo, al concepto de causa ya
que stas eran slo ocasiones de mostrarse.
Volvamos a nuestra analoga con la ayuda y la pobreza. Para los racionalistas, el efecto
observable (la reduccin de la pobreza) ya contena racionalmente su causa (la ayuda).
Esto nos conduce al optimismo volitivo de los defensores de la ayuda. Como quiero
que la ayuda siga existiendo porque la ayuda es buena (a priori), la reduccin de toda
pobreza tiene su origen en la ayuda. En este tipo de argumentacin podemos encontrar
muchos de los clichs y eslganes ligados, por ejemplo, a los Objetivos de Desarrollo
del Milenio. Puede parecer que la reduccin de la pobreza de 1990 a la mitad en 2015
slo es cuestin de aumentar la cuanta de los flujos de ayuda al desarrollo, sin dar
opcin a que ese efecto pueda originarse por muchas otras causas, como el respeto a
la propiedad privada, la reforma agraria, el desarrollo crediticio o una poltica fiscal
progresiva, por poner slo algunos ejemplos avalados por la historia econmica.
Kant fue el filsofo que trat de armonizar y sintetizar las visiones de empiristas y
racionalistas. Por un lado acept la inexistencia real de la causalidad, pero por otro lado

126

CAP. 3 LA EFICACIA MACRO DE LA AOD.

reconoci que sin una sucesin de causa-efecto no era posible la ciencia. Si bien la
causalidad no est en la realidad, no es una simple creencia fundada en el hbito (a lo
Hume). La causalidad es una categora del entendimiento que permite producir juicios.
Cuando los juicios son sintticos a priori, se enuncian leyes universales y necesarias que
son las cientficas. La relacin causa-efecto es un juicio hipottico-deductivo que slo
es aplicable al mundo fenomnico, no al noumnico. La ley cientfica procede de
acuerdo a la segunda analoga de la experiencia: hay fenmenos que se suceden en el
tiempo con el mismo e invariable orden.
Kant se distancia de los empiristas al creer que puede observarse si la reduccin de la
pobreza procede de la ayuda, pero se aleja de los racionalistas extremos al identificar
que en toda reduccin de pobreza est subsumida como causa la ayuda al desarrollo. A
conclusiones similares llegar un siglo ms tarde M. Bunge. Para l, la causa es una
produccin real (rechazo del empirismo), pero no admite el racionalismo por el que las
hiptesis causales son identificables bajo una determinacin estricta. Una crtica
puramente nihilista de la causalidad conduce, segn Bunge, al irracionalismo. Como
cualquier otra categora de determinacin, la causacin tiene un alcance operativo
limitado.
Bunge nos permite caminar en una va media entre la negacin de toda posible
afirmacin del efecto de la ayuda sobre la pobreza y la afirmacin de que la eficacia de
la ayuda sobre la reduccin de la pobreza slo puede mantenerse de forma racional sin
prueba emprica posible.
Para finalizar este recorrido por la historia de la filosofa, consideramos ahora la
aportacin de Bergson. El filsofo francs, insatisfecho con el racionalismo positivista
que prevalece a comienzos del siglo XX, expone tres sentidos diferentes de causalidad.
Una primera acepcin es la causalidad por impulsin. Por ejemplo la bola de billar al
chocar contra otra causa un cambio de movimiento. Es la acepcin de la causa fsica. En
ella la cantidad y cualidad del efecto (movimiento de la segunda bola) vara segn la
cantidad y cualidad de la causa (primera bola). Un segundo sentido es la causa por
disparo. Cuando una chispa hace estallar la plvora ya no opera una causalidad como la
anterior. Ahora ni la cantidad ni cualidad del efecto varan en funcin de la cantidad y
cualidad de la causa. El tercer tipo de causa es por desenvolvimiento. Por ejemplo, en la
distensin gradual de un resorte, la cantidad del efecto depende de la cantidad de su
causa, pero la causa no influye sobre la cualidad del efecto.

CAP. 3 LA EFICACIA MACRO DE LA AOD.

127

De estos tres tipo de causa, nicamente en el sentido de la impulsin puede predicarse


que la causa explica el efecto. En las otras dos, observamos relacin causa-efecto, pero
no conocemos ms.
Apliquemos el anlisis de Bergson a nuestra cuestin de la ayuda y la reduccin de la
pobreza. Si la ayuda fuera causa impulsora de la reduccin de la pobreza, obtendramos
una relacin mecnica entre las dos variables. Estaramos en el mundo de las
regresiones lineales que testan si la ayuda y la pobreza mantienen una relacin inversa
uno a uno (o una relacin directa entre la ayuda y el crecimiento, como pretendieron los
primeros anlisis empricos vistos en la anterior seccin). Creemos que es difcil
mantener este tipo de relacin despus de todo lo expuesto hasta aqu. No podemos
esperar una mecnica determinista entre cuanta y calidad de la ayuda con
reducciones proporcionales constantes de la pobreza. El mundo de las ciencias sociales
ya hace tiempo que no aspira a emularse con las ciencias fsicas, y pocos cientficos y
filsofos de la ciencia serios mantienen el positivismo extremo.
A este mecanicismo determinista parecera llevar mantenerse en el segundo tipo de
causalidad de Bergson. Toda chispa produce siempre- la explosin de la plvora. La
economa no es la qumica. No encontraremos enunciados protocolarios del tipo
siempre que A entonces B en la economa, al menos en la economa real, fuera de los
modelos de los manuales. Quiz s podemos conocer que es probable que no siempre
que se aumenta la ayuda se reduce la pobreza, y de esto podemos tener mayor
experiencia y evidencia emprica.
Tambin ilumina la cuestin que tratamos el tercer tipo de causalidad de Bergson. La
ayuda puede ser (o llegar a ser) causa de reduccin de pobreza por desenvolvimiento.
No estamos en disposicin de hacer leyes universales y necesarias, pero mayor
reduccin de la pobreza puede estar originada por mayor cantidad de ayuda aunque
haya muchas otras formas de causar el mismo efecto y lo importante es que mejor
calidad de la ayuda puede producir mayor reduccin de la pobreza.
La pregunta entonces no es si la ayuda reduce la pobreza o no de forma emprica, sino si
es racional pensar que dar ayuda puede causar menor pobreza en sus destinatarios y
disear la poltica econmica normativa ptima, que maximice la productividad de la
ayuda en trminos de reduccin de pobreza. Y esta cuestin no la puede responder,
como hemos visto, un clculo ni un modelo, pues los datos observables de los que
disponemos cuando nos movemos en los niveles super-agregados de la ayuda y la

CAP. 3 LA EFICACIA MACRO DE LA AOD.

128

pobreza, contienen tantos supuestos y mrgenes de error que no ofrecen respuestas


fiables.
En definitiva, partir de premisas tan inconmensurables como cunta pobreza hay y
cunta ayuda llega realmente llega a los pobres, nos debera aconsejar no seguir
intentando llegar a conclusiones vlidas, ni por orden emprico, ni por orden de razn
necesaria ms voluntarista (muy probable con intereses creados por sus defensores)
que otra cosa. Querer que la ayuda reduzca la pobreza y si no, peor para la realidad,
no es la manera mejor de ayudar a los pobres. Al menos desde el campo acadmicocientfico.
4.

CONCLUSIONES.

A la luz de lo expuesto en el trabajo, la pregunta sobre si la ayuda funciona o no (causa


o no una reduccin de la pobreza), debe tener necesariamente una respuesta inconclusa,
al partir de proposiciones precisamente inconmensurables. Datos con mucho ruido
(noisy data sets) y teoras causales sobre la pobreza an incipientes, no pueden generar
respuestas claras y distintas.
La ayuda al desarrollo recoge un conjunto de flujos monetarios y en especie que pueden
funcionar o no para muchos fines. Puede considerarse que la ayuda funciona cuando, en
los escenarios de catstrofes humanitarias, salva vidas y hace que el sufrimiento
humano de sus vctimas sea algo menor. Puede considerarse que la ayuda otorgada para
crear condiciones macroeconmicas y productivas ms estables y eficientes se traduce
en crecimientos del PIB del pas receptor, en niveles o en trminos per capita. La ayuda
puede ser eficaz cuando crea condiciones muy preliminares para que los ciudadanos
ms pobres de un pas que no tienen acceso alguno a los servicios pblicos ms bsicos
(educacin, salud, saneamiento, agua) puedan acceder a ellos aunque de momento no se
sepa si ser sostenible o no en el tiempo. Las evaluaciones de proyectos y programas
llevados a cabo por los donantes, muestran tasas de eficacia entendida como el logro
de las actividades y productos planificados- en torno al 70-80% de ellos (Riddell
2007:180-183).
Y la ayuda tambin puede ser juzgada como eficaz si contribuye a lograr los objetivos
de poltica exterior del donante en el pas receptor (el ejemplo de Irak desde 2006 es
ilustrativo). La ayuda supone muchos retornos para empresas de servicios o centros
universitarios y de investigacin tanto del Norte como del Sur, cuando la consideramos
bajo el instrumento de cooperacin y asistencia tcnica. Podemos considerarla eficaz?

CAP. 3 LA EFICACIA MACRO DE LA AOD.

129

En el trabajo hemos expuestos razones tcnicas por las que los trabajos empricos no
han ofrecido hasta ahora unos resultados convergentes a la cuestin de si la ayuda al
desarrollo queda estadsticamente asociada a incrementos del PIB per capita de los
pases receptores. Los problemas de causalidad reversible, de instrumentacin, de
colineariedad y autocorrelacin entre las variables, de sensibilidad de los resultados
hacia el periodo temporal elegido, los retardos seleccionados, el tamao muestral, el
tratamiento dado a los casos atpicos y, en fin, las variables omitidas, ofrecen soportes
razonables para entender la perplejidad a la que conducen los casi cien estudios
disponibles. La ideologa, tanto de los autores como de los organismos que financian los
estudios, y el sesgo de las publicaciones hacia mostrar resultados claros en una u otra
direccin, tambin ayuda a explicar la divergencia de respuestas a la pregunta sobre la
eficacia de la ayuda.
Adems hemos reflexionado sobre el concepto de causalidad, tanto desde una
dimensin fsica, como estadstica y filosfica. La causalidad fsica ayuda a no
permanecer en un positivismo extremo slo verificado en experimentos de mecnica
clsica. La mecnica cuntica no dispone de prueba emprica aislada de la existencia de
quarks, ni los filsofos de la ciencia logran hallar solucin a la cuestin del gato de
Schrdinger. Pero eso no les impide disponer de hiptesis falsables que hacen avanzar
su conocimiento, ni les conduce a afirmar caprichosamente que esas cuestiones no
sirven para nada.
La causalidad estadstica o causalidad de Granger, aplicada a la relacin entre el
crecimiento y la ayuda, ha ido ofreciendo resultados convergentes de que es el
crecimiento quien precede a la ayuda y no al revs. La ayuda comparte este rasgo con la
inversin directa extranjera, sobre todo en los pases ms grandes. Hasta que no
aparecen seales de dinamismo econmico no llegan los flujos financieros.
La reflexin filosfica en torno a la causalidad, conduce a poder sostener que hay varias
formas de causar un mismo efecto.
Si la correlacin emprica no es causalidad, el juicio valorativo agregado sobre la
eficacia de la ayuda, no debe venir de los estudios economtricos. stos deben ser una
fuente ms del conjunto de respuestas que pueden provenir de evaluaciones bajo
mltiples diseos y de contribuciones de otras ciencias sociales igual de importantes en
la eficacia de la ayuda como la poltica, la sociologa, la antropologa cultural...
Preguntas inconmensurables, exigen respuestas multidisciplinares y plurimetodolgicas.
El recorrido que queda pendiente para saber si la ayuda estimula el crecimiento,

130

CAP. 3 LA EFICACIA MACRO DE LA AOD.

aumenta la desigualdad y reduce la pobreza es, ciertamente largo. Ojal que tambin
vaya siendo esperanzador para los menos favorecidos de este mundo.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

131

CAPTULO
4.
LA
EVALUACIN
DE
INTERVENCIONES
COOPERACIN PARA EL DESARROLLO: QU HAY QUE HACER?

DE

1. INTRODUCCIN.
Este captulo est dedicado al anlisis del marco terico de la evaluacin de
intervenciones de cooperacin al desarrollo que puedan realizar los diversos agentes,
tanto agencias y administraciones descentralizadas como las ONGD espaolas. Tiene
como objetivo presentar los elementos fundamentales para realizar el trabajo de la
evaluacin. Ms adelante se presentarn algunos modelos que estn llevndose a cabo
ya en evaluaciones, para terminar con el anlisis de la realidad espaola en esta materia
y proceder a obtener conclusiones y propuestas.
El recorrido de los captulos anteriores nos ha permitido conocer la dificultad intrnseca
a saber qu funciona y qu no en la ayuda al desarrollo. Los estudios de eficacia macro
han aportado una porcin de verdad, pero son insuficientes. Las evaluaciones micro
pueden ser el complemento idneo al generar conocimiento contextualizado y prctico.
El captulo se estructura en ocho epgrafes. Tras la presente introduccin, se define lo
que se entiende por evaluacin en el contexto de la cooperacin al desarrollo y se
explican los principales tipos de ella. Acto seguido, se exponen y comentan los criterios
comnmente aceptados para evaluar, as como los factores de desarrollo, que son el
contexto en el cual se realizar la evaluacin. En quinto lugar se explica cmo elaborar
o disear una evaluacin de un proyecto de desarrollo, aportando secuencialmente los
pasos a realizar. En el sexto epgrafe nos detenemos en las herramientas que habremos
de usar para obtener la informacin y analizarla. En el sptimo apartado, se expone el
"ciclo de la evaluacin" que nos aporta la visin integral del proceso continuo que
supone evaluar. En el octavo epgrafe se comentan algunas de las principales
consecuencias que tiene la decisin positiva de evaluar.
Con este captulo, realizaremos un acercamiento a la teora de la evaluacin de los
proyectos tratando de responder a la pregunta "qu hay que hacer" cuando nos
dispongamos a evaluar un proyecto o programa de cooperacin para el desarrollo.
Como gran parte del contenido puede encontrarse ya en la literatura, el valor principal
del captulo son los comentarios prcticos en torno a las distintas fases del ciclo de la

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

132

evaluacin. Considero que el capitulo es un complemento y comentario a lo que el


lector puede encontrar en las Metodologas de Evaluacin de la Cooperacin Espaola
(MAE 1998, 2001) y el Manual de Gestin (MAEC 2007).
Quedan, pues, conscientemente excluidas en este trabajo otras mltiples actividades e
instrumentos que realizan las agencias y ONGD, y nos centramos en exclusiva en la
ms numerosa y significativa de ellas: la formulacin y ejecucin de proyectos de
desarrollo en reas del Tercer Mundo1.
2. DEFINICIN, TIPOLOGAS Y CARACTERSTICAS GENERALES DE LA
EVALUACIN DE PROYECTOS.
De manera general, "evaluar" -segn el Diccionario de la Real Academia- es "sealar
el valor de una cosa; estimar, apreciar, calcular el valor de una cosa; estimar los
conocimientos, aptitudes y rendimiento" de los que son evaluados. Esta primera
aproximacin nos permite tomar conciencia de que la evaluacin combina dimensiones
subjetivas (estimar, apreciar) con intentos de objetividad (calcular, sealar el valor).
Esta doble dimensin subjetiva-objetiva (tan inherente a la gnoseologa humana) no
debemos perderla nunca de vista, pues va a resultar fuente de conflictos y de esfuerzos
en toda la tarea evaluadora. Tratamos de estimar el valor de un proyecto de desarrollo
en un pas, en el que han intervenido personas. Ellas se han beneficiado (o perjudicado)
del xito (o fracaso) de dicho proyecto, y en ellas radicar la dimensin subjetiva del
proyecto. Sern la fuente primaria de la informacin a obtener. Los evaluadores unirn
su propia subjetividad a la de los miembros de la contraparte con la que interacten,
realizando la evaluacin. El conocimiento evaluativo surge de la intersubjetividad. El
reto principal ser que sta tenga correlato en la realidad objetiva interpretada por los
agentes involucrados en la evaluacin. Es decir, debemos esperar que las valoraciones
surgidas de la evaluacin tengan dosis de polmica, desacuerdos o se presten a diversas
interpretaciones. Por una parte, es una consecuencia intrnseca al acto de conocer

Para otros enfoques de evaluacin, distintos a los proyectos, como cooperacin tcnica, ayuda
alimentaria y de emergencia, sectorial, geogrfica, de pas, programas, o temticas, puede
consultarse la Metodologa de Evaluacin de la Cooperacin Espaola (MAE 1998a:105-122).
Para la evaluacin del enfoque sectorial y el apoyo presupuestario vase Castao y Larr (2005),
Lawson et al. (2003) y Lawson y Booth (2004).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

133

humano. Por otra parte, los diversos intereses de los agentes involucrados podr
justificar el disenso y forzar la bsqueda del acuerdo para que sus recomendaciones
sean tiles y produzcan cambios.
Concretando ms el concepto de "evaluacin" para el contexto de la ejecucin de
proyectos de desarrollo, el Comit de Ayuda al Desarrollo (CAD 1995:178) aporta la
siguiente definicin:
"La evaluacin es una funcin que consiste en hacer una apreciacin tan
sistemtica y objetiva como sea posible, sobre un proyecto en curso o acabado,
un programa o un conjunto de lneas de accin, su concepcin, su realizacin y
sus resultados. Se trata de determinar la pertinencia de los objetivos y su grado
de realizacin, la eficiencia en cuanto al desarrollo, la eficacia, el impacto y la
viabilidad. Una evaluacin debe proporcionar unas informaciones crebles y
tiles, que permitan integrar las enseanzas sacadas en los mecanismos de
elaboracin de las decisiones, tanto de los pases de acogida como de los
donantes" 2.

Esta definicin operativa nos aporta informacin acerca de cuatro elementos sobre la
evaluacin, que hemos ido subrayando:
1. Las cualidades que debe tener la evaluacin: sistemtica y objetiva.
2. Los momentos que abarca la evaluacin: concepcin, realizacin y resultados. En
este sentido, se habla en la literatura de:

evaluaciones ex-ante (examen previo, "appraisal"),

evaluaciones de seguimiento (intermedias, "on-going", "mid-term") y fin de


proyecto,

evaluaciones ex-post o sobre proyectos ya terminados hace un tiempo3.

3. Los criterios de evaluacin: eficiencia, eficacia, pertinencia, impacto y viabilidad o


sostenibilidad.

El subrayado es propio.

Por ejemplo Rubin (1995:33-34); MAE (1998a:42); Beaudoux (1992:145-146); Cohen y Franco
(1993:109-119); Pichardo (1997:177-180 y 289-358).

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

134

4. Las finalidades de evaluar: a partir de informacin creble y til, se trata de extraer


enseanzas para el futuro, corregir desviaciones, detectar nuevas formas de cooperacin
eficaces o rechazar las que no resultan.
Comentemos brevemente estos contenidos.
En cuanto a las cualidades de la evaluacin, nos movemos en el difcil equilibrio entre
lo deseable y lo posible. Una evaluacin debe estar dotada de rigor y calidad pues, si no,
la informacin ofrecida no ser til ni relevante y las lecciones aprendidas no podrn
aplicarse, aunque haya voluntad para ello. Debemos, pues, mezclar la "cientificidad"
con la "posibilidad" y la "utilidad". Esto deber tenerse en cuenta, sobre todo, a la hora
de decidir el nmero de proyectos a evaluar, su profundidad y su mtodo, pues el coste
y el tiempo disponible sern factores escasos y limitativos del "ideal".
La principal idea que hay que destacar en cuanto a los momentos en los que la
evaluacin afecta, es que sta debe ser una parte integral de todo el Ciclo de Gestin del
Proyecto (CGP). Es especialmente importante que desde la misma identificacin del
proyecto ya se concrete la forma de cmo se va evaluar, as como generalizar el
proceso evaluador a todo proyecto formulado y aprobado. Esta pretensin de totalidad
puede parecer excesiva, pero no tanto si se matiza con que cada proyecto exigir un
nivel distinto y propio de evaluacin. En algunos casos, evaluar ser comunicar los
resultados de la accin, el estado contable y destino de los fondos, actores implicados o
principal enseanza obtenida. En otros casos, la evaluacin se plantear de forma ms
completa e integral, incorporando evaluaciones de impacto a medio y largo plazo. Pero
lo que se recalca es la necesidad de "ejecutar" el Ciclo de Gestin del Proyecto de forma
completa, incluyendo siempre algn tipo de evaluacin. La honestidad del proceso de
desarrollo as lo requiere, tanto para los potenciales beneficiarios del proyecto, como
para sus ejecutores, gestores o donantes de los recursos implicados en dicha accin. En
sntesis, lo ltimo en la ejecucin (la evaluacin) debe estar presente desde lo primero
del ciclo del proyecto (la identificacin)4.

La misma idea la seala Chambers (1983) con su sugestivo ttulo: Putting the last, first.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

135

En este trabajo dejamos ms de lado las evaluaciones ex-ante o estudios de viabilidad


del proyecto efectuadas en la etapa de identificacin del CGP (su "concepcin" en
expresin del CAD), as como en las evaluaciones de seguimiento que concluyen con el
informe final ("realizacin"). Creemos que estas fases estn ms desarrolladas e
incorporadas en la prctica de la ayuda espaola. No as las evaluaciones ex-post que
son muy escasas, como se ver ms adelante, y sobre las que centramos nuestra atencin
en el captulo sexto al abordar la evaluacin y gestin hacia resultados.
Tanto las evaluaciones ex ante, como las de seguimiento o las ex post, pueden ser
realizadas por personal interno o externo a la organizacin. Estas diferencias nos
conducen a las diversas tipologas de evaluacin que podemos encontrar y que se
esquematizan en el cuadro 4.15.
Cuadro 4.1. Tipologa de evaluaciones.
SEGN SUS ACTORES:

SEGN EL MOMENTO:

Interna.

Mixta.

Externa.

Participativa.

SEGN SUS FINES:

Ex ante, diagnstico previo

Formativa.

de viabilidad.

Sumativa.

Intermedia, seguimiento y
control.

Final.

Ex post de impactos.
CONCEPTOS AFINES

AUDITORA.

METAEVALUACIN

RENDICIN DE CUENTAS

Fuente: Elaboracin propia.

Una clasificacin complementaria es la del Manual de Gestin del MAEC (2007:27-33). Aqu
aportamos un gua valorativa y no slo descriptiva de cada tipo de evaluacin.

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

136

A. Segn los actores de la evaluacin, estas se clasifican en internas, externas, mixtas y


participativas. En el cuadro 4.2. ofrecemos un balance sobre las ventajas e
inconvenientes de cada una de ellas6.
Cuadro 4.2. Balance sobre las evaluaciones, segn sus actores.
VENTAJAS

INCONVENIENTES
INTERNA

Colaboracin y mutua confianza ya establecida.

Gran conocimiento sustantivo del rea y el proyecto.

Ms volcada al mutuo aprendizaje, la reflexin


conjunta y el intercambio de experiencias.

Ms barata.

Desaconsejable si ha habido fricciones previas entre


las partes.

No elimina el choque de intereses inherente al


ejercicio evaluador.

La objetividad es ms costosa.

Hay ms pre-juicios de valor y actitudes predispuestas


hacia el xito/fracaso.

EXTERNA

Los consultores evaluadores tienen ms experiencia.

Poseen mayor preparacin tcnica y especfica.

La evaluacin adquiere mayor acento metodolgico y


rigor cientfico.

La objetividad e independencia son menos costosas.

Los evaluadores poseen mayor desconocimiento


sustantivo del rea y el proyecto.

Deben vigilar la tendencia a proyectar situaciones


semejantes ya vividas por ellos y a generalizar (efecto
halo, en psicologa).

La objetividad total no es posible.

Generan menos confianza en los beneficiarios


acentuando las actitudes defensivas y sentimientos de
control.

Mayor coste.

MIXTA

Elimina algunos de los inconvenientes anteriores.

Promedia el coste.

Todos los evaluadores del equipo mixto deben saber y


poder trabajar en equipo.

Posibles conflictos de intereses y/o metodolgicos


entre sus miembros.

PARTICIPATIVA

Otra valoracin puede contrastarse en PICHARDO (1997) pp.170-175, que aade un cuarto tipo: la
autoevaluacin por los responsables directos de la ejecucin de las acciones.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

VENTAJAS

137

INCONVENIENTES

La informacin obtenida de los propios beneficiarios


es ms directa y pura.

Es ms lenta, menos profunda, menos tcnica y


cientfica.

Se recogen sus intereses y se centra en ellos.

Posible conflicto de intereses con la entidad


financiadora.

Se promueve el autoaprendizaje.

Sirve como ejercicio de asistencia tcnica y formacin


prctica en procesos de desarrollo y fortalecimiento
comunitario. Empodera.

Al ser inducida, puede caer en ser manipulada o


dirigida, hasta forzar resultados consensuados que
satisfagan a todas las partes.

Fuente: Elaboracin propia.

Conviene advertir que la condicin de participativas puede combinarse con cualquiera


de las otras tres. La evaluacin interna es la realizada por personal propio de la
Organizacin en su integridad, desde la formulacin de los trminos de referencia, la
visita al terreno, la redaccin del informe evaluativo y su difusin. En la evaluacin
mixta, el equipo evaluador se compone de personal interno y externo. La evaluacin
externa es la encargada a una entidad consultora experta en el ejercicio de evaluaciones.
Como dijimos ms arriba, si en cada uno de estos tipos participan miembros del
personal local beneficiado por el proyecto, podran calificarse de participativas. Lo
especfico de las evaluaciones participativas ser que el poder, la realidad y los
intereses predominantes de la evaluacin sean los de los beneficiarios. En este sentido,
diferenciamos evaluaciones participativas de evaluaciones con participacin de los
agentes del Sur, a los que se suele incorporar casi siempre como informadores clave,
pero a menudo no se les devuelve ningn informe ni producto o resultado concreto de la
evaluacin. En el captulo siguiente desarrollamos ms a fondo la metodologa y
tcnicas de evaluacin participativas.
B. Atendiendo al criterio del momento temporal de su realizacin podemos considerar
los siguientes tipos de evaluacin.
La evaluacin ex ante tambin denominada de diagnstico previo o viabilidad. Trata de
determinar si el proyecto podr realizarse y los efectos previsibles que tendr sobre la
poblacin, medio ambiente, entorno cultural, poltico y social de las comunidades que
sern involucradas por l, y un anlisis coste-beneficio de variable profundidad y rigor.
Una evaluacin previa o ex ante permite proceder a la formulacin del proyecto una vez

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

138

identificado o, en su caso, rechazarlo. La formulacin seguir las conclusiones y


recomendaciones efectuadas por este anlisis previo.
Una de las misiones importantes de la evaluacin previa ser la determinacin de una
lnea de base cuantitativa y cualitativa de la situacin real sobre la que se va a ejecutar
el proyecto, para poder establecer posteriormente comparaciones que permitan una
imputacin de impactos ms cercana a la realidad.
Dentro de este primer momento de evaluacin previa pueden distinguirse algunos
subtipos (Alvira 1991:33-43 y Gasc 1999):

Evaluacin de las necesidades: su objetivo es conocer el alcance, volumen y


caractersticas del problema que la intervencin desea lograr.

Evaluacin del diseo: analiza la poblacin meta u objeto, los posibles


problemas de cobertura, las actividades que componen el proyecto y los
recursos disponibles para afrontarlo.

Evaluacin de la evaluabilidad: es la valoracin de la capacidad de realizar la


evaluacin ex post, mediante el anlisis de sus objetivos, la coherencia interna
del proyecto y la disponibilidad de datos7.

Tras la formulacin del proyecto, la evaluacin de seguimiento o monitoreo se centra


en la observacin y control de las operaciones planificadas, tanto en el tiempo o
cronograma formulado como en el gasto presupuestado, as como en la recogida de
datos previstos por los indicadores objetivamente verificables definidos en la
formulacin. El producto material de esta evaluacin son los informes de seguimiento
de periodicidad variable (normalmente semestrales en intervenciones anuales o anuales
para programas plurianuales)8.
Dentro del momento de la ejecucin del proyecto pueden distinguirse:

Sobre la evaluabilidad vase MAEC (2007:26), Alonso, A. (2007) y Dahler-Larsen (2007).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

139

Evaluacin de la implementacin: o el anlisis de la instrumentalizacin del


proyecto, es decir de su puesta en prctica siguiendo los esquemas tericos
previamente fijados (Alvira 1991:38).

Evaluacin de la cobertura: para analizar hasta qu punto la accin que se


est desarrollando llega realmente a poblacin fijada como meta u objetivo,
tratando de determinar si existen barreras de accesibilidad al proyecto9.

La evaluacin final la entendemos aqu como la entrega final del proyecto a los
beneficiados, el anlisis de los primeros impactos y la redaccin de un informe final. En
l se deberan registrar las buenas, normales y malas prcticas, los xitos y fracasos as
como sus principales motivos y tratar de sistematizar los aprendizajes comunitarios para
todas las partes implicadas en el proyecto. Si el contenido tcnico de los tipos anteriores
les haca ms proclives a ser externos, la evaluacin final debe ser lo ms participativa
posible y atender tambin a posibles efectos inesperados y a impactos negativos o
colectivos perjudicados por la accin llevada a cabo. Debe recorrerse todo el ciclo
evaluativo, asegurndose de la utilidad y utilizacin de los informes finales, as como de
su debida difusin. La dimensin de control, ms acentuada en el proceso de
seguimiento, aqu puede entenderse como una rendicin final de cuentas, pero no debe
reducirse nicamente al control financiero-presupuestario, sino que la dimensin tcnica
de los aprendizajes surgidos en cada experiencia debe ser un insumo que genere
conocimientos cuyo mayor valor ser la validez interna aplicada a contextos muy
especficos.
Los impactos deben considerarse sobre todos implicados (stakeholders): los
beneficiarios o perjudicados directos e indirectos, la comunidad o zona ms amplia en la
que se ha ejecutado la accin, sobre la organizacin socia local y sobre la propia
ONGD, atendiendo a la actividad promovida (calidad del servicio ofrecido, estructura

Para casos particulares y sobre todo en lo referente al control financiero del gasto, pueden pedirse
informes con periodicidad menor.

Un comentario a la evaluacin de la cobertura y su consideracin como criterio de evaluacin


adems de cmo subtipo se desarrolla en Ligero (2001).

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

140

de capital empleada y su gestin, control interno contable), a las consecuencias para su


estructura directiva interna, su configuracin institucional, o su propia identidad.
Hemos considerado aparte, la evaluacin ex post de impacto porque entendemos que
sta se realiza puramente tras el transcurso de un plazo medio desde que finaliz y se
entreg el proyecto. Es el momento de primar los criterios de impacto y sostenibilidad o
viabilidad real que el proyecto dej sobre los socios beneficiarios. En este ejercicio
deben considerarse los impactos conjuntos de cualquier naturaleza: los culturales,
medioambientales, polticos, de cambios en las relaciones de poder, en las relaciones de
gnero, la promocin del desarrollo endgeno, el fortalecimiento institucional, la
creacin de capacidades duraderas y el incremento del capital humano, las mejoras en el
nivel de vida de la poblacin en los aspectos de vivienda, autoestima, econmicos,
sociales, las consecuencias imprevistas y no detectadas o realizadas en el momento de la
evaluacin final, la fuga de cerebros y prdida de economas externas y de escala en
los procesos econmicos iniciados o potenciados por el proyecto. Es decir, acercarse
con una visin global a la situacin modificada, unos aos despus de entregado el
proyecto. Si bien esta evaluacin puede aparecer como la ms costosa, es evidente que
es la ms interesante y valiosa, la que ms se acerca a una definicin pura y acadmicoformal del trmino evaluacin10.
C. Atendiendo a los fines que persiga la evaluacin, se pueden considerar las
valuaciones formativas y sumativas, diferenciacin aportada por Scriven (1967)11.
La evaluacin formativa se centra la revisin de la ejecucin del proyecto tratando de
mejorar su formulacin, la calidad del producto ofrecido. Su finalidad es mejorar o
refinar el ente (producto) evaluando, en el sentido de Guba y Lincoln12. En general, la
evaluacin formativa se realiza para ayudar al personal a perfeccionar el producto o

10

Para un desarrollo conceptual y tcnico de las evaluaciones de impacto, sobre todo bajo
metodologa experimental o aleatorizada, vase Larr (2007b).

11

Para desarrollar esta tipologa: Scriven (1967; 1988); Stufflebeam y Shinkfield (1993:345-346);
Dale (1998:30-33). Esta tipologa no se aborda en el Manual del MAEC (2007).

12

Guba y Lincoln (1989:188): Identification of the evaluand (the entity to be evaluated).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

141

servicio que est ofertando. Mejora la planificacin y formulacin del proyecto y se


centra ms en el seguimiento y entrega final del proyecto de desarrollo. Tiende a juzgar
principalmente la calidad del diseo del proyecto (su mrito) y por tanto suele producir
mayor utilidad sobre los intereses y actuaciones de la ONGD o la agencia financiadora,
es decir, las instituciones de la cadena de cooperacin que actan desde el Norte13.
Requiere un alto nivel de validez interna.
La evaluacin sumativa, por su parte, juzga sobre todo el proyecto en su conjunto, por
tanto, sobre su valor ms que el mrito. Tiende a ser realizada con participacin de
agentes externos y sirve para la determinacin de las mejores prcticas, crculos
viciosos y virtuosos de las acciones de desarrollo. Permite la comparacin entre
eficiencia de distintos agentes (distintas ONGD, cooperacin bilateral o multilateral,
proyectos gestionaos por la AECID vs. ONGD, por ejemplo), facilita las evaluaciones
temticas, sectoriales y de zona geogrfica o pas. Su mayor ambicin las hacen aportar
mayor valor aadido, pero son ms costosas, complejas tcnicamente y las
recomendaciones ofrecidas afectan preferentemente al plan estratgico de las
instituciones o a su propia identidad y concepcin de desarrollo. La exigencia de validez
externa es superior a la formativa. Casi todas las evaluaciones publicadas por el
MAE(C) han sido sumativas14.
Las formativas, por el contrario, permiten una mayor participacin de la gente, de todos
los implicados y agentes. Tienen mayor impacto a corto plazo y se orientan
preferentemente sobre el plano operacional de los proyectos y programas, ms que
sobre la estrategia.

13

Guba y Lincoln interrelacionan las variables mrito y valor con formativa y sumativa, dando lugar
a: evaluaciones formativas del mrito (establecer el valor [worth] intrnseco del proyecto con el fin
de mejorarlo); evaluaciones formativas del valor (establecer el valor extrnseco del proyecto para
incrementarlo ajustndolo al contexto concreto donde se lleva a cabo); evaluaciones sumativas del
mrito (establecer el valor intrnseco de la calidad del proyecto y juzgar si se encuentra por debajo,
por encima o en el estndar de calidad normalizado); evaluaciones sumativas del valor (establecer
su valor extrnseco, dado su contexto particular de aplicacin), Guba y Lincoln (1989:189-190).
Estas relaciones se comentarn en el siguiente captulo.

14

Vanse MAE (1998 a-d; 1999 a-b; 2000 a-b; 2001 a-c; 2002, 2003 a-d; 2004 a; 2005 a-d) y
MAEC (2007 b).

142

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

En el Cuadro 4.3. resumimos los principales rasgos de cada una.


Cuadro 4.3. Caracterizacin de las evaluaciones formativas y sumativas.
FORMATIVA

SUMATIVA

Suele realizarse como seguimiento o nada ms

Tiene mayor carcter de evaluacin ex post y sobre

terminar el proyecto.

los impactos del proyecto.

Afecta ms al plan operacional.

Afecta ms al plan estratgico.

Es ms participativa.

Es ms tcnica.

Ofrece lecciones sobre identificacin, formulacin


y ejecucin de proyectos.

Ofrece claves estratgicas para cooperacin con el


pas o zona, sectores, instrumentos o temas
especficos.

Se centra sobre el mrito y calidad del producto o

Se centra sobre el valor aadido del producto o

servicio.

servicio ofertado.

Muy recomendable para proyectos piloto.

Exige alta validez interna.


Mayor utilidad para los eslabones del Sur de la
cadena de cooperacin (beneficiarios y
organizaciones locales) y para formuladores y
ejecutores de proyectos.

Muy recomendable en fases intermedias o finales


del convenio de colaboracin con la contraparte.
Se centra sobre la validez externa.

Mayor utilidad para los eslabones del Norte de la


cadena de cooperacin (cofinanciadoras y ONGD)
y para financiadores y planificadores de estrategia.

Fuente: Elaboracin propia.

Fuera de las categoras de tipos de evaluacin, el cuadro 4.1. present como conceptos
afines los de la auditora, la metaevaluacin y los informes de rendicin de cuentas.
Presentamos ahora sus rasgos bsicos para no confundirlos con tipos de evaluacin.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

143

Queremos distinguir entre auditora y evaluacin, pues a menudo se utilizan indistinta o


conjuntamente, sobre todo por parte de empresas consultoras o por organizaciones del
Sur, ms acostumbradas a ofrecer o consumir este servicio15.
La auditora se define como:
Revisin oficial de los libros de contabilidad para comprobar la exactitud de
los apuntes y los criterios de imputacin y devengo utilizados al realizarlos.
Tiene como fin asegurar que se han registrado todas las transacciones
econmicas y que los estados financieros reflejan lo ms exactamente posible
la verdadera situacin de la sociedad y se presentan de acuerdo con los
PCGA16. La auditora puede ser limitada o completa y externa o interna 17.

Es evidente que el control contable que ofrece la auditora es importante para la


transparencia, solvencia y buena marcha de cualquier proyecto y organizacin que lo
ejecuta, pero que en ningn momento debera contemplarse como tipologa integrada en
la evaluacin de las intervenciones de desarrollo. Son actividades relacionadas, pero
muy diversas y no es propsito de este estudio plantearse la posibilidad de introducir
algunos criterios y elementos de evaluacin cuando se realice la auditora. Por el
momento, preferimos diferenciar si acaso en exceso- las actividades evaluadoras y
auditoras para no confundir.
Evidentemente, la evaluacin de los elementos presupuestarios y el control contable,
forma parte del seguimiento e informe final de todo proyecto, pero eso no es la
evaluacin de dicho proyecto.

15

Por ejemplo en el artculo de Nsang (1999:176) se habla como ltima fase de la evaluacin en la
dinmica de la AECI, la revisin del informe final realizado por la ONGD entendida como
verificacin financiero-contable y administrativa y la auditora, referida a la verificacin de la
documentacin soporte de todo el proyecto subvencionado, entendiendo por tal tambin aquella
referida a partes del proyecto que no hayan sido objeto de subvencin por la SECIPI. Debe
haber quedado claro ya, que esta investigacin no entiende la evaluacin como auditora, que
nunca hemos contemplado estas actividades de control de la calidad de justificantes a lo largo de
este estudio.

16

Planes Contables Generales Aprobados.

17

Expansin (1990:49).

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

144

Por otra parte, la metaevaluacin es la evaluacin de una evaluacin18. Trata entonces


de enjuiciar la calidad de la evaluacin presentada. Esta apreciacin puede medirse por
criterios externos poco apropiados a los intereses de los agentes involucrados. La
belleza formal de su edicin, la precisin matemtica de sus clculos o la validez lgica
de sus argumentaciones son elementos que, aumentando la calidad del trabajo
evaluativo, deben ser secundarios a la hora de juzgar su calidad. Por supuesto, no deben
considerarse criterios tan absurdos como un gran nmero de pginas, abundantes
recomendaciones generalistas o un detallado control contable.
El criterio prioritario para juzgar la calidad de una evaluacin debe ser la utilidad de la
informacin aportada a los diversos agentes implicados y especialmente a la entidad
promotora que tomar decisiones a partir de la informacin suministrada por la
evaluacin. Las evaluaciones cuyas recomendaciones se ponen en prctica y cuyas
conclusiones se difunden entre los implicados por ellas, sern buenas evaluaciones,
aunque el nivel de las variables anteriormente descritas sea menor.
Todos los agentes y personas implicadas en la cadena de cooperacin que intervino en
el desarrollo de la intervencin, deberan conocer la existencia del informe de
evaluacin y los resultados obtenidos, bien cierto que cada uno en cantidad, profundidad
y lenguaje adaptados a su situacin, intereses y responsabilidades.
Mucha de la tarea de la metaevaluacin corresponde al equipo de difusin de la
evaluacin. Como veremos ms adelante, en la retroalimentacin de los resultados
reside la potencia de la evaluacin.
Una actividad asociada a la metaevaluacin es la elaboracin de informes de sntesis
que agrupan las valoraciones obtenidas por diversas evaluaciones, ya sean temticas, de
instrumentos o de agentes19.

18

Vase Bustelo (2002).

19

Una metaevaluacin e informe de sntesis de intervenciones de la Comisin Europea puede


consultarse en Larr (2003b). Sobre evaluaciones de programas plurianuales cofinanciados por la
Comunidad de Madrid, vase el informe de sntesis de Larr (2007a).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

145

Por ltimo, es necesario distinguir la rendicin de cuentas de los informes de


evaluacin. Entiendo por informes de rendicin de cuentas la relacin de destinos
finalmente producidos de los compromisos adquiridos en la programacin de la ayuda.
En ellos se ofrece informacin cuantitativa de la ayuda, pero no se juzgan las
intervenciones. Dicho de forma plstica, los informes Seguimiento-PACI editados por la
oficina de planificacin y evaluacin (o la DGPOLDE desde 2005) no son evaluaciones,
sino rendiciones de cuentas. Lo mismo podra aplicarse a los informes de las
administraciones descentralizadas que recogen de forma sistemtica la cuanta del gasto
producido en uno o varios ejercicios, as como la asignacin geogrfica y sectorial de
los proyectos aprobados. Es una informacin valiosa que incrementa la transparencia,
pero, siendo misiones que pueden estar asignadas a un mismo departamento, no son
evaluaciones. Si no hay juicio evaluativo, no hay evaluacin20.
Adems de los tipos de evaluacin, la definicin del CAD inclua los criterios que
componen la evaluacin. Por su importancia, stos van a ser analizados con detalle en el
prximo epgrafe.
En cuanto a las finalidades hay que insistir en que la mayor utilidad de toda evaluacin
es obtener aprendizajes de forma sistemtica, para mejorar continuamente en la accin y
ofrecer cada vez mayor calidad y eficiencia21. En el otro extremo, est planeando
siempre el peligro de vivir la evaluacin como control o como amenaza y desconfianza.
Esto debe evitarse a toda costa en los procesos de desarrollo, y ms entre las ONGD que
trabajan basadas en la mutua confianza y cercana con sus contrapartes, y sa es una de
sus principales ventajas y cualidades, como ya vimos.

20

A efectos prcticos, pueden compararse los informes de la Cooperacin para el Desarrollo


realizada por las Administraciones Pblicas Madrileas CM (1999-2003) para los ejercicios
comprendidos entre 1998-2002, con los informes de evaluacin del PAEBA, CM (2003, 2005) y
notar sus evidentes diferencias. Por cierto que esta buena prctica de transparentar los datos
anuales se ha detenido por esta Administracin en 2002.

21

En el mismo sentido se expresa el Ministerio de Asuntos Exteriores: "...la evaluacin no debe ser
entendida como una funcin de supervisin y control, aunque desde alguna perspectiva lo sea,
sino como una herramienta til para aumentar la construccin del ``saber hacer tcnico y
poltico, para facilitar el proceso de toma de decisiones, para mejorar la eficiencia de las
actuaciones y para asegurar la transparencia del sistema". MAE (1998a:140-141).

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

146

Pero quiz sea inevitable una dosis de sentimiento de "control" en la evaluacin, por
pequea que sea. Este puede canalizarse positivamente a base de dilogo cercano entre
los agentes implicados y tratando de que todos participen en el proceso evaluador,
dando iniciativa y protagonismo a los propios beneficiarios de la accin. Ellos sern
quienes puedan aportar una informacin insustituible de cara a una evaluacin de
calidad. Ellos van a ser los protagonistas de su propio proceso de desarrollo y ellos
mismos deben evaluar dicho proceso. Conviene aqu recordar la mxima de C. Ake
(1996:76): "el desarrollo es una experiencia vivida, nunca una experiencia recibida".
En definitiva, y en relacin a la prctica de la evaluacin, el contenido del trmino
"cooperacin" tiene que lograr su plena comprensin.
Podemos resumir, con la Metodologa del Ministerio de Asuntos Exteriores, los
principios bsicos de toda evaluacin, as como las principales dificultades que se
presentan de partida.
Por lo que se refiere a los principios bsicos de la evaluacin de proyectos
destacamos los siguientes22:
1. Equilibrio entre las distintas subjetividades que aportan todos los agentes implicados
en el proyecto, sus precomprensiones, temperamentos y cualidades, as como la dosis de
objetividad que nos ofrecen los hechos, los datos estadsticos y contables. Se trata de
lograr una credibilidad en la informacin aportada, que puede ganar -o no- con la
"independencia" que aporten evaluadores externos. Pero no creemos que la sola
externalidad de la evaluacin garantice la independencia23. El consultor o evaluador
"externo" no es epistemolgicamente neutro. Nadie es "neutral" ante los hechos, como
muestran las modernas antropologas y teoras del conocimiento24. Pero esto no debe
llevar a un solipsismo cartesiano o a un subjetivismo aportico, sino que tan slo se
quiere llamar la atencin sobre la necesidad de actitudes humanas bsicas que debe

22

Pichardo (1997:167-168), menciona los siguientes, que consideramos subsumidos de alguna forma
en los que aqu se ofrecen: validez, confiabilidad, practicabilidad, objetividad y oportunidad.

23

En contra de lo que parece expresar el Manual del MAE (1998a:23).

24

Ver por ejemplo Monserrat (1984).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

147

tener el evaluador: el dilogo, la empata, el respeto, la tolerancia o la mutua confianza.


Estas, junto con las herramientas cientficas que nos aportan dosis de objetividad, nos
permiten lograr un equilibrio que la filosofa del conocimiento denomina "realismo
moderado". En definitiva, el nivel de credibilidad tambin es subjetivo, y en nuestro
caso lo pondr la propia agencia u ONGD que promueva la evaluacin de las
intervenciones que decida. Habr que lograr un nivel aceptable y equilibrado de este
binomio "subjetivo-objetivo", que satisfaga los deseos de rigor de la Organizacin.
2. Generar un enfoque e informacin que denote utilidad. La evaluacin debe responder
a las preguntas de los interesados, de los agentes implicados en el proyecto, no a
ninguna rutina o inters ajeno al proceso25. La evaluacin se realiza para obtener
enseanzas, nunca para aumentar la carga de trabajo o burocracia anexo a un proyecto.
Y la utilidad de la evaluacin se ve directamente reforzada con el grado de
retroalimentacin y difusin que se d al informe generado.
3. En cuanto a la aplicacin prctica de las enseanzas, conviene tener un alto nivel de
transparencia en los informes realizados. Deben ser difundidos internamente a los
interesados de la agencia u ONGD, a las contrapartes socias y a los beneficiarios, es
decir deben ser pblicos y publicados26. Una evaluacin, por mucha calidad y rigor que
tenga, ser intil si no es examinada y explotada, poniendo en prctica las
recomendaciones que surjan de ella. Quiz el mejor indicador de la calidad de una
evaluacin sea la cantidad y cualidad de los cambios (mejoras) que logr producir.
Por lo que respecta a las principales dificultades de la evaluacin sealamos las
siguientes:

25

Sobre las preguntas de cada agente involucrado y cmo conciliarlas, vase Touza (2007).

26

Al menos los resmenes de todas las evaluaciones realizadas. As lo lleva realizando la Oficina de
Planificacin y Evaluacin (OPE) de la SECIPI, desde 1998 que comenz su actividad evaluadora.
Pueden consultarse al respecto los formatos y contenido de estos informes en la web del Ministerio
de Asuntos Exteriores y Cooperacin. Un estudio antecedente del sistema pblico de evaluaciones
lo realiz Gudio (1996). Para una valoracin de los primeros informes y propuestas de futuro,
puede consultarse Gudio (1999).

148

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

1. La primera dificultad es crear el hbito y la "cultura" de la evaluacin en las propias


Administraciones (central y descentralizadas) y en las ONGD. Si bien es cierto que
desde 1998 la cultura evaluativa en la cooperacin espaola ha ido aumentando (se ver
de forma concreta en el captulo sexto), tambin es cierto que no puede hablarse de una
prctica ya sistemtica y rutinizada en la gestin de la ayuda. Hasta ahora, una
proporcin muy pequea de proyectos y programas son evaluados y, por supuesto, no
todos son identificados concretando ya el modo como sern evaluados. Los sistemas de
informacin cuantitativa y la calidad de los indicadores es manifiestamente mejorable.
Habr que ir generando los incentivos oportunos para salir de esta situacin, y extender
la cultura evaluativa y la gestin orientada hacia los resultados en lugar de los insumos
como se ha venido haciendo hasta la fecha.
2. Una segunda dificultad est relacionada con la propia ejecucin de la evaluacin.
Cmo obtener la informacin ms adecuada y oportuna con el mnimo tiempo y coste?
Qu indicadores utilizar? Aqu podemos aventurar un salto cualitativo entre los
proyectos que ya tengan definida su evaluacin desde la propia identificacin y
aprobacin del proyecto, de aqullos que quieran ser evaluados ex-post, pero que no se
formularon para ser evaluados. Asumiendo el criterio de que todos los proyectos sern
evaluados aunque no todos bajo la misma manera y profundidad-, a partir de entonces
ser ms sencillo.
3. Otra dificultad es la ya mencionada connotacin de "control" que toda evaluacin
conlleva y que tiende a sesgar de forma sistemtica los resultados hacia el xito. Al
"sesgo controlador" habr que aadir los "sesgos psicolgicos" tanto del evaluador,
como del resto de los agentes implicados en el ejercicio evaluativo. La falta de
publicidad y publicacin de los errores conduce al conocido como sesgo de las
publicaciones que evita aprender de los errores ajenos. Es comprensible que quien los
cometa no tenga incentivos a publicarlos. Aqu existe una oportunidad para las editoras
y las universidades que, salvando el anonimato, puedan presentar y difundir las malas
prcticas sin que el riesgo reputacional de las entidades quede en entredicho.
4. Una cuarta dificultad es la asuncin y puesta en prctica de las enseanzas obtenidas,
tomando decisiones operativas que cambien el modo de actuar hasta entonces. Se trata
de incorporar dentro de las agencias y ONGD una cultura de cambio y mejora continua

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

149

como hacen las empresas en los mercados competitivos, aunque sin perder su identidad
propia de organizaciones sin fines de lucro. Si se decide evaluar, hay que aceptar que
habr que cambiar. Y para cambiar, hay que querer cambiar y aceptar con humildad que
hay oportunidades de mejora. Sin autocrtica (tanto dentro de las administraciones como
de las ONGD) las reivindicaciones al aumento de la cuanta de los flujos de ayuda
queda bajo sospecha.
5. Tambin ser preciso formar al personal, tanto interno de las administraciones y
ONGD que vaya a ejercer como promotor o evaluador interno, como a las
organizaciones socias y a los beneficiarios o participantes en el proyecto que tambin
vayan a intervenir. Es necesario dominar algunas herramientas participativas,
fundamentos y capacidades de trabajo en equipo, sociologa, psicologa y dinmicas de
grupo, nociones de psicologa social, uso de herramientas estadsticas y economtricas,
trabajo con paquetes informticos, etc.

La evaluacin no es una tarea fcil. Es

tcnicamente compleja y polticamente arriesgada, y se necesitan no pocos


conocimientos interdisciplinares para ofrecer calidad a los informes.
6. Por ltimo, habr que precisar qu criterios manejar para seleccionar las
intervenciones a evaluar con mayor profundidad, si no se puede llevar a la prctica con
todas. Y una vez decididas las intervenciones, es complejo determinar la metodologa
apropiada para cada evaluacin.
Todas estas dificultades, que no tienen pretensin de exhaustividad, pueden explicar en
buena medida el hecho de que la evaluacin haya una asignatura pendiente en el sistema
espaol de ayuda hasta hace bien poco. Ms adelante volvemos sobre el tema al
considerar las razones positivas y negativas que pueden justificar la decisin de evaluar.
Ahora retomamos la definicin de evaluacin del CAD, para desarrollar de forma
comentada los criterios de evaluacin, aspecto que, por su importancia, hemos dejado
sin desarrollar en este recorrido sobre el concepto y caractersticas de la evaluacin.
3. LOS CRITERIOS DE EVALUACIN.
Los criterios de evaluacin son los que fijan las preguntas a ser respondidas por la
evaluacin. De alguna manera, en la identificacin, seleccin y correcta formulacin de

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

150

los criterios, se juega la calidad de una evaluacin, pues de las respuestas surgidas por
los criterios, nacern las recomendaciones tiles que introduzcan los cambios fruto del
aprendizaje obtenido. Asumimos aqu como vlidos los criterios de evaluacin que son
comunes en la literatura sobre el tema27. Para facilitar el dilogo y la homogeneizacin,
adoptamos tambin la notacin (y traduccin) que hace la Metodologa de Evaluacin
de la Cooperacin Espaola. Los cinco criterios habituales en las evaluaciones de
intervenciones de cooperacin para el desarrollo son: la eficacia, la eficiencia, la
pertinencia, el impacto y la viabilidad. A continuacin los defino y comento con cierto
detalle.
1. EFICACIA: es la medida del alcance del objetivo (especfico), sin ponderar el coste
en que se incurri para lograrlo. Responde a la pregunta: se logr el objetivo?
Lgicamente, la eficacia est directamente relacionada con la claridad y precisin con
que se defini el objetivo especfico. Este debe ser preciso, verificable y realista. Si el
indicador estuvo bien definido y hay buenos informes de seguimiento, ser un criterio
sencillo de evaluar.
En forma aritmtica, la podemos expresar de la siguiente manera:
Metas logradas x Tiempo planeado
Eficacia =
Metas programadas x Tiempo real invertido
El indicador es la expresin transformada de la comparacin de las metas realmente
logradas (Mr) respecto al tiempo realmente invertido (Tr) entre las metas programadas
(Mp) respecto al tiempo programado (Tp). Si el cociente es superior a la unidad,

27

La literatura al respecto es muy amplia, siendo tratados por cualquier manual de evaluacin. Por
ejemplo Beaudoux (1992:153-157); Cohen y Franco (1993:102-108); CAD (1995); Rubin
(1995:38-39); NORAD (1997:38-49); MAE (1998a:45-54); Dale (1998:41-51). El Manual de
Gestin del MAEC (2007:56-60) extiende los cinco criterios clsicos que aqu vamos a
comentar aadiendo los de coherencia, apropiacin, alineamiento, armonizacin, participacin y
cobertura. Si bien este mayor desglose recoge los de la Declaracin de Pars (ver captulo 6), tiene
la desventaja de provocar duplicidades en el anlisis evaluativo. Por ejemplo, la apropiacin, la
coherencia, el alineamiento y la participacin pueden juzgarse vlidamente dentro de un enfoque
amplio de la pertinencia. Una postura que apoya este enfoque es la de Feinstein (2007) que aboga
por limitarse a los criterios de la eficacia, eficiencia y pertinencia, subsumiendo el impacto y la
sostenibilidad en una eficacia de largo plazo y la coherencia en la pertinencia.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

151

diremos que el proyecto fue ms que eficaz. Si es igual a la unidad, fue eficaz. Y si es
inferior a uno, que fue ineficaz (Cohen y Franco 1993:103)28.
El principal problema para valorar la eficacia puede surgir en proyectos que no tengan
un solo objetivo especfico, o que ste haya sido descrito de forma muy general y
confusa. Si hay varios objetivos, habr que tratar de unificarlos. Tambin puede
analizarse si realmente son objetivos los que se sealaron en la formulacin, o son
medios, actividades o resultados de la accin emprendida29.
Cuando la evaluacin revele que el objetivo no se cumpli, deber sealarse la causa del
fracaso: una mala formulacin del proyecto, existencia de problemas a lo largo de su
ejecucin o factores imprevistos ajenos a la propia actuacin.
Probablemente aporta ms valor aadido un estudio detallado de las causas de la
eficacia o no de la intervencin, que su simple clculo o determinacin. En otras
palabras, a menudo los informes finales ya reportan si se cumplieron las metas en el
tiempo previsto o no. Lo que aade una evaluacin, sobre todo de forma ex post, es
una explicacin del por qu se ha sido eficaz o ineficaz. Es diferente una eficacia por
una simple buena programacin y sencillez de los productos previstos (por ejemplo, se
logr construir un pozo de agua), que conocer si la razn fundamental fue que se
involucr y motiv exitosamente a los involucrados, si el apoyo municipal fue
determinante o no, etc. Esta informacin causal no es preceptiva en los informes finales
que suelen estar ms orientados a slo informar de los hechos acaecidos y registrar un
control contable y temporal.
2. EFICIENCIA: es la medida del logro de los resultados en relacin con los costes o
"insumos" comprometidos en el proyecto. Es decir, con la eficiencia buscamos
maximizar los beneficios aportados por el proyecto, minimizando recursos financieros,
materiales, tcnicos o humanos. De alguna forma, es la "productividad" de los factores
empleados en el proyecto.

28

Si partimos de la expresin (Mr/Tr)/(Mp/Tp), quiz ms lgica y fcil de recordar, basta operar de


forma sencilla para llegar al indicador expresado arriba.

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

152

Como en el propio anlisis econmico de la productividad, el principal problema es


medir los costes. Sobre todo los indirectos y los de oportunidad. La pregunta relevante
ahora es: se ha hecho de la mejor manera posible, la ms barata y en el menor
tiempo? Aqu habr que alejarse de maximalismos que aleguen que "siempre" se podra
haber hecho de manera mejor (al menos, de otra forma). Habr que realizar esfuerzos en
tratar de conseguir informacin adicional que permita comparar opciones o realizar
contrafactuales basados en informes paralelos de otras Agencias u otras experiencias
similares. La tradicin del "siempre se hizo as", no debe engaar, pues no implica que
sa sea la mejor manera posible.
Anlogamente a lo expresado para la eficacia, podemos definir la eficiencia como la
razn siguiente:
Coste programado
Eficiencia = Eficacia x
Coste real
Con una razn superior a la unidad, el proyecto es ms que eficiente. Si es igual a la
unidad, diremos que es eficiente, y si es inferior a uno, que result ineficiente (Cohen y
Franco 1993:105).
Las principales herramientas que se utilizan en este criterio son los anlisis costebeneficio en general, que luego comentaremos detenidamente, pero ya adelantamos que,
debido al coste en recursos y habilidades de estas herramientas, no parecen ser los ms
operativos para la tipologa de proyectos que suelen hacer las ONGD y financiar las
administraciones espaolas, dada su media en volumen de recursos comprometidos y
tamao de los proyectos. Quiz la propia experiencia de la ONGD sea la que mejor la
oriente sobre su eficiencia real en el terreno del desarrollo.
3. PERTINENCIA: es la adecuacin de los resultados y objetivos al "contexto" donde
se llev a cabo el proyecto. La pregunta relevante es: responde a una necesidad real de
la poblacin, promueve realmente su desarrollo? Tambin habr que considerar si lo

29

Para una correcta formulacin de todas estas fases puede consultarse Alcalde (2007).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

153

ejecutado en el proyecto est en consonancia con los factores de desarrollo que a


continuacin se mencionan, as como las polticas sectoriales, locales o nacionales
donde se ha llevado a cabo la accin. Particularmente til ser la comprobacin de si la
intervencin entra dentro de las prioridades de los socios del Sur (en sus Estrategias de
Lucha contra la Pobreza, sean documentos nacionales o locales), y dentro de la
seleccin geogrfica planificada por los donantes (Plan Director y Planes Generales de
Cooperacin autonmicos y municipales).
En el ejercicio de la pertinencia, habr que tener en cuenta las posibles sinergias que
conllev el proyecto, o si otra ONGD u organismo podra haberlo realizado igual o
mejor. La capacitacin lograda en los beneficiarios, fruto de su intervencin directa en
la ejecucin del proyecto, ser un dato muy relevante para evaluar la pertinencia de la
accin.
Como podemos deducir, el principal problema de este criterio es el conocimiento de la
situacin del pas y de las acciones que est llevando a cabo la cooperacin oficial o no
gubernamental en el lugar donde se ejecut el proyecto. El desarrollo no es un proceso
lineal ni homogneo y por lo tanto es difcil decidir si lo que se hizo fue lo que mejor se
poda hacer y era lo ms pertinente. El nivel de subjetividad alcanza cotas altsimas y
seguramente la idea (o ideologa) que cada agencia y ONGD tenga sobre qu es
desarrollo, se haga aqu especialmente relevante, hasta el punto de que se pueda
calificar de pertinente o no un mismo proyecto ejecutado por ONGD distintas.
Recordemos que el principio de utilidad rige tambin aqu, y es la propia administracin
y ONGD quien decide este nivel en su evaluacin.
De todas formas siempre ser conveniente precisar en el informe si los beneficiarios
perciben el proyecto como solucin a una necesidad real que ellos tenan, la coherencia
interna con las polticas e inversiones realizadas por el Estado en la regin objetivo, as
como otras actuaciones de organismos internacionales y ONGD que estn actuando
directamente all, y si hay complementariedad o competencia entre las acciones
realizadas.
4. IMPACTO: es el conjunto de efectos que provoc el proyecto sobre la comunidad
humana entendida en sentido amplio. Por tanto, no slo se evala a los inmediatamente

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

154

afectados por el proyecto, sino el entorno social. Sealaremos aqu los efectos directos e
indirectos, previstos o imprevistos, positivos o negativos. Y no slo los econmicos,
sino los efectos sociales, tcnico-educativos, polticos o de cambios de relaciones de
poder, medioambientales o ecolgicos. La consideracin temporal del impacto es el
medio o largo plazo. Nos preguntaremos ahora: qu ha cambiado, quin ha cambiado,
hacia dnde lo hizo y por qu?
El principal problema que nos plantea la evaluacin del impacto de los proyectos es la
causalidad o atribucin en los procesos de desarrollo. Cmo asegurarse que este efecto
fue realmente fruto de esta accin y no de otra? En los procesos de desarrollo
econmico todo est bastante interrelacionado, pues no en vano son procesos humanos,
no susceptibles de anlisis "de laboratorio" en los que la separacin de los elementos
ayude al estudio de su relacin. Tanto el desarrollo econmico del pas, en su visin
ms

macroeconmica,

como

los

proyectos

puntuales

realizados

(aspecto

microeconmico), estn insertos en la ambigedad propia de la realidad humana. Habr


que ser cautos a la hora de generalizar o atribuir impactos30.
Otro problema adicional es el fuerte coste de oportunidad que supone una "mirada
retrospectiva" sobre lo realizado tres, cinco o diez aos atrs, frente a la "inmediatez"
que fcilmente puede argumentar una necesidad alternativa hacia la que canalizar los
fondos y esfuerzos que consumir una evaluacin de impacto. El utilizar grupos de
control o el gran esfuerzo estadstico que supone su apreciacin, son esfuerzos aadidos
que demanda este criterio.
Pero una dificultad que se revela insalvable consiste en cmo poder aislar o separar, en
un anlisis de impacto, las acciones realizadas por distintos agentes, en el mismo grupo
poblacional y al mismo tiempo. Y esta opcin no es infrecuente en los proyectos de
desarrollo. Sobre una misma poblacin pueden estar actuando varias ONGD y
organizaciones locales a la vez, incluso realizando las mismas prestaciones, y adems la
poltica nacional y regional tambin incide sobre esta poblacin. Incluso pensemos en

30

Para una mayor precisin sobre el concepto del impacto y la mejor forma de resolver el problema
de la atribucin, vase Larr (2007b).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

155

acciones que protagonicen organismos internacionales de desarrollo y que comenzaron


a mitad de la ejecucin del proyecto realizado por la ONGD y que quiz an no
finalizan cuando se realiza la evaluacin de impacto. Con qu criterio atribuir
"impactos" al proyecto y slo a ste? Quiz entonces tengamos que contentarnos con
apreciaciones de resultados globales, que sean especialmente relevantes en la obtencin
de enseanzas para los promotores de la evaluacin. La utilidad vuelve a ser el principio
equilibrador, frente a los problemas inherentes a la tarea evaluadora. Habr que
centrarse en la informacin realmente relevante y reforzar el nimo de aprender lo que
se pueda, gracias a la evaluacin "posible" que se realice.
No ser gratuito recordar la importancia que adquiere en este apartado el conocimiento
de la situacin de partida de la poblacin, para poder realizar las comparaciones
pertinentes, sobre todo por parte del equipo evaluador. De nuevo se refuerza la
necesidad de que la evaluacin est presente desde el mismo momento de la
identificacin del proyecto, y a lo largo de todo el ciclo del mismo. Sin lnea de base, la
comparacin entre la situacin antes y despus de la intervencin no es posible. Aunque
medios para poder realizar evaluaciones retrospectivas, su potencia analtica queda muy
reducida cuando las comparamos con las que dispusieron de lnea de base.
Por ltimo, es preciso sealar la gran utilidad que en este criterio nos aporta una
tradicin cooperativa con contrapartes locales de confianza, y la informacin que
pueden aportar personas que lleven periodos largos de tiempo trabajando sobre el
terreno y sean buenos conocedores del proceso ocurrido en la zona y poblacin objeto
de evaluacin. Si es cierto que el impacto se refiere al medio y largo plazo, tambin lo
es que el desarrollo es lento, y los cambios -desgraciadamente- necesitan de no pocos
esfuerzos, ajustes y reajustes. Pero todo esto es lo que trata de descubrir el criterio de
impacto: buscar los catalizadores de las acciones de desarrollo con el fin de hacerlos
ms eficientes y reproducibles.
5. VIABILIDAD o sostenibilidad. Es el grado en que los efectos positivos derivados de
la intervencin continan actuando y generando beneficios, una vez que se ha retirado la
ayuda y concluido el proyecto. La pregunta esta vez es: qu ocurre cuando finaliza el
proyecto y se retira la ayuda proporcionada hasta ahora? Se estudia si el proyecto ha

156

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

sido suficientemente asumido por los beneficiarios, tal que puedan mantenerse sus
beneficios sin la ayuda exterior.
En la consideracin de este criterio se ha avanzado bastante, pues fueron muy
frustrantes las acciones que se realizaron sin tenerlo en cuenta, por excesivo
protagonismo unilateral de los "ayudantes" y menosprecio de las capacidades de los
"ayudados".
Lo relevante en este caso es analizar la capacitacin que debe llevar implcita todo
proyecto, de forma que se asegure su continuidad una vez retirada la ayuda. Adems,
sobre la capacidad de viabilidad de los proyectos inciden de forma directa los factores
de desarrollo, que a continuacin se exponen.
La propuesta metodolgica del MAE (1998:158-161 y 253-256) incluye un formato
base para apreciar los criterios de evaluacin, que es muy operativo e interesante, y que
podra asumirse plenamente y sin dificultad por los agentes involucrados.
Los factores de desarrollo que influyen en la sostenibilidad.
Si un proyecto de cooperacin al desarrollo es el "texto" del objetivo que pretendemos
conseguir, los factores de desarrollo son el "contexto" de este complejo proceso.
A partir de una investigacin realizada por la OCDE (1989), tanto los manuales de la
agencia noruega de cooperacin (NORAD), como el de la cooperacin oficial espaola,
sintetizan estos factores de desarrollo en un grupo de siete, que vamos a analizar a
continuacin.
Quiz sea aqu donde ms claramente se aprecie que el desarrollo de los pueblos es todo
un proceso, troquelado por muchos factores y, teniendo en cuenta que el desarrollo es
algo pluridisciplinar, vamos a ver cmo inciden los aspectos econmicos, pero tambin
los polticos, culturales, sociales o medioambientales. Esto refuerza la idea de que la
evaluacin de estos procesos debe ser tambin un trabajo multidisciplinar, y que los
miembros del equipo evaluador no pueden centrarse exclusivamente en las dimensiones
econmicas del mismo.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

157

Los factores de desarrollo que se consideran son: i) las polticas de apoyo, ii) los
aspectos institucionales, iii) los aspectos socioculturales, iv) el enfoque de gnero, v) los
factores tecnolgicos, vi) los factores medioambientales y vii) los factores econmicofinancieros. Vemos cada uno con ms detalle.
Las polticas de apoyo.
Se considera aqu la importancia del contexto poltico en el que se ha desarrollado el
proyecto, si ste se formul en coherencia con las polticas que est llevando a cabo el
pas receptor, o bien se opt por una accin contrarrestante y anticclica31. Tambin es
relevante hacer este anlisis respecto a la poltica de desarrollo llevada por el pas
donante y por la propia ONGD que realiza el proyecto.
Hay que tener en cuenta que la poltica de un pas donante -por ejemplo, la exterior-,
puede cambiar a lo largo del desarrollo del proyecto y afectar directamente al proyecto
en ejecucin.
Conviene considerar las polticas en todos los mbitos geogrficos, desde el
internacional y nacional, hasta el regional, comarcal y local. Para la mayora de los
proyectos de las ONGD, el nivel local ser el ms relevante, por la inmediatez al terreno
en el que se suele realizar, y la relacin cercana y directa que hay en el trabajo con la
contraparte. Pero el resto de los niveles sern muy determinantes a la hora de evaluar los
impactos y la viabilidad del proyecto. Ser muy distinto si el proyecto est enmarcado
en un conjunto de medidas gubernamentales favorables a su implantacin y desarrollo,
que si no lo est. Tambin es posible que el proyecto se haya ideado precisamente como
complemento a medidas que no son tomadas por las autoridades respectivas. En este
caso habr que cuidar las mutuas relaciones polticas, as como la capacidad de riesgo y
accin autnoma sin contar con el respaldo pblico, por parte de los ejecutores y
beneficiarios del proyecto. La viabilidad del proyecto puede verse comprometida por
esta falta de apoyo poltico.

31

Para evidencias empricas sobre el carcter procclico de la AOD y su volatilidad, vase Gupta et
al.(2006) y Bulir & Hamann (2001, 2003, 2006).

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

158

Por ltimo, es necesario tener en cuenta las acciones de desarrollo que estn llevando a
cabo otros organismos tanto nacionales como internacionales en esa misma regin.
Habr que coordinar bien las acciones y evaluaciones, para no interferir los procesos y
tratar que cada accin sea complemento y no competencia de la otra.
Los aspectos institucionales.
Se analizan aqu las instituciones existentes, sus prioridades, el personal que las
compone, el nivel de participacin de los beneficiarios y la capacidad administrativa
que exista en la zona de ejecucin del proyecto.
Las instituciones tambin pueden determinar el xito o fracaso de un proyecto. El apoyo
institucional es bsico, debido a las pocas instituciones que suele haber en las zonas
subdesarrolladas, con escaso nivel de eficiencia, excesiva burocracia y abundantes casos
de corrupcin32.
Habr que analizar si el proyecto ejecutado tuvo en cuenta las instituciones existentes, si
stas contaban con personal estable y suficientemente cualificado y motivado para
llevar adelante el proyecto, si fue necesario capacitar previamente al personal o a lo
largo de la ejecucin del proyecto, si fue necesario crear nuevas instituciones, o si el
proyecto introdujo cambios fundamentales y activos en la divisin del trabajo de la
poblacin beneficiaria.
Puede ocurrir que el proyecto ejecutado necesite tanto apoyo institucional para ser
operativo que se concluya con que ha creado ms necesidades de lo que ha aportado. O
que no fue posible llevarlo a cabo porque el tamao de las inversiones y obras
planificadas superaba inevitablemente la capacidad de gestin del personal en la zona, y
tambin de los beneficiarios. En este caso, habr que ir ms despacio hasta poder dar
respuesta a la necesidad planteada y crear un apoyo institucional mayor.
El manual de la Agencia de Cooperacin noruega (NORAD) incide sobre dos conjuntos
de instituciones: en primer lugar, las relaciones entre sector pblico y privado y la

32

Sobre la relacin entre corrupcin y ayuda, vase Alcalde y Larr (2007 a,b).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

159

centralizacin o descentralizacin de las instituciones. En segundo lugar, sobre el propio


desarrollo institucional interno (NORAD 1995:54-55).
Tambin conviene advertir el posible engao que recae sobre las instituciones, ya que,
cuando stas se objetivan demasiado, se despersonalizan. Recordemos que las
instituciones son entes de razn, de organizacin, si se quiere, pero que quien toma las
decisiones son siempre las personas. Ni "los mercados", ni "las instituciones", as, en
abstracto, son agentes reales de toma de decisiones, slo las personas. Conviene no
olvidarlo, pues podemos estar enfrascados en anlisis sobre las instituciones perdiendo
de vista este elemento, o perdernos en demagogias sobre las instituciones, su
funcionamiento, su contribucin al xito o fracaso en el proceso de desarrollo, y no ir al
fondo de los protagonistas del desarrollo mismo: las personas que salen o no de la
pobreza y la marginacin, las personas que contribuyen o no al desarrollo con sus
elecciones econmicas.
Por ltimo, suelen considerarse aqu un conjunto de medidas muy ligadas con el factor
anterior, las polticas de apoyo. Estas medidas son aqullas que promueven y favorecen
los procesos de paz en el pas, la instauracin o fortalecimiento de la democracia, el
respeto a los derechos humanos y todas aquellas medidas ms imprecisas que se
agrupan bajo la denominacin de "buen gobierno"33.

33

Un buen anlisis de la importancia de estas medidas en los procesos de desarrollo puede


encontrarse en Ake (1996:76-83) para el caso de frica; Boone (1996:44-50) seala
explcitamente la represin poltica y la opresin sexual como causas fundamentales de la pobreza;
y Lpez Viuela (1996) tras sealar cuatro elementos definitorios del buen ejercicio del poder
(responsabilidad, participacin, predictibilidad y transparencia) -que bien podramos aplicar a
todas las instituciones-, hace una interesante comparacin entre los Nuevos Pases Industrializados
(NPI) asiticos y la experiencia africana, llegando a la conclusin de que "el desarrollo,..., tiene
una dimensin poltica que lo estimula o lo desalienta...la relacin entre democracia y desarrollo
no presenta perfiles claros ni, desgraciadamente, la democracia parece ser clave para lograr el
desarrollo"(p.91). Es ms, "pases con regmenes autoritarios han logrado desarrollarse"(p.91),
pero "lo que es vital para el desarrollo es la libertad econmica"(p.92). En la misma lnea de
acentuacin del buen gobierno para la eficacia de la ayuda es el estudio del Banco Mundial
(1998). Para la mltiple interaccin entre desarrollo, buen gobierno y crecimiento econmico
vanse Rodrik (2007) y World Bank (2008b).

160

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

Los aspectos socioculturales.


Este factor trata de considerar cmo el conjunto de los valores culturales de un pas
puede ser condicionante del proceso de desarrollo del mismo. El universo cultural de
individuos y comunidades est compuesto por sus valores vitales, su percepcin y
valoracin de la propiedad, la justicia, la distribucin, las creencias religiosas, los roles
de gnero, etc. En este campo se ha tomado especial conciencia en los ltimos aos. El
respeto por la diversidad cultural, la defensa y promocin de lo autctono, los colectivos
defensores de las etnias indgenas, los aportes y estudios de la antropologa cultural, han
contribuido a ello sobremanera.
Muchos de los proyectos formulados por las ONGD ya tienen en cuenta este factor
como resultado de los aprendizajes que les han ido aportando sus evaluaciones.
Como dice E. Sizoo (1998:262):
los proyectos no fracasan por s solos, sino que fracasan all donde la gente
opone resistencia a un modelo de desarrollo ajeno y alienante que no encaja en
su relacin con la Tierra, su visin acerca del papel de la comunidad, la
familia y el individuo.

Se trata de promover dos conceptos muy utilizados en la literatura del desarrollo: el


"empoderamiento" (empowerment) de la poblacin beneficiaria del proyecto y su
"apropiacin" o asuncin (ownership), el hacer propia la accin y no verla como algo
externo, ajeno a la propia comunidad beneficiaria. Evidentemente, la participacin de
los beneficiarios en todas las fases del proyecto, vuelve a ser el medio ms eficaz de
asegurar tanto el uno como la otra. Aunque resulte ms lento, es la obligada concrecin
del principio de subsidiariedad.
Adems, es recomendable estudiar si las intervenciones que realizan las ONGD estn
enfocadas hacia los colectivos ms vulnerables o necesitados. Es decir, habr que
analizar si el proyecto contribuy a potenciar el cambio y crecimiento de los valores
culturales autctonos, si se creci en participacin comunitaria en la toma de decisiones,
y si stas se rigieron por el principio de prioridad a los ms dbiles.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

161

Si hemos logrado crear un clima de mutua cooperacin y confianza, de verdadera


corresponsabilidad entre los distintos actores del proyecto, la evaluacin y la obtencin
de informacin sern mucho ms fciles y sinceras, por tanto ms tiles y crebles.
Igualmente hay que comentar la dificultad potencial del evaluador para tratar de poner
entre parntesis su propia cultura y universo axiolgico. Radicalmente, nadie puede
desprenderse por completo de su cultura y ver "neutralmente" otra, pero en el reino de
lo posible, la capacidad de empata, de aceptacin incondicional con respeto y
tolerancia, la capacidad de aprender juntos y dejarse estimular por lo diferente, sern
cualidades que el equipo evaluador deber considerar de forma continua y vigilante.
Las tres "P" pueden ser una buena sntesis para englobar todos los valores que se
encierran en un planteamiento intercultural de acciones de desarrollo: todo lo que
aumente la Paz, el Progreso econmico y social y la Participacin de los individuos en
la toma de decisiones comunitarias. Un anlisis de Paz-Progreso-Participacin no
debera faltar en ningn informe evaluativo que desee calidad y rigor.
Para terminar, conviene recordar que
el verdadero dilogo intercultural tiene lugar en torno a la accin, cuando se
hace evidente que se han tomado y se tienen que tomar decisiones, cuando la
gente descubre que cada opcin est arraigada en un contexto sociocultural
especfico, y que dar sentido es una forma de interpretacin de la realidad
(Sizoo 1998:268).

El enfoque de gnero.
Quiz sea ste uno de los factores de desarrollo en los que ms est abundando ahora la
literatura sobre el tema que nos ocupa34. En relacin con lo visto anteriormente en los
factores socioculturales, el papel de la mujer en las tareas del desarrollo econmico se
ha revelado como una de las claves insustituibles del proceso.

34

Por ejemplo, Boserup (1993); Santos y Caballero (1994); Hming (1997); PNUD (1995);
CONGDE (1995a, 1998e); MAE (1998c) que traduce y asume para Espaa las Directrices del
CAD (1998c) en esta materia; Cruz (1998); el Reglamento comunitario CONSEJO DE LA
UNIN EUROPEA (1998); Lpez Mndez y Alcalde (1999); Sierra (2000); Lpez Mndez y
Sierra (2001); Dosal (2003); Cirujano y Cirujano (2004); MAE (2004 Y 2004b); Cirujano (2005);
Espinosa (2007).

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

162

El propio CAD tiene formado un "Grupo de reflexin dedicado a la Mujer en el


Desarrollo (M.D.)"35 y considera que en:
"todas las evaluaciones referentes a los efectos ejercidos sobre los grupos
objeto debern describir y analizar las posibles diferencias entre los sexos.
Esto supone que el equipo de evaluadores comprenda especialistas en
cuestiones femeninas" (CAD 1995:131).

Los proyectos de desarrollo debern dirigirse a incrementar las capacidades de la mujer


como agente econmico activo y productivo, as como en el fomento de la igualdad con
el varn en los campos de la dignidad humana, legal, retributivo, de derechos humanos,
participacin social, etc. Sin contraponer el rol de la mujer con el del varn, se debern
estimular acciones que promuevan una visin complementaria de lo masculino y lo
femenino, en consonancia con el espritu y la letra de la Conferencia de Beijing (China),
promovida por Naciones Unidas en 1.99536.
Desde el aspecto prctico, convendr recoger datos separados por gnero a la hora de
evaluar el proyecto ejecutado y tratar de observar los impactos que ha tenido sobre el
acceso y control de los recursos productivos de varones y mujeres, las posibles
diferencias en sus niveles educativos y formativos, as como las diferencias en acceso al
empleo, crdito, retribucin y carga de trabajo, papel en la estructura familiar, y dems
cuestiones que puedan ilustrar este importante factor de desarrollo37.
La presencia del enfoque de gnero en desarrollo en todo el ciclo del proyecto ser un
medio clave para garantizar el cuidado de este factor.

35

CAD (1998c:23). Actualmente est transformado en la Red sobre la igualdad de gnero


(GENDERNET): www.oecd.org/dac/gender.

36

Sobre las propuestas de esta Conferencia es sugerente la obra de Arana (1997).

37

El documento de la Coordinadora de ONGD-Espaa es muy sinttico e ilustrativo en este aspecto


centrando acertadamente la cuestin en proporcionar por todos los medios posibles la igualdad de
oportunidades y de derechos entre los gneros. Ver CONGDE (1995a). Ejemplos de formatos y
aspectos metodolgicos complementarios para la evaluacin de gnero en desarrollo se encuentran
en Cruz (1998:99-115) y la Gua Prctica del MAE (2004).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

163

Los factores tecnolgicos.


"Un proceso de desarrollo econmico puede describirse como la interaccin de
cuatro factores bsicos de produccin: recursos naturales, trabajo, capital y
tecnologa" NORAD (1997:58).

Entre ellos, la tecnologa representa los conocimientos aplicados a la elaboracin de un


bien o prestacin de un servicio, incluyendo las tcnicas organizativas y de venta.
Directamente relacionada con este factor productivo se encuentra la "transferencia de
tecnologa". Esta es definida como:
"la transmisin de todos o parte de los conocimientos que configuran una
tcnica determinada posibilitando y permitiendo a la empresa receptora la
produccin de bienes y servicios...En sentido amplio...[es] la cesin de
conocimientos adquiridos sobre formas de produccin" (Pampilln 1991:17).

Esta transferencia puede ir incorporada al factor capital (capital-embodied), en los


recursos humanos (human-embodied), o desincorporada (disembodied). En este ltimo
caso se habla de la utilizacin de una patente, a travs de la concesin de una licencia,
por la que se pagar un canon (royalty)(Pampilln 1991:18-19).
Los modelos de crecimiento endgeno ponen mucho nfasis en este factor, como
explicativo de las diferencias del crecimiento econmico entre los pases, as como
factor de convergencia o divergencia econmica entre ellos38. Estamos pues, ante uno de
los factores ms condicionantes del desarrollo.
En la economa del desarrollo suele hablarse del concepto de "tecnologa apropiada",
indicando si la eleccin de la tecnologa para el proceso productivo ha tenido
consecuencias positivas para los individuos y comunidades que las utilizan. Se trata de
intentar prever las consecuencias que el cambio tecnolgico tendr sobre los sujetos, y
ver si es el ms apropiado para su entorno econmico, sociocultural y medioambiental.
La tecnologa no es neutral, sino ambigua, o al menos lo son las consecuencias que tiene
su adopcin para los seres vivos, vegetales, animales y humanos. Por tanto, el anlisis

38

Ver por ejemplo, Sala-i-Martin (1994); Cuadrado Roura (1996) cap.1; Martin (1997a,b) cap.2;
Rengifo (1999); o Rodrguez Siz y Sotelo (1999), Easterly (2001), Weil (2006) caps. 8 y 9.

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

164

sobre el impacto de la tecnologa apropiada no debe realizarse desde la ptica del


experto ingeniero, sino desde la de los usuarios.
La Agencia noruega (NORAD 1997:59) aporta un listado sobre los aspectos ms
relevantes relativos a la eleccin de tecnologa, que es una buena gua para los
evaluadores. Por su parte la metodologa del MAE (1998:64), dice que se deben tener en
cuenta:
"si se utilizan factores locales de produccin, si se crean puestos de trabajo, si
se ahorra o genera capital y energa, si la intervencin conduce a desarrollos
tecnolgicos posteriores, si se contribuye al aumento de la capacidad
productiva en el largo plazo",

as como si la tecnologa elegida est en consonancia con los valores culturales y


sociales de los receptores, ayudando por otra parte a liberar a los trabajadores de tareas
represivas o alienantes. Considera, en fin, cuatro criterios bsicos de discernimiento:
que la tecnologa elegida promueva el desarrollo humano; promueva la independencia
econmica; promueva la igualdad entre grupos, gneros y edades; facilite el ahorro de
tiempo (MAE 1998:65).
Los factores medioambientales.
Cuando en 1.987 apareci el "Informe Brundtland" de la Comisin Mundial de Medio
Ambiente y Desarrollo, se inici una etapa an inacabada de creciente preocupacin e
inters por el trmino all acuado de "desarrollo sostenible", como concepto que
acoga el factor medioambiental como condicionante del desarrollo39.
La posterior Cumbre de Ro de Janeiro, promovida por Naciones Unidas (3-14 de junio
de 1.992) y revisada en Nueva York y Kioto en junio y diciembre de 1.997, no han
hecho sino confirmar esta importancia, quiz ms en forma de declaraciones
("Declaracin de Ro" o la "Agenda 21") que de resultados inmediatos, pero su
importancia es incuestionable y as qued aquilatado en la cumbre de Johannesburgo
(2002).

39

COMISIN MUNDIAL DEL MEDIO AMBIENTE Y DESARROLLO (1988).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

165

Todo el proceso de desarrollo econmico est imbricado de relaciones con el


medioambiente, porque el ser humano acta econmicamente a partir de los medios
ofrecidos por la naturaleza. Bien la usa directamente, o bien la transforma con su
trabajo, capital y tecnologa. El modelo de desarrollo protagonizado por los actuales
pases desarrollados ha sido muy agresivo con el medioambiente y lo sigue siendo. A
veces, porque se crea que el medio natural era autorreproducible e inacabable (como
los recursos marinos); otras veces, porque se prefiere el consumo inmediato que aporta
rentabilidad y utilidad sensible, a un ahorro previsor y ofrecido generosamente al futuro.
Se ha vivido as un modelo "imperialista", gran consumidor de recursos naturales -sobre
todo en la industria-, y que ahora tiene la tentacin de importarse tambin a los pases
en desarrollo. Pero esto es claramente insostenible por cuatro razones:

Primero, por la indisponibilidad de suficientes recursos para todos, si


generalizamos las pautas y modos de consumo "occidentales".

Segundo, porque ya hemos ido aprendiendo los efectos contaminantes que


generan estas pautas.

Tercero, porque tenemos alternativas ms ecolgicas que ofrecer.

Cuarto, porque debemos respetar -y aprender y agradecer- tambin los impactos


socioculturales que tienen estos modos de producir y consumir sobre pueblos
que han desarrollado una sensibilidad y cultura en torno a la "madre Tierra".
Culturas indgenas campesinas que se relacionan con el medio natural de una
forma ms armnica y creativa, ms respetuosa y ecolgica.

Las intervenciones de desarrollo que realicen las agencias y ONGD espaolas debern
tener esta dimensin bien incorporada, en lnea con la estrategia de medio ambiente
(MAE 2002b). A la hora de la evaluacin, deberemos analizar si el proyecto condujo a
cambios considerables -quiz irreversibles- en el patrimonio ecolgico local, si los
posibles cambios introducidos en las artes agrcolas y pesqueras, en las actividades
industriales o en la prestacin de servicios han trado beneficios respetuosos con el
ecosistema local, regional, nacional e internacional. La desaparicin de especies

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

166

autctonas exclusivas en ese medio pueden ser impactos indirectos que afecten en el
nivel mundial, no slo local o comunitario.
A nuestro entender, no deberan faltar los impactos sobre la salud de la poblacin, sobre
su cultura y organizacin social.
Los actuales problemas medioambientales ms agudos debern ser vigilados con
especial eficacia, como pueden ser el mantenimiento de la biodiversidad, la
contaminacin atmosfrica y de aguas (efecto invernadero, cambio climtico, capa de
ozono, calentamiento terrestre, etc.), la desertizacin, el mantenimiento de selvas y
bosques pluviales tropicales, la dimensin costera, paisajstica y cultural para grupos
tnicos ms vulnerables, etc.
Como con los factores tecnolgicos, tambin aqu deberemos elegir la accin ms
apropiada y podramos hablar de "proyecto ecolgicamente apropiado" o inapropiado,
segn las valoraciones autctonas e internacionales. Para llevar a cabo todos estos
anlisis se han desarrollado buenos indicadores por parte de organismos
internacionales40.
Los factores econmico-financieros.
Consideramos aqu la capacidad que tendr la poblacin beneficiada por un proyecto
para mantener las prestaciones recibidas de una forma autnoma, una vez terminada la
aportacin financiera de las administraciones y las ONGD.
Esta "viabilidad econmica" podr ser mantenida por fuentes internas a la propia
poblacin (fondos generados por la venta de productos o prestaciones de servicios que
ha generado el propio proyecto), o por fuentes externas a ella (prstamos locales, otros
donantes, etc.). Conviene recordar que en este anlisis deber considerarse la
depreciacin inherente a los recursos que se han generado durante el proyecto, y
calcular los costes de mantenimiento y renovacin de los equipos. Lograr una

40

Ver por ejemplo los 21 indicadores medioambientales que ofrece la Comisin Europea, a partir del
"Libro Azul" de Naciones Unidas de agosto de 1996, en: EUROSTAT (1998).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

167

financiacin continua y regular para estos costes ser un buen indicador de la viabilidad
financiera de la intervencin.
Ms adelante describiremos las herramientas ms utilizadas en el anlisis de este factor
de desarrollo, que son los anlisis coste-beneficio, coste-eficacia y coste utilidad, y los
problemas tcnicos que stos plantean, mxime en el contexto del tipo de proyectos que
suelen financiar las ONGD espaolas.
Como sntesis, hemos visto en este apartado los siete factores que ms inciden en el
proceso de desarrollo de los pueblos y cmo deben ser tenidos en cuenta tanto en la
definicin y aprobacin de los proyectos, como en su evaluacin. El informe de
evaluacin que se redacte debera contar con comentarios -aunque sean sucintos y ms o
menos extensos en cada apartado, segn el caso- sobre cada uno de los siete. Estos
comentarios sern una buena base para las conclusiones y recomendaciones finales, que
son la informacin que buscamos con la evaluacin.
A continuacin vamos a desarrollar un comentario ms reflexivo y crtico sobre los
criterios de evaluacin, a la hora de su aplicacin prctica.
Comentario sobre los criterios de evaluacin.
La eficacia probablemente es el criterio ms plausible de realizar, ms sencillo, al
limitarse a contrastar la situacin antes del proyecto o programa y despus de concluida
la intervencin. La formulacin bajo el enfoque del marco lgico lo facilita. Pero quiz
tambin resulte la informacin menos valiosa. Si existe un seguimiento ordinario de la
accin, tanto la Administracin como la ONGD pueden tener una idea bastante exacta
de los resultados o productos del proyecto. Evaluar la eficacia es fcil, no demasiado
costoso, pero quiz sea demasiado evidente para resultar relevante. Por ejemplo,
conocer el nmero de capacitaciones impartidas o las microempresas creadas gracias a
un proyecto, no informa nada sobre su tasa de supervivencia ni de si realmente se logra
aumentar los ingresos familiares y salir de la pobreza.
Como ya se ha comentado, el problema se centra en la formulacin de los objetivos del
proyecto, tanto el general como el especfico, teniendo en cuenta de que no deben
confundirse objetivos con acciones o resultados. Con objetivos bien definidos, concretos

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

168

y medibles objetivamente a travs de indicadores rigurosos, con unas buenas


relaciones de confianza con la contraparte local y un sistema de informacin gil, la
eficacia cuantitativa del proyecto o programa no debe resultar excesivamente compleja.
Otra cosa es conocer las causas que lo fundamentan.
En contextos no modificados por causas imprevistas (catstrofe natural, cambios
polticos bruscos, cambios comunitarios locales de envergadura), lo normal es que un
proyecto del tipo de los que suelen formular las ONGD y financiar las administraciones
espaolas se lleve a buen fin. La experiencia demuestra que si los beneficiarios han
intervenido activamente en su identificacin y formulacin, si no hay cambios polticos
o institucionales negativos y con un buen clculo presupuestario, los proyectos resultan
eficaces, mutatis mutandis las modificaciones en plazos o reorientaciones, ciertamente
frecuentes, dadas las circunstancias de fuerte incertidumbre en los contextos en los que
se desarrollan las acciones.
En una hipottica comparacin con los proyectos y programas de la cooperacin
gubernamental, no se encuentran razones a priori para suponer que las ONGD sean ms
o menos eficaces que la cooperacin pblica41. En todo caso, su menor dimensin y
cuanta puede ser un factor a su favor.
Los objetivos ms abstractos o generales, ms amplios o transversales, como la
erradicacin de la pobreza, la participacin ciudadana, la equidad de gnero, el
fortalecimiento institucional o el buen gobierno, presentan la dificultad de su
cuantificacin, sobre todo en el nivel micro, no tanto de pas. Estn ms sometidos a la
paradoja micro-macro ya expuesta. Podemos afirmar que puede inferirse una relacin
inversa entre concrecin de objetivos e ineficacia.
Respecto al criterio de eficiencia, lo primero que hay que destacar es que quiz sea,
junto a los impactos, el criterio que aporte mayor valor aadido a la evaluacin y a la
organizacin. Se trata de conocer la cuantificacin de la eficacia respecto a los costes de
oportunidad de haber invertido los recursos del proyecto en otro alternativo.

41

Hipottica, por la imposibilidad actual de realizar estudios comparativos ante la ausencia de datos.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

169

El problema fundamental de la eficiencia es la subjetividad inherente a realizar hiptesis


contrafactuales, a menudo incontrastables. El segundo problema es su coste.
Cmo afirmar que el proyecto se hizo de la mejor manera posible? La eficiencia debe
contentarse con sentencias menos ambiciosas, del tipo: el proyecto se realiz de una
forma correcta y austera, dadas las circunstancias. Es muy complejo contrastar
contrafactuales puros de proyectos de ONGD, a no ser en casos de proyectos
homogneos y muy comparables, sobre los que puedan estimarse resultados
comparativos entre ellos, llegando a formular una jerarqua interna de eficiencia en
dicho grupo. Pero pueden inventarse vas medias. Por ejemplo, es difcil determinar a
priori si la construccin de una escuela ha sido austera o no. Pero puede ilustrarse
mediante fotografas la escuela construida con la ayuda frente a una escuela pblica
existente en la misma comunidad o comarca. Pueden compararse los precios de los
productos vendidos por los microempresarios apoyados, respecto al precio de mercado
local o entre zonas rurales o urbanas contiguas.
Adems, la idea de eficiencia est modulada por la concepcin de desarrollo que la
organizacin tenga, por su propia identidad y cultura organizativa. Pensemos por
ejemplo el siguiente caso. Supongamos que se desea evaluar la eficiencia de tres
proyectos que tienen como objetivo la reconstruccin de viviendas tras un desastre
natural. Cada ONGD es encargada de realizar la reconstruccin en una zona distinta;
pero supongamos que el proyecto es de iguales dimensiones y caractersticas: misma
cantidad de viviendas, materiales semejantes, plazos de ejecucin similares.
Y supongamos que los resultados tras la intervencin de cada una de las ONGD es el
siguiente: la ONGD X construy las viviendas en el plazo indicado, con materiales
trados de su pas de origen y con personal tcnico tambin propio. Construy los
edificios, los entreg puntualmente y bajo las condiciones pactadas en el proyecto. Es
decir, fue eficaz. Pero su eficiencia se bas en una concepcin asistencial del
desarrollo. No tuvo en cuenta a los beneficiarios ni en la formulacin, ni en la ejecucin
del proyecto. Quiz hasta su presupuesto fue menor. Pero las dudas sobre haber
realizado una accin de desarrollo realmente cooperativa son grandes.

170

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

En un segundo caso, la ONGD Y realiz su intervencin comprando los materiales en


las zonas locales y contratando a personal autctono como mano de obra para la
construccin de las casas. Tambin su plazo de entrega fue puntual y el coste segn lo
presupuestado. Fue una accin eficaz, al igual que la primera, pero a la hora de
considerar la eficiencia, podemos asegurar que su intervencin provoc mayores
externalidades sobre los ciudadanos, con incrementos en sus puestos de trabajo,
autoestima y consideracin propia de cada casa construida. Estimamos que esta manera
de actuar fue ms eficiente que la anterior, por ser ms cooperativa entre las partes.
Pero supongamos una tercera organizacin, la Z, que se puso a identificar y disear
con los propios afectados, las zonas, caractersticas, calidades, tamaos y dems
elementos de las viviendas a construir. Seguramente el plazo de construccin y entrega
se alarg sobremanera respecto a las otras dos ONGD. La compra de materiales fue
autctona, la mano de obra fue la que intervino en la identificacin y formulacin del
proyecto y a la ONGD del Norte le interesaba trabajar especialmente el fortalecimiento
y desarrollo comunitario de las personas involucradas. Durante la ejecucin lenta, se
pudieron detectar lderes comunitarios, establecer proyectos de formacin y
capacitacin ad hoc y dems eslabonamientos que podamos imaginar. Incluso
podramos suponer que la calidad final de las viviendas fue algo inferior a las anteriores
debido a la menor cualificacin de la mano de obra local. El proyecto fue eficaz, pues
construy las viviendas. Fue eficiente? Aqu es donde entra la concepcin de
desarrollo que identifica a la ONGD. Si para ella es ms importante el proceso de
fortalecimiento comunitario que la calidad final del producto, si a cambio de un retraso
temporal consigui empoderar a la poblacin, acompaarla de forma cooperativa,
tratndola como contraparte o socio local, capaz, con propias habilidades a desarrollar
y oportunidades a explotar, su juicio sobre la eficiencia puede ser muy positivo, aunque
se haya incurrido en mayor coste econmico y se haya empleado ms tiempo en lograr
el objetivo propuesto. En definitiva, a la hora de juzgar la eficiencia, los modos como
se logran los objetivos pueden ser determinantes.
Considerando estos elementos, es pertinente afirmar que el anlisis de la eficiencia es de
los ms tiles y complejos para la organizacin. Encontrar alternativas al modus

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

171

operandi cooperativo habitual es encontrar mayor poder para transformar las realidades
de pobreza en oportunidades de desarrollo para la poblacin.
Otra cuestin relevante respecto a la eficiencia de las ONGD es que cuentan con una
prensa y opinin pblica de tendencia favorable hacia sus acciones. Amparndose en los
valores que dicen representar, pueden sentir la tentacin de no medir su eficiencia, de no
tener que probar nada a nadie. En este sentido, seran deseables estudios comparativos
de eficiencia entre proyectos gubernamentales y no gubernamentales, que hoy en da no
abundan.
Las consecuencias de la eficiencia son tambin problemticas. Segn la eficiencia
econmica, dada una escasez de recursos para financiar proyectos (oferta limitada), con
una demanda de necesidades muy abundante, la racionalidad econmica primara los
proyectos de las contrapartes (pases, organizaciones locales, poblacin beneficiaria)
que fueran ms eficientes. Pero quiz stos lo son porque gozaron de oportunidades que
los menos eficientes an no han disfrutado. El dilema es serio. Si las acciones de
cooperacin se dirigen a paliar la pobreza y miseria de personas y pases menos
avanzados, incluso si las ONGD eligen a los menos favorecidos de entre los pobres,
no actan econmicamente de forma irracional, ineficientemente? Las consecuencias
seran apoyar proyectos que benefician a capas de poblacin medias que pueden
prometer una gestin ms eficiente de los recursos. Pero a costa de dejar insatisfechas
las necesidades ms bsicas de los menos eficientes?
La ciencia econmica aporta los instrumentos del anlisis coste beneficio, coste
efectividad y coste utilidad para apreciar eficiencia. Son herramientas tiles para
cuantificar la eficiencia y para objetivar los juicios. Pero puede que no sean los nicos
ni ltimos criterios de valoracin.
Por ltimo, tampoco hay que desechar completamente la posibilidad de realizar juicios
rigurosos de eficiencia entre proyectos y programas. Por ejemplo, intervenciones
dirigidas a mejorar la calidad educativa pueden ser perfectamente comparables al
disponer de exmenes estandarizados sobre capacidades de lengua y matemticas. Las
diferencias en las formas de lograr el aumento de la calidad educativa pueden ser
enormes. Por ejemplo, en Duflo y Kremer (2003) se compara la eficiencia de lograr un

172

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

ao adicional de asistencia a la escuela en Kenia mediante tres estrategias. La primera lo


intent mediante un tratamiento desparasitador a los alumnos. Una segunda, mediante la
oferta de una comida adicional en el colegio. Una tercera, mediante la donacin gratuita
de los uniformes escolares. El mismo objetivo especfico (aumentar el periodo de
escolarizacin) se poda lograr mediante las tres estrategias. A priori, las tres son
buenas ideas y tienen lgica horizontal y vertical. Lo asombroso fue el resultado de
comparar los costes unitarios para un ao adicional de escolarizacin. El tratamiento
desparasitador supona un gasto de 3,5$ por alumno. La comida adicional costaba 36$
por estudiante. Y el regalo de los uniformes, 99$ por beneficiado. En este caso, el
mismo fin (un ao adicional en la escuela), se consigui mediante tres iniciativas
eficaces. Pero hay poca duda sobre cul fue la ms eficiente.
El tercer criterio de evaluacin es la pertinencia. Anlogamente a la eficacia, este
criterio pesa ms sobre la evaluacin ex ante o sobre la etapa de identificacin y
formulacin de proyectos. La pertinencia trata de responder a la cuestin de si la
intervencin realizada respondi a una necesidad real de la poblacin, que propici
verdaderamente su desarrollo humano.
El contexto es pues, de nuevo, muy subjetivo y ser esencial el nivel de conocimiento,
dilogo, grado de intervencin de los beneficiarios en la identificacin y formulacin de
la accin, as como la fluidez en la comunicacin entre las partes a lo largo de la
ejecucin. El evaluador tender a encontrarse formulaciones de proyectos y programas
en los que se asegura que fueron los beneficiarios quienes reclamaron la intervencin.
Es necesario que el evaluador compruebe la veracidad de ese lugar comn a travs de
conversaciones informales, por ejemplo con ciudadanos no beneficiados o que, incluso,
hayan querido participar pero no hayan sido seleccionados. A menudo me he
encontrado en comunidades en las que las demandas de los habitantes eran muy
diferentes a lo realizado por la intervencin. Una tcnica muy sugerente para apreciar
la pertinencia es preguntar a un nmero significativo de beneficiarios y no beneficiarios,
a qu destinaran una cantidad de dinero equivalente al coste medio de la intervencin
que se evala. Si las respuestas son coincidentes con lo realizado, puede ser una buena
pista de que es realmente necesario y demandado por la poblacin meta. Si se desva

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

173

mucho, habr que gestionar la sospecha mediante adecuadas tcnicas de


triangulacin.
Dentro de la pertinencia, una cuestin muy compleja es responder a si se acta sobre los
ms pobres. Puede suceder que el sujeto ms necesitado no quiera ser ayudado y
rechace la accin cooperativa de la contraparte local y la ONGD, o que no quiera
participar en el ejecucin del proyecto, esperando a que se lo den todo resuelto. Esta
actitud puede convertir a la ONGD en un escaln adicional de dependencia: el Estado
central, el local, la ONGD..., siempre habr alguien externo que acte en las situaciones
de necesidad, acostumbrando al necesitado a no hacerse cargo de su propio destino. Es
el sndrome del beneficiado. Incluso puede no resultar extrao el que el ms
necesitado, sea desconocido, y no se est llegando nunca a l. Notemos un nuevo
posible conflicto entre eficiencia y pertinencia.
Una ltima observacin sobre la pertinencia nos lleva a alabar el anlisis de la
complementariedad entre las acciones de desarrollo que pueden tener lugar al mismo
tiempo sobre una misma poblacin, incluso realizada por varias ONGD. La posible
complementariedad e integralidad de las acciones o -por el contrario- su posible
competencia, puede ofrecer buenos resultados no slo a programas ejecutados por varias
ONGD, sino entre estas, la cooperacin gubernamental y las medidas de poltica social
locales, regionales y nacionales. Es lo que la Declaracin de Pars de la OCDE
denomina el principio de armonizacin entre donantes, como se ver de forma ms
extensa en el captulo 6.
En cuarto lugar, y dejando para el final la valoracin del impacto, el anlisis y juicio
sobre la viabilidad del proyecto ejecutado, esto es, su continuidad autnoma una vez
que cesa la ayuda, dirige de nuevo la atencin a dos momentos evaluativos.
As podramos considerar la viabilidad ex ante o a priori, realizada durante la
formulacin de la intervencin, y la sostenibilidad ex post o a posteriori, ya terminada la
accin programada.
En el caso de la viabilidad a posteiori, convendra analizar este criterio no slo al poco
tiempo de finalizado el proyecto, sino en un plazo medio o largo. Los costes de volver al

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

174

terreno tras varios aos de ejecucin, si no se tiene una presencia continuada con la
contraparte local, puede resultar desalentador.
La deteccin de los mecanismos o factores concretos que hacen viable la continuidad
del proyecto es ms relevante que el simple juicio afirmativo o negativo de si sus
efectos continan o no.
El quinto y ltimo criterio es el impacto. Su importancia queda manifiesta al considerar
que ha dado nombre al tipo de evaluacin cuyo objetivo fundamental es descubrir y
describirlos: la evaluacin de impacto, ms propiamente de impactos.
La dificultad de la misin es considerable debido a su amplitud. Se trata de describir y
cuantificar todos los impactos o efectos que la intervencin ha provocado: directos e
indirectos, deseados e indeseados, previstos e imprevistos42. Y sobre un conjunto tan
amplio de variables como el medio ambiente, los impactos polticos, culturales,
econmicos, comunitarios, sociales o de gnero.
La valoracin de los impactos aparece como lo ms costoso, largo y complejo de todo el
proceso evaluador, pero tambin lo ms til. Aporta la informacin ms relevante para
tomar decisiones, para acumular aprendizajes y buenas prcticas. En definitiva, es el
proceso de evaluacin ms puro.
Una buena evaluacin de impacto debe permitir a la ONGD obtener sinergias y
conocimientos sobre la validez externa de sus proyectos, de sus fines, medios,
metodologas, tiempos y actores.
Tambin debe permitir obtener un juicio sobre la calidad global de la actuacin de la
ONGD como organizacin en su conjunto. Sobre su trabajo, sus productos y la
correlacin con su filosofa, credo y cultura de desarrollo.

42

Puede resultar iluminadora la distincin de Fowler (1997) entre: resultados directos e inmediatos
(ouputs), que miden el esfuerzo de la intervencin y son identificables con mayor precisin que los
resultados finales (outcomes) referidos a la eficacia de la accin y el empleo de los outputs y
produccin sostenida de los beneficios. Estos pueden esconderse bajo apariencias sutiles. Por
ltimo, los impactos (impacts) miden el cambio o diferencia respecto a la situacin problemtica

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

175

La evaluacin de impacto permite detectar las malas prcticas, corregir errores en


nuevas fases o nuevas intervenciones, detectar falacias o formular procesos exitosos o
crculos virtuosos de desarrollo, si es que existen. En definitiva, el impacto muestra si
las intervenciones ideadas funcionan o no. Si funcionan, harn avanzar el desarrollo
humano de los beneficiarios y pases socios y la reclamacin de aumentar la dotacin
internacional de ayuda podr argumentarse con resultados. Si no funcionan, sin
impactos, la ayuda seguir bajo sospecha y un barniz ideolgico cada vez ms difcil de
sostener. Pero el peor escenario de todos no es ninguno de los dos expuestos. Es el
actual de casi ausencia generalizada de estudios rigurosos de impacto. La ignorancia de
impactos es el rasgo ms destacado de las intervenciones de cooperacin, muy claro en
el caso de la espaola. Si algo caracterizan los resultados de la mayora de las
intervenciones en trminos de reduccin de pobreza en el medio plazo (3-5 aos) es su
ignorancia. No ha habido hasta ahora incentivos, ni tiempo, ni presupuesto que hagan
que de manera general, se vuelva al terreno de las intervenciones, se siga recogiendo
informacin y se compruebe si la vida de los beneficiarios realmente ha mejorado o no,
en cunto lo ha hecho y cul fue la clave que explica el xito o fracaso de ese cambio.
En el campo de la evaluacin de impacto es especialmente complejo el juicio sobre la
replicabilidad o validez externa de los proyectos. El trabajo directo con el factor
humano, hace que las circunstancias en las que se desarrollan los proyectos sean nicas
y muy poco repetibles. La libertad humana condiciona la enunciacin de leyes o
recetas en materia de desarrollo humano. En lenguaje cientfico positivo, la validez
externa de los proyectos puede ser muy pequea al actuar en contextos que determinan
la accin hasta el punto de hacerla nica. Pero eso no impide que exista aprendizaje y se
transfiera conocimiento. Un ejemplo muy conocido es el programa de transferencias
condicionadas en efectivo que se inici en Mxico en 1999 bajo el nombre de Progresa
(hoy denominado Oportunidades). El que haya recibido evaluaciones externas de
impacto de alta calidad por parte del instituto internacional IFPRI, ha permitido que el
programa se extienda a todos los estados mexicanos y con las propias adaptacionesexista ya en otros 14 pases y hasta en la ciudad de Nueva York. En otras palabras, los

originaria. Aqu los factores externos y el contexto juegan un papel de creciente importancia. Se
amplan estas consideraciones conceptuales en Larr (2007b).

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

176

pobres no son tan distintos y los factores de ayuda, adaptados a los contextos, se pueden
aprender y reproducir. Pero lo importante aqu es que para que haya transferencia de lo
que funciona o no, lo primero que hay que hacer es evaluar con constancia y rigor.
Otro gran problema de la evaluacin de impacto, quiz el mayor, es el principio de la
atribucin de la causalidad. Los efectos no son aislables en los proyectos de desarrollo,
luego establecer correlaciones lineales que sin ser causales- establezcan relacin
estadstica, es atrevido como se ha expuesto de forma extensa en el captulo segundo,
pero no imposible.
La suposicin de que el resto de las variables intervinientes permanece constante
excepto sobre la que se hace la regresin, parece una simplificacin excesiva, slo
justificable por la informacin aportada. Pero de ah a establecer procesos lineales de
causa-efecto, nos parece un salto gratuito43.
Ante este panorama, una orientacin til puede ser la de tratar de detectar
catalizadores de los procesos de desarrollo, ms que trabajar sobre modelos
uniecuacionales. Ms que causalidades, proponemos detectar procesos exitosos.
Volviendo al ejemplo de la construccin de viviendas utilizado en el criterio de
eficiencia, puede ocurrir que no se sepa si se logr llevar a buen trmino el proyecto
porque la poblacin estuvo bien motivada, acompaada y liderada (cmo medirlo?).
Pero quiz sea til (y menos cientfico?) detectar que cuantas veces se cont con un
lder local que supo motivar a los beneficiarios y logr que lo asumieran como propio,
el impacto del proyecto fue positivo y acelerado respecto al caso contrario. La suma de
estudios de impacto que arrojan este diagnstico puede conducir por inferencia de

43

Biekart (1999:209), propone hablar de causalidades relativas o logros contextualizados de las


intervenciones de desarrollo. Para aclarar su sentido, cita a Uphoff (1992:394): se tratara de medir
las acciones que van con la corriente, intentando alcanzar objetivos mviles e influir en
relaciones cambiantes como pueden ser los proyectos de desarrollo de las ONGD. Para Biekart,
no debe evaluarse sin tener en cuenta las influencias del contexto del proyecto, ni de la cadena de
ayuda. (1999:206-209). En este sentido, Coudere (1994) distingue entre variables del contexto
(poltico, econmico), variables del proyecto (actores, sector, regin) y variables del sistema
(diseo del proyecto, organizacin y ejecucin). Cfr. BIEKART (1999:223, nota 44).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

177

generalizacin- a enunciados bsicos de componentes de xito en cada subtipo de


proyecto sometido a examen.
Transcurrido un tiempo prudencial, la acumulacin de claves de impacto puede dar
lugar a colecciones muy tiles que funcionaran como estndares de calidad en la
formulacin sucesiva de nuevos proyectos.
Para terminar, abordemos la cuestin del coste de la evaluacin de impacto. Quiero
recalcar aqu que la ausencia de ejercicios de impacto realizados, hace sospechar de si
no hay un a priori incontrastado en este tema. La afirmacin de esas evaluacioes no
son posibles y adems son muy caras, suena ms a una fuga que a una razn. Si no se
han realizado evaluaciones de resultados por parte de las administraciones y ONGD,
con qu base afirman que es caro o imposible44?
Volvemos a insistir en las consideraciones ya hechas sobre el coste de oportunidad que
supone no hacer evaluaciones y continuar diseando malos proyectos (cul es el coste
de permanecer en la ignorancia?), o el argumento de considerar la evaluacin como una
inversin y no como un gasto.
Pasemos a continuacin a describir el diseo de la evaluacin, o los pasos que debemos
seguir para realizar de forma prctica y completa la evaluacin de un proyecto de
cooperacin al desarrollo.

44

Biekart (1999:212) sugiere comparar el gasto en campaas publicitarias de recaudacin de fondos


que hacen las ONGD, en las que se prometen mgicamente efectos directos e inmediatos sobre
el desarrollo de las donaciones privadas, con la reticencia a invertir fondos en evaluaciones. Si las
agencias priorizasen el aprendizaje orientado a la supervivencia institucional en lugar de hacerlo
a la recaudacin de fondos, las evaluaciones de impacto podran integrarse en el `ciclio del
proyecto.

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

178

4. EL DISEO DE LA EVALUACIN.
Tratamos ahora de describir la evaluacin paso a paso45. Recordemos que queremos
elaborar un trabajo que, mediante la prctica de la intersubjetividad, resulte creble, til
y transparente para todos. Qu pasos debern darse para realizar un trabajo de
suficiente calidad? Vamos a presentar un proceso en seis fases: decidir evaluar,
seleccionar el objetivo de la evaluacin y los trminos de referencia, formar el equipo
evaluador, seleccionar indicadores y recoger los datos, analizar la informacin, y por
ltimo, explotar la informacin obtenida mediante su presentacin, difusin y prctica
de las conclusiones y recomendaciones. Vemoslas con detalle.
4.1.

DECIDIR EVALUAR.

El primer acto de la voluntad y el ms importante en el proceso de una evaluacin es


tomar la decisin de evaluar una intervencin o de incorporar sistemticamente las
evaluaciones en la gestin poltica y tcnica de las acciones de cooperacin para el
desarrollo. La respuesta a la decisin de evaluar es dicotmica: s o no. Como hiptesis
voy a considerar primero que lo habitual an en la cooperacin es no evaluar y analizar
sus posibles razones explicativas. A continuacin, daremos razones e incentivos para
cambiar esta situacin46.
Las razones-excusas para no evaluar.
Apoyndonos en un estudio de R. Riddell (1998:1-5), podemos encontrar seis
argumentos o posturas por las que una administracin y ONGD no desee evaluar sus
acciones.

45

Este es un aspecto que puede encontrarse en la mayora de los manuales. Entre muchos otros, y
por orden cronolgico, pueden ser de utilidad Fink y Kosekoff (1978); Fitz-Gibbon y Morris
(1987a); Herman et al. (1987); Stecher y Davis (1987); Rossi y Freeman (1989); Casley y Kumar
(1990a); Alvira (1991); Cohen y Franco (1993); Rubin (1995); Amezcua y Jimnez Lara (1996);
Pichardo (1997); NORAD (1997); MAE (1998a); Weiss (1972, 1998); Roche (2004); MAEC
(2007) ofrecen sus propios diseos para implantar una evaluacin, todos ellos coincidentes en los
elementos fundamentales que debe tener.

46

He tratado ya esta cuestin en Larr (2002). Aqu sigo y amplio lo expuesto en ese artculo.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

179

Un primer argumento, al que podramos denominar "necio" o autosuficiente, es


el que considera la evaluacin como una moda pasajera, algo economicista y
que no aporta nada valioso al trabajo de la Organizacin. La inercia de la
costumbre pragmtica ha hecho que el ciclo del proyecto termine cuando se
presenta un informe final y la siguiente etapa es volver a presentar otro
proyecto para ser aprobado. Por su simpleza, no merece ms comentario,
aunque hay que confesar que hace diez aos, pocas ONGD expresaban
abiertamente la necesidad de evaluar sus proyectos47. Esto, por fortuna, va
cambiando pero no creo que sea realista descartarlo radicalmente.

Una segunda postura es la "paternalista y autosuficiente". Esta argumenta que


las ONGD y las administraciones que las financian lo apoyan, existen como
respuesta al "grito de los pobres" y que, mientras exista este grito, ellas se
sienten legitimadas para actuar, sin necesitar evaluaciones que gastan preciosos
fondos en detectar impactos o eficacias. La necesidad de la gente es "muy
real", y la ayuda es -por s misma- suficiente base legitimadora de sus
actividades. Lo que hay que hacer es actuar y aprender de una evaluacin no
les va a aportar nada porque ellos ya saben debido a que llevan muchos
aos en esto y desconfan del negocio que hay detrs de una evaluacin.
Aunque est llena de excusas ms que de razones, denuncia potenciales
peligros de la evaluacin. Yo los resumo en que producir respuestas para
preguntas que nadie se ha hecho, realmente es un ejercicio poco til.

La tercera postura ya es ms audaz. Podramos llamarla la "unvoca". Para esta


postura las intervenciones en proyectos y programas son tan nicos e
irrepetibles, que las lecciones que puedan extraerse de uno, no son
extrapolables al resto. Los aprendizajes de cada proyecto, estn subsumidos en
l mismo, y los beneficiarios conocen de sobra lo que el proyecto les ha
aportado y lo que no. Esto es lo que realmente importa: si una poblacin tiene

47

El propio Riddell cita la obra de Edwards y Hulme (1996:260), en la que se mantiene que: "la
mayora de las ONGs no se sienten afectadas de ningn modo por las cuestiones de rendicin de
cuentas (accountability)" (Riddell 1998:2).

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

180

ahora agua potable y antes no, si dispone de una escuela o no. No hace falta
"evaluar" artificialmente las acciones de desarrollo, porque se autolegitiman, y
cada proyecto es nico en el espacio y el tiempo. Al no poderse volver a repetir
esas mismas condiciones, no tiene sentido evaluar, pues ninguna accin es
reproducible exactamente a como se formul en una ocasin. As, no se pueden
establecer relaciones biunvocas entre proyectos y la validez externa de ellos es
cero. Cada uno es nico e irrepetible.

El cuarto motivo es de orden "lgico". Se basa en la dificultad o imposibilidad


de separar causas y consecuencias dentro del universo relacional del proyecto o
programa. La atribucin de resultados es imposible. Hay efectos que
inevitablemente ocurren junto al proyecto, pero que no deberamos atribuir a
l, ni podemos separarlo de l. No podemos "diseccionar" artificialmente la
realidad, sino que debemos considerarla globalmente. El elemento proyecto
de desarrollo, es inseparable del conjunto realidad econmica de la zona, y
por tanto al evaluar slo el proyecto, dicha evaluacin estar tan sesgada que
no resultar relevante. En el fondo se plantea la conveniencia de realizar
evaluaciones que superen la dimensin del proyecto, y se estara abogando por
los enfoques ms generales como las evaluaciones temticas, sectoriales o
geogrficamente amplias (regin o pas).

En quinto lugar, nos encontramos con el argumento "procesual". La dificultad


que se plantea aqu a la evaluacin, es la de considerar que el desarrollo debe
ser visto como un proceso continuo de largo plazo, y no como un conjunto
desarticulado de proyectos que a menudo pueden presentar objetivos
artificiales. Para los ms extremistas de esta postura, la misma evaluacin no es
posible, ya que los impactos son tan globales, en la actual coyuntura
internacional, que no pueden detectarse con rigor. Otros, menos extremistas,
reconocen la validez de los modernos mtodos y herramientas de evaluacin,
pero consideran que estn basados en unos a prioris tan artificiales que los
invalidan en sus propios resultados. En parte, el proceso anula los resultados.
Se alega trabajar en procesos socio-poltico-econmicos (desarrollo) de largo
plazo y los frutos o efectos de las intervenciones no se vern hasta pasados

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

181

muchos aos. Por ejemplo, educar es un proceso que dura toda la vida y no
tiene sentido hacer una evaluacin en un momento dado del tiempo porque no
va a decir nada de si los estudiantes seguirn pobres o no al finalizar unos
estudios. Lo importante es construir procesos, no medir resultados. Se
contraponen as dos tipos evaluaciones la de procesos y la de resultadosinvalidando las dos48.

La ltima postura o reticencia frente a las evaluaciones, es la ms comn. Es el


motivo de vivir el proceso evaluativo como una "amenaza" o control externo.
La presin que pueden sufrir los implicados en la evaluacin (por ejemplo si
saben que de su informacin depender la continuidad o no de los fondos
enviados por el donante), puede ser tan grande que sesgue los resultados y se
describan impactos que realmente no existan. El razonamiento -consciente o
no- funcionara as: cuantos ms impactos y resultados positivos encontremos,
ms fondos seguiremos recibiendo. Luego hagamos un informe "estrella" sobre
el proyecto. Pinsese su relevancia para ONGD pequeas que sobreviven
gracias a las subvenciones que obtienen de organismos cofinanciadores. Una
mala evaluacin podra ser determinante en su futuro, as que o no la harn, o
la sesgarn positivamente hasta invalidar su credibilidad. O lo que supone para
una administracin crear la incertidumbre propia de una evaluacin cuyos
resultados finales no se garantiza que vayan a ser buenos. La incertidumbre tanto para un poltico como para los mercados- es lo peor, luego no existen
incentivos para promover uno mismo esa incertidumbre, al menos mientras
pueda evitarlo por propia iniciativa. Si la presin ciudadana, una ley, unas
normas de cofinanciacin o cualquier otro elemento externo me obliga, se
aceptar, pero de entrada evaluar es aceptar unos riesgos que si pueden evitar,
mejor.

Quiz este ltimo argumento sea el nuclear sobre las dificultades para decidir evaluar.
Riddell (1998:10), considera que aqul viene muy determinado por el auge que tuvo el

48

La complementariedad y diferencia entre evaluacin de procesos y de resultados se ampla en el


captulo sexto.

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

182

primer informe evaluador de la agencia norteamericana de ayuda (USAID) en 1979, y


que centr las evaluaciones en el enfoque del coste-eficacia ofreciendo como
resultado un balance ineficaz en trminos de tasa de retorno econmico. Pero el mismo
Riddell (2007) se hace eco de la falacia del caso aislado que supone este ejercicio.
Cuando repasa los informes de sntesis de evaluaciones de los principales organismos
internacionales de desarrollo encuentra que la tasa de eficacia de sus proyectos es
elevadsima (84% en el PNUD y USAID, 76% en Banco Mundial, 75% en DFID y
AUSAID, 70% en los Bancos Africano y Asitico de Desarrollo). La tasa de retorno
(relacin beneficios-costes) de los proyectos del Banco Asitico de Desarrollo en los
aos noventa fue del 12%, del 10% en el Banco Africano y del 25% en el Banco
Mundial (Riddell 2007:181-183).
El fondo del debate es si las acciones de ayuda al desarrollo en general, y de las ONGD
en particular, han de ser evaluadas slo o prevalentemente bajo este enfoque. Son los
criterios de mnimo coste y mxima eficacia los adecuados para enjuiciar dichas
acciones? Estudiemos las posibles implicaciones que un excesivo acento en este
enfoque tendra para las ONGD.
En primer lugar, juzgar a las acciones de las ONGD nicamente por su tasa de
rendimiento interno, parece desalentar la creatividad e innovacin de sus acciones, tan
caractersticas de estas Organizaciones. La consecuencia directa de juzgar el xito slo
por coste-eficacia es reproducir los proyectos exitosos desde este baremo, con
resultados tangibles, visibles a corto plazo. Pero es sabido que el proceso de desarrollo
es de largo plazo y de continuidad y constancia en las acciones. Por ejemplo: un
proyecto educativo integral nunca podr tener resultados inmediatos, sino que al menos
habr de pasar el nmero de aos completo que dicho programa plantee para poder
apreciar sus efectos49. Y la importancia de la cualificacin del capital humano es
esencial en cualquier proceso de crecimiento econmico y desarrollo humano.

49

Algo que en Espaa, por cierto, se ignora a la luz de los constantes cambios legislativos en
educacin. Eso s, sin ninguna evaluacin integral y en profundidad sobre sus resultados.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

183

En segundo lugar, el slo anlisis coste-eficacia tiende a desaconsejar las acciones con
riesgo, que darn resultados ms inciertos y costes ms altos. Pero, no son estas las
cualidades ms comunes en los contextos donde actan los agentes de desarrollo:
riesgo, incertidumbre y altos costes comparativos?
En tercer lugar, este enfoque parece contrario a la filosofa de la capacitacin y asuncin
de poder por parte de los propios protagonistas de su desarrollo, el llamado enfoque de
empoderamiento (empowerment). Ms bien, parece alentarse un enfoque dirigido, que
minimice los insumos, la participacin de la poblacin o la calidad de relacin entre
donante y beneficiario, que constituya un autntico acuerdo de asociacin
(partenariado).
Por ltimo, indirectamente se estara animando a alejarse a las agencias y ONGD del
contacto con los ms pobres, ya que por su propia condicin (no pueden pagar), los
riesgos y costes de las acciones con ellos sern comparativamente mayores y las
perspectivas de lograr una sostenibilidad financiera menores. En definitiva, las ONGD
trabajan con los estratos de poblacin en los que la relacin mercantil habitual no lo
hace. Esta es parte de la identidad de las ONGD. Se arriesgan a prestar, formar y ayudar
a aqullos que no participan en igualdad de oportunidades en el mercado y por tanto su
"eficacia" est recortada por esta desigualdad. No podemos juzgar exclusivamente por
su rentabilidad econmica a una donacin. La eficiencia econmica no puede ser el
criterio prioritario de seleccin. Si lo es, dejemos actuar a las empresas pues ese es su
campo ms propio. La paradoja del desarrollo que trata de impulsar la ayuda es que la
rentabilidad es baja (por poblacin, zona y contexto pisco-social).
Ahora bien, todas estas implicaciones no deben anular en absoluto la exigencia de
responsabilidad, utilidad y transparencia de las acciones de las administraciones y
ONGD. Que el slo criterio de coste-eficacia no sea deseable, no quiere decir que se
justifique de ningn modo el derroche, la corrupcin, el engao o, simplemente, el vivir
siempre en la ignorancia del resultado que producen las acciones de las organizaciones
de desarrollo. La evaluacin, como elemento capital del aprendizaje de los mecanismos
virtuosos del desarrollo, debera ser algo incuestionable para toda ONGD que desee
tener xito en la lucha contra la erradicacin de la pobreza. Como bien sintetiza la gua
de Beaudoux et al.(1992:146-147), hay que aunar las dos funciones principales de la

184

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

evaluacin: el aprendizaje y el control interno. Tanto la ingenuidad como el tecnicismo


son enemigos del aprendizaje til en trminos de desarrollo humano.
Aunque parezca una obviedad, sin la seria determinacin y conviccin de la utilidad y
necesidad de la evaluacin de las acciones que realiza la ONGD, todos los esfuerzos
que se orienten en esta actividad no tendrn xito.
Cabe la posibilidad de declarar abiertamente el deseo e inters por hacer evaluaciones,
pero sin un empeo firme y constante, sern vanos, mxime teniendo en cuenta las
dificultades y complejidades inherentes a una evaluacin. Riddell (1990:6-9), ha
sealado algunas de ellas como la ausencia de presiones o demandas externas para
hacerlo, la sobrecarga de trabajo del personal interno de la ONGD, los objetivos tan
generalistas de los proyectos y el que suelan cambiar a lo largo de su ejecucin, la falta
de examen previo, lnea de datos de base ni grupos de control, o el temor a reconocer el
propio fracaso.
Para el caso espaol, los estudios de Larr (2000) y Stock (2002, 2005) las razones
expresadas por las propias ONGD que dificultan la realizacin sistemtica de
evaluaciones son las siguientes (cuadro 4.4).
Cuadro 4.4. Razones para no evaluar alegadas por las ONGD espaolas.
Larr (2000)

Stock (2002, 2005)


Frecuencia

Falta de recursos financieros

Coste excesivo

Poca importancia dada por los donantes y


la sociedad civil

Alto nmero de
proyectos

Personal no capacitado

Otras (tiempo)

Documentos de formulacin poco


elaborados y sin lneas de base

Falta capacitacin

Sin personal adecuado

Falta de tiempo para reflexionar y pensar


estratgicamente

Tamao muestral:
ONGD

21

Razn

19

Fuente: Elaboracin propia. El periodo muestral de Larr fue primer semestre de 1999 y el de Stock,
abril-junio de 2002. En ambos casos las ONGD muestrales fueron las ms grandes en trminos de fondos
gestionados para proyectos de desarrollo.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

185

El cuadro muestra una fuerte correlacin entre los dos diagnsticos. Hay fuerte
coincidencia en que las tres principales razones para no evaluar estn en torno al
problema de los recursos (falta de fondos propios para evaluar y consideracin de un
alto coste); problemas de gestin del tiempo por alto volumen de intervenciones de
pequeo tamao que exigen mucha burocracia y altos costes de transaccin; y el
problema de la falta de un pensamiento estratgico y de una rendicin de cuentas
orientada a sus proveedores de fondos. Si hasta fecha muy reciente apenas haba
administraciones que pidieran evaluaciones y la sociedad civil que apoya a las ONGD
tampoco lo demanda, los incentivos para hacerlas son muy escasos.
Este diagnstico se ajusta muy bien al descrito ya no para las ONGD espaolas sino
para las ONGD en general por Rodrguez-Carmona (2002:309-313). Los problemas
para el aprendizaje identificados por l son los siguientes:
Una estructura y cultura burocrticas de gestin

Estructuras organizativas verticales y centralizadas

Divisin tradicional de roles profesionales

Cultura orientada a la gestin de proyectos

Predominio de los conocimientos de tipo organizativo

Escasa dotacin de recursos para evaluar e investigar

Actitud conservadora (aversin al riesgo y las innovaciones)

Ausencia de autocrtica

Inseguridad laboral y elevada rotacin de personal

Dificultades en el manejo de la informacin

Modelo de evaluacin orientado al control de los donantes

Saturacin de informacin escrita

Reparo al abordar la informacin divergente

Departamentos estancos

Falta de aplicacin de las lecciones aprendidas

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

186

Desaprovechamiento de vnculos externos

Dificultad para establecer marcos de colaboracin con AA.PP.

Relacin de competencia y desconfianza con otras ONG

Reparos a trabajar con el mundo acadmico

Dificultad para incorporar voluntariado

Recelo hacia los actores externos

Es interesante notar cmo tres estudios independientes llegan a conclusiones bastante


convergentes.
En suma, sea por necedad o paternalismo, por creer que cada proyecto es nico y nada
puede aportar al resto, por la imposibilidad de asignar causas y efectos en el desarrollo
al considerar que ste es un proceso de largo plazo que no merece ser evaluado sino
excepcionalmente o por sentimientos de amenaza que genera la evaluacin, realizar de
forma sistemtica el ciclo de la evaluacin, ha sido hasta la fecha evitado y excusado. A
stas razones hay que aadir las consideraciones de coste y alto precio de las
evaluaciones. Al considerar la evaluacin como un gasto en vez de como una inversin,
no se aprecian los beneficios de coste de oportunidad que supone no hacer
evaluaciones50. Suelen aparecer consideraciones de pequea escala de la organizacin,
de sobrecarga de trabajo, de falta de tiempo y presupuesto. Seguramente aqu sea
aplicable el aserto de que no se demanda lo que no se ha probado o no se conoce por
experiencia previa. La ignorancia culpable y la resistencia acomodada a la inercia en la
forma actual de trabajar de las organizaciones, sern obstculos no fciles de vencer por
aquellas entidades que estn dispuestas a instaurar de forma eficiente un ciclo
sistemtico de evaluacin de sus proyectos y programas51.

50

Pensemos por ejemplo, en el ahorro asociado a no ejecutar proyectos fallidos o sistemticamente


mal diseados, por no detectar los errores gracias a una evaluacin. O las decisiones tomadas sobre
impresiones superficiales o conjeturas en vez de lograr certeza por las conclusiones de un ejercicio
evaluativo.

51

Las analogas con las resistencias dentro de las organizaciones empresariales a generalizar los
procesos de calidad total en sus procedimientos y sistemas, pueden ser una comparacin
pertinente, a la que habra que aadir la falta de presin por el lucro y beneficio sobre la que
descansa la actividad de la ONGD.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

187

Pero no slo caben posturas negativas contrarias a realizar evaluaciones sino que
tambin pueden darse razones poco legtimas para encargarlas. Garca Ramos
(1992:463-464) considera las siguientes:

Aplazar una decisin mediante el encargo de un estudio evaluativo que


requerir ms tiempo.

Eludir responsabilidades ante decisiones ya tomadas, pero que se desea revestir


del ropaje legitimador de la evaluacin.

Encargar la evaluacin con fines de mrketing y propaganda, como medio de


autoproclamar las grandezas de la organizacin. Para ello no se duda en
seleccionar para la evaluacin nicamente aquellos rasgos del trabajo que
tienen un buen aspecto superficial, o encubriendo los fracasos del proyecto
evitando toda estimacin objetiva y sin ninguna difusin ni transparencia en sus
resultados.

Cumplir los requisitos obligados de una convocatoria de financiacin externa,


convirtiendo la evaluacin en un ritual necesario que se manipular para
convencer o aplacar al financiador, pero carente de una utilidad real.

Esta ltima razn ilegtima nos parece especialmente importante para nuestro contexto
de evaluacin de proyectos y programas de ONGD, financiados en un importante
porcentaje por organismos pblicos que demandan una rendicin de cuentas.
No hay que olvidar que en toda evaluacin se unen motivaciones polticas (toma de
decisiones) con anlisis de efectos o resultados econmicos y sociales. La evaluacin es,
pues, una empresa racional, que incluso aspira a legitimarse como cientfica, pero que a
menudo se puede efectuar por pseudo-razones muy poco racionales.
Conviene estar alerta, pues, y fomentar y generalizar una cultura favorable y
cohesionada hacia las bondades y beneficios de la evaluacin. Sin actitudes positivas en
todas las personas involucradas en la organizacin, los procesos de cambio y las
decisiones que inevitablemente traen consigo las evaluaciones, carecern de utilidad y
provecho.
Hasta aqu hemos hecho hincapi en las razones negativas y dificultades para realizar
evaluaciones o para realizarlas con fines espurios. Conviene ofrecer algunas de las
razones positivas que ayuden al personal de las administraciones y ONGD a
convencerse y convencer a los dems socios de la inaplazable necesidad de instaurar un

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

188

eficiente ciclo de evaluaciones dentro de su organizacin. Sin pretensin de


exhaustividad ofrecemos las siguientes:

Razones econmicas: por eficacia, las administraciones y las ONGD deben


saber si cumplen o no con los objetivos que se proponen y qu efectos generan
sus acciones, tanto deseados como imprevistos, positivos y negativos. Por
eficiencia, la organizacin debe conocer al menos con aproximacin
razonable- el coste de oportunidad de su cartera de proyectos. Seleccionar unos
y despreciar otros debe hacerse bajo criterios justificados, donde la eficiencia
econmica debida a su especializacin o por economas de escala, debe tener un
peso considerable, aunque no el nico debido a su natural ausencia de lucro. La
eficacia y eficiencia econmicas permiten establecer una visin y estrategia
para las acciones con fundamentos no gratuitos.

Razones ticas: ante todo, por honradez con lo real. En el sistema de valores de
la estructura econmica actual, las acciones solidarias y las donaciones no son
evidentes y deben justificarse ante la opinin pblica, tanto del Norte como del
Sur. Tanto las administraciones como las ONGD deben aspirar a ofrecer el
mejor producto o servicio posible, a ofrecer lo bueno para sus poblaciones
meta, fruto de las evidencias obtenidas en las evaluaciones que prueban esa
bondad y nunca experimentar con las poblaciones objetivo o beneficiarios,
porque no saben si realmente lo que ejecutan introduce cambios en las vidas de
las personas que las permiten dejar de ser pobres.

Razones pedaggicas: fruto de la inclusin en todo proyecto de un ejercicio


evaluador y los procesos de mutuo aprendizaje y capacitacin que genera. Toda
evaluacin es una oportunidad de incrementar el capital humano de todas las
partes involucradas, incluidos por supuesto los beneficiarios. Se producen
acciones

de

empoderamiento,

auto-responsabilidad

fortalecimiento

comunitario en la parte beneficiada. Se fortalecen las mutuas relaciones entre


las partes, se obtienen conclusiones y recomendaciones que impulsan la
continuidad de la cooperacin. Se aprenden y detectan las claves de los crculos
virtuosos y de buenas y malas prcticas, potencialmente reproducibles en otros

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

189

proyectos, lugares o circunstancias semejantes. Se examinan conductas y


actitudes que pueden hacer crecer la autoestima y la dignidad en las poblaciones
empobrecidas y la motivacin y satisfaccin en el personal de la ONGD, tanto
la que actu como contraparte local, como la financiadora del Norte52.

Razones cientficas: En una disciplina que aspira a considerarse actividad


investigadora y cientfica, como es la evaluacin, una fuente de legitimacin
puede ser la evaluacin como bsqueda conjunta de la verdad parcial que todos
los implicados en el proyecto de desarrollo tienen. Al ofrecerla en el ejercicio
evaluativo, se avanza y se produce conocimiento sobre la pobreza, sus causas,
los mecanismos que la generan, la consolidan, la atenan y la superan. Al poner
al ser humano en el centro del desarrollo (centrado en la gente, en expresin
frecuentemente utilizada por el PNUD) y buscar la verdad sobre las causas y los
remedios contra el empobrecimiento, se est realizando una innegable actividad
cientfica.

Razones de coherencia: pues no se pueden realizar acciones de cabildeo y


presin poltica sobre las debilidades de un sistema, por ejemplo el de
cooperacin nacional, y no poder ofrecer ninguna evaluacin rigurosa que
justifique la coherencia entre el denunciante y lo denunciado. Una denuncia
crtica sin alternativas probadas o mnimamente justificables fruto de
evaluaciones serias, se convierte en demagogia intil.

Razones de conveniencia: por si no bastan las anteriores, de mayor altura, las


ONGD pueden considerar que ya estn siendo evaluadas sus acciones, no slo
en cada proceso de seleccin de convocatorias pblicas de subvenciones, sino
que sus proyectos ya han formado parte del sistema de evaluacin de la
cooperacin espaola (por ejemplo la del MAE 1999)53. Las ONGD acreditadas
para la firma de convenios con la AECID, deben realizar evaluaciones

52

Algunos de estos efectos se sealan con lucidez en Marsden y Oakley (1990:4-14).

53

Es la referencia a la evaluacin del programa de cofinanciacin con ONGD que evalu 29


proyectos llevados a cabo en Hait, Repblica Dominicana y Filipinas.

190

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

intermedias. Las administraciones descentralizadas, ya han comenzado a exigir


algunas evaluaciones externas. Sirva este estmulo externo para animar an
ms la instauracin de procedimientos internos de evaluacin en las ONGD.
Una vez superados los recelos y excusas para no evaluar y decidida una administracin
y ONGD a evaluar sus intervenciones, las cuestiones principales que deber resolver
son las siguientes: determinar la cantidad de evaluaciones a realizar y su nivel de
profundidad, los criterios para decidir lo anterior y el momento en que esta decisin
debe tomarse.
Respecto a la cantidad de proyectos a evaluar, ya hemos comentado que -en
principio- deben evaluarse todos. La evaluacin es algo que aparecer ya desde el
comienzo del ciclo del proyecto, desde la misma identificacin. Pero lo que tambin es
claro, es que no todos los proyectos debern -ni podrn- ser evaluados de la misma
manera. Unos exigirn evaluaciones amplias y profundas, incluso con enfoques que
superen el mero proyecto. Otros, se evaluarn de forma sencilla acentuando el control
de gastos y la rendicin de cuentas, por su pequeo tamao, porque los informes de
seguimiento as lo han ido preparando, o por otras razones.
Los criterios que orienten un tipo u otro de evaluacin pueden ser los siguientes:
a) Proyectos cuya evaluacin debe ser ms profunda: son aqullos que incorporan
una gran dimensin de trabajo, recursos materiales y financieros; aqullos que se
desarrollen durante largos periodos de tiempo (todo proyecto que se extienda durante
dos o ms aos deber ser evaluado con suficiente profundidad); proyectos que se
desarrollan en reas nuevas de cooperacin, con contrapartes nuevas o sean novedosos
para la propia ONGD.
Siempre debern evaluarse los proyectos especialmente problemticos y los muy
exitosos para captar las causas del xito y analizar su posible reproduccin en otras
zonas.
Tambin se analizarn profundamente aquellos proyectos cuya ejecucin se ha ido
separando de lo planificado y los que exigen una decisin sobre si deben modificarse, si
continan o si -por el contrario- conviene que sean suprimidos.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

191

b) Proyectos cuya evaluacin ser menos profunda, (que no rigurosa), por razones de
coste: son aqullos que se han ido desarrollando conforme a lo previsto y cuentan con
suficientes informes positivos de seguimiento, de forma que se conocen bien sus
impactos; cuando son proyectos "comunes" que se han ido desarrollando con las
contrapartes locales de forma habitual y metdica, y las enseanzas y problemas que
plantean se conocen ya con suficiente nitidez.
Por ltimo, es necesario matizar la flexibilidad debida al criterio de totalidad de
evaluacin de los proyectos. Si por causas especiales del pas, de la contraparte, del
propio donante y sus relaciones, no es aconsejable (o posible) realizar la evaluacin,
deber ser reflejado en un informe adjunto al historial del proyecto, que acte como
"evaluacin". Aqu se mencionarn las razones por las que no se realiz y se estudiar
su posible confidencialidad.
El manual del Ministerio de Asuntos Exteriores recoge los criterios que ofrecen varias
instituciones para decidir qu proyectos evaluar (Banco Mundial, Agencia danesa,
noruega y japonesa de desarrollo), as como los criterios espaoles para ir implantando
paulatinamente la cultura de evaluacin en la propia Agencia Espaola de Cooperacin
Internacional y Desarrollo (MAE 1998:200-201).
4.2.

SELECCIONAR EL OBJETIVO DE LA EVALUACIN Y REDACTAR


LOS TRMINOS DE REFERENCIA.

Una vez que se ha decidido por qu evaluar, nos acercamos al cmo hacerlo. Y lo
primero es determinar el objetivo de la evaluacin y concretar las razones por las que se
evala esa intervencin, qu metodologa concreta ser la mejor, de cunto tiempo se
dispone, con qu presupuesto se cuenta, cules son las principales preguntas que la
evaluacin responder, etc. Todo este conjunto de informacin y condiciones previas a la
evaluacin, de alguna manera su programacin, es lo que se redacta en un documento
conocido como los Trminos de Referencia.
La seleccin y concrecin de los trminos de referencia es de extrema importancia, pues
son la base que determinar la calidad de la evaluacin. Los trminos de referencia
bsicos que deben incluirse en toda evaluacin son:

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

192

a) Breve descripcin de la intervencin a evaluar (sus antecedentes).


b) Objetivo y tipo de evaluacin que se va a realizar.
c) Temas a cubrir, centrndose en niveles globales (principal pregunta a responder).
d) Metodologa a emplear (a dialogar con el equipo externo si es el caso).
e) Equipo, tiempo, presupuesto e informes o productos a presentar.
En varios manuales de evaluacin se pueden encontrar ejemplos de formato de base
para los trminos de referencia54. El Manuel de Gestin del MAEC (2007:68-73 y 134137) ofrece una pedaggica secuencia para elaborar los trminos de referencia, controlar
su calidad, as como el formato actualmente utilizado por la DGPOLDE.
Una vez que ha sido seleccionado el objetivo y escritos los trminos de referencia, es
necesario formar el equipo evaluador.
4.3.

FORMAR EL EQUIPO EVALUADOR.

En los casos de evaluaciones externas, el equipo es seleccionado mediante licitacin


pblica abierta o por seleccin no competitiva. En los trminos de referencia o liegos de
condiciones de la licitacin, se suele el perfil requerido para abordar la evaluacin tanto
en formacin terica como en capacitacin y experiencia prctica. No deberan
olvidarse las actitudes, pues a menudo la informacin a extraer requiere de cualidades
que no tienen por qu verse reflejadas en curriculum vitae.
La literatura al respecto suele hablar de un equipo ideal compuesto entre dos y cuatro
miembros55. Para abordar las cuestiones relativas al enfoque de gnero puede ser
oportuno la presencia de componentes de ambos sexos. En muchos contextos las
mujeres beneficiarias slo se abren e informan con confianza a otras mujeres. Sin volver
a las ventajas y desventajas que tienen los tipos de evaluacin segn sus actores, aqu se

54

Por ejemplo, NORAD (1997:126-128); MAE (1998:235-247); Rubin (1995:74).

55

Rubin (1995:42); MAE (1998:246); NORAD (1997:74-75); Roche (2004:84-87).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

193

quiere defender la ideal representacin de todos los agentes involucrados en la


evaluacin. Cuanto menor es la participacin, ms difcil puede ser la apropiacin de las
recomendaciones de la evaluacin. Adems, la participacin en evaluaciones es uno de
los medios ms importantes de formacin: el aprendizaje basado en la experiencia
(learning by doing). Pueden darse formas de evaluacin mixta en la que la presencia
de miembros, por ejemplo, de la ONGD no obstaculice la independencia de los
consultores externos y el miembro de la ONGD, adems de ser un informador clave,
est aprendiendo sobre la prctica concreta de la evaluacin. Lo mismo es aplicable a
los miembros tcnicos de las administraciones y de las organizaciones del Sur.
De forma general, la capacitacin que debern tener (o que habr que procurar que
tengan) los evaluadores ser:

Capacidad de dilogo y creacin de conocimiento a travs de la Inter.subjetividad, para desarrollar la independencia de los juicios evaluativos. Su
capacidad para la empata, la aceptacin incondicional a las expresiones de las
personas, su experiencia de dilogo intercultural y de percepcin de valores, su
sensibilidad ante lo diferente por razones tnicas..., todo ello contribuir a esta
deseable "independencia".

Capacidades de anlisis, sntesis y relacin en temas de desarrollo.


Conocimientos

tericos

suficientes

(interdisciplinares)

habilidades

comunicativas y pedaggicas para transmitir los hallazgos.

Conocimientos especializados en materias como: estadstica y econometra,


manejo de programas informticos para el tratamiento de la informacin,
nociones suficientes en temas de finanzas, medioambiente, gnero y anlisis
polticos.

Por ltimo insistir en el aporte insustituible que ofrece la experiencia en los


campos de la cooperacin al desarrollo y los intercambios culturales. El
"trabajo de campo" y la experiencia sobre el terreno son dos capacitaciones
insustituibles. Y las habilidades humanas -ms necesarias y, a veces, ms

194

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

difciles de adquirir- pueden mostrarse, en ocasiones, ms tiles que los


conocimientos tcnicos.
Una vez seleccionado el equipo evaluador, la siguiente fase es la seleccin de
indicadores y recogida de datos.
4.4.

SELECCIONAR INDICADORES Y RECOGER DATOS.

Una vez formado y capacitado, en su caso, el equipo evaluador, sus componentes


concretarn el plan de trabajo segn los trminos de referencia decididos.
El plan de trabajo tendr tres fases. Primeramente existir un estudio de gabinete, en
el que se analizarn los documentos pertinentes que aporten familiaridad con el
proyecto a evaluar y con los trminos de referencia de la evaluacin. La metodologa a
emplear se revisar y se verificarn las posibilidades de realizar lo que los trminos de
referencia pidan. Se analizarn en un nivel ms concreto las fuentes de obtencin de
informacin y se concretarn los indicadores a utilizar, segn el objetivo a cumplir y los
dems trminos de referencia: disponibilidad de obtenerlos o elaborarlos, fuentes y
personas a consultar, tiempo y presupuesto disponibles. Por ltimo, se repartirn tareas
entre los miembros del equipo.
En una segunda fase, se realizar el trabajo de campo, yendo al lugar en el que se ha
realizado la intervencin, recogiendo la informacin necesaria, viendo los resultados
materiales de la accin y entrevistando a los beneficiarios e informadores clave que sean
pertinentes. Es recomendable que las partes interesadas dispongan con antelacin
suficiente las necesidades y deseos de los evaluadores, as como su plan de trabajo, a fin
de agilizar los ms posible este momento, que puede ser el ms costoso en recursos
materiales, aunque no en tiempo o dificultad material.
En la tercera fase, se prepararn los diversos informes evaluadores. Un primer informe
(borrador) se debatir sobre el terreno con los beneficiarios y las contrapartes, y se
presentarn las conclusiones preliminares. Se buscarn los consensos y se anotarn

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

195

todos los posibles desacuerdos. En el informe final, se expresarn las conclusiones y


recomendaciones definitivas a las que ha llegado el equipo evaluador56.
A la problemtica inherente a la obtencin de la informacin le dedicaremos en excluiva
el epgrafe siguiente. Las caractersticas bsicas de los indicadores a utilizar estn bien
recogidas en los manuales de Casley y Kumar57. Siguindoles a ellos, conviene destacar
que los datos se obtienen para tres fines claros: describir, explicar y predecir.
Describir es responder a las cuestiones de quin, cmo y dnde. Son los datos que
permiten realizar el seguimiento fsico y financiero del proyecto. Nos dicen qu est
pasando a medida que avanza su ejecucin, o qu pas, si el anlisis es expost.
El segundo fin es explicar la realidad. Los datos deben ofrecer pistas para encontrar
relaciones causa-efecto. Es decir, se trata de responder a los por qu ocurri as y cmo
sucedi. Si las afirmaciones causa-efecto no pueden establecerse por su dureza, al
menos los datos deben permitir establecer correlaciones y asociaciones de forma
razonable.
El tercer fin es el de predecir. Una vez comprendidas las causas, podremos establecer
aprendizajes de buenas prcticas y los vicios a evitar, orientando as la accin futura.
Una vez obtenida la informacin, hay que analizarla y explotarla.

56

En NORAD (1997:129-130) se ofrece un formato base y se dan consejos prcticos para redactar el
informe final. Tambin en MAE (1998:245 y 251-261) que nos parece ms claro y sistemtico.
Otras opciones son: Rubin (1995:81-82); Amezcua (1996:119-128); Weiss (1998:294-319); Alkin
(1985:56-60); Fink y Kosekoff (1978:71-80); Morris et al. (1987b:77-89) que son manuales sobre
evaluacin de proyectos que recogen tambin informacin sobre la obtencin y tratamiento de los
datos.

57

Ellos proponen como cualidades generales la velocidad, regularidad, flexibilidad y movilidad y


como cualidades intrnsecas la claridad, constancia, especificidad, sensibilidad y facilidad de
recopilacin. Casley y Kumar (1990a:63-69). Otros autores como Pichardo (1997:247) optan por
la validez, confiabilidad, que sean demostrativos, objetividad y pertinencia; y Ballart (1992:103)
ofrece la validez aparente, fiabilidad, globalidad, control y coste.

196

4.5.

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

ANALIZAR LA INFORMACIN.

El siguiente paso, una vez recogidos los datos, ser su estudio y anlisis para determinar
los cinco criterios de evaluacin habituales (eficacia, eficiencia, pertinencia, impactos y
viabilidad) y analizar los siete factores de desarrollo ya comentados.
Se llega as a un conjunto de conclusiones lgicas y de recomendaciones para el futuro.
Las conclusiones deben ser rigurosas en el sentido de los procesos causa-consecuencia,
de induccin desde los datos a los resultados y de deduccin desde los hechos a las
recomendaciones. Las recomendaciones deben ser realistas, exigentes y motivadoras.
Las conclusiones sealan las lecciones aprendidas. Las recomendaciones muestran las
tareas a incorporar o los campos de perfeccionamiento y mejora. Es importante cuidar el
que se juzguen hechos, no personas. Y no obsesionarse con la bsqueda de "culpables" ya sea en procesos de xito o de fracaso- sino centrarse en instrumentos y procesos que
estn funcionando bien y contribuyendo a un verdadero desarrollo.
Las recomendaciones deben especificar a quin va dirigida, qu tarea concreta
incorporar la mejora propuesta, qu medios se precisan para implementarla y en cunto
tiempo debera estar incorporada al proceso de gestin. Ya hemos insistido en que
muchas recomendaciones no son sinnimo de mejor informe de evaluacin. Una
inflacin de recomendaciones puede ahogar el proceso de mejora ya que la institucin
que recibe el informe puede no saber ni por dnde empezar. Hay que ser realistas con la
capacidad de cambio en personas e instituciones y no querer hacer un informe con
recomendaciones que arreglen el mundo pero no orienten realmente a los
involucrados.
4.6.

EXPLOTAR LA INFORMACIN.

Obtenidas las enseanzas, resta lo ms importante de la evaluacin. En primer lugar,


realizar todo lo relacionado con el principio de transparencia y difusin de la
informacin. Publicar los resultados, difundir los informes (totales o resmenes) a los
interesados (incorporando siempre a los beneficiarios). Convocar posibles reuniones de
anlisis de los resultados que ofrecen las evaluaciones, crear talleres o grupos de trabajo
que reflexionen sobre lo que se va aprendiendo, estudiar la conveniencia de publicar
artculos acadmicos a partir de la informacin obtenida, etc.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

197

En segundo lugar, es importante determinar cmo se van a incorporar las conclusiones


obtenidas en la evaluacin. Habr que revisar la calidad de los informes presentados, el
grado de participacin de todos los consultados, requeridos o interesados, etc. En
definitiva, conviene "pulsar" el grado de asimilacin que tiene la propia administracin
y ONGD de lo que podramos llamar la "cultura de evaluacin", y que habr que seguir
creando intensa y continuamente, dada la realidad que describiremos en el captulo
siguiente sobre la cooperacin espaola.
Por ltimo, habr que poner en prctica las recomendaciones. Una "cultura de
evaluacin" que no arrastra cambios continuos de mejora de calidad en los proyectos y
programas que se van realizando, es una cultura burocrtica e ineficiente. Se evala para
cambiar. Y hay que reconocer las enormes resistencias al cambio intrnsecas a muchos
de los procesos humanos. Cambios en los gestores, en los voluntarios, en sus
formadores, en los ejecutores y en los beneficiarios. Cambios personales o/y de
personal, cambios metodolgicos, avances en la especializacin de la propia ONGD,
cambios estructurales y organizativos. Ms adelante, exploraremos algunas de las
consecuencias que puede tener, especialmente para una ONGD, crear e incorporar a su
gestin un sistema de evaluaciones.
Un presupuesto necesario y no suficiente para evaluar con seriedad, es querer aprender
para mejorar. Sin esta voluntad, todos los rigores formales y cientficos que puedan
ofrecer las evaluaciones, sern estriles y -a medio plazo- se abandonar la prctica
evaluadora, se justifique como se justifique.
Una vez descritas las fases que incorpora el diseo de una evaluacin, tratamos de
forma especfica las herramientas y procedimientos de obtencin de la informacin que
permita realizar los juicios evaluativos de la mejor forma posible.
5. LA OBTENCIN DE LA INFORMACIN.
Queremos detallar ahora la problemtica inherente a las tcnicas o herramientas para
obtener la informacin, los mtodos de recogida y anlisis de los datos.
Esta fase es importante porque tratamos de aportar esa deseada "objetividad" al proceso
evaluativo. Buscamos los hechos, para poder luego realizar el proceso de anlisis-

198

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

sntesis-relacin que pide el conocimiento cientfico y riguroso, el conocimiento que


aspira a describir "lo real". Nos acercamos a la realidad a travs de tres formas de
investigar: preguntando, para conocer contenidos racionales (ideas), niveles de
satisfaccin, preferencias o actitudes; observando directamente dicha realidad,
captando hechos, midindolos; y analizando esta realidad a travs de la reflexin,
contemplacin o estudio documental.
La informacin que se obtiene preguntando y observando es primaria, es decir, no
exista previamente, hay que crearla. La informacin obtenida del anlisis y estudio es
secundaria, procede de fuentes indirectas, ya exista al iniciar la investigacin y no hay
que crearla, pero hay que validarla y comprobar sus fuentes.
Al proceder de esta manera, buscamos cuatro fines. Buscamos apoyo emprico para
validar o falsar las hiptesis y conclusiones. Buscamos fiabilidad (es decir, hechos
similares arrojan datos similares en condiciones similares) y validez (son adecuados,
oportunos y eficaces ante el tema que tratamos). Por ltimo, tratamos de buscar
generalizaciones, conclusiones vlidas para algo ms que el caso especfico o el
proyecto concreto. Buscamos un nivel aceptable de universalizacin.
Para lograr estos cuatro fines, debemos disear el modo de obtener la informacin y,
despus, aprovechar las distintas herramientas cientficas que permiten su anlisis. En
los Cuadros 4.5. y 4.6. ofrecemos una visin panormica de lo que desarrollamos a
continuacin.
Cuadro 4.5. La obtencin de la informacin para evaluar los proyectos.
LA OBTENCIN DE LA INFORMACIN
FUENTES

FINES

DISEOS

CARACTERSTICAS

PRIMARIA:

APOYO EMPRICO

EXPERIMENTAL

VERAZ Y ESENCIAL

Pregunta

FIABILIDAD

CUASIEXPERIMENTAL

DISPONIBLE

Observacin

VALIDEZ

BARATA
NO EXPERIMENTAL

SECUNDARIA:

Anlisis

Fuente: Elaboracin propia.

UNIVERSALIZACIN

OPORTUNA

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

199

Cuadro 4.6. Tcnicas de anlisis de la informacin.

TCNICAS DE ANLISIS DE LA INFORMACIN


MAS CUANTITATIVAS

MAS CUALITATIVAS

(MEDICIN)

(SIGNIFICADO)

1.

FORMAS DE ACB

1.

ANLISIS DOCUMENTAL

Anlisis coste beneficio

2.

ENTREVISTAS EN PROFUNDIDAD

Anlisis coste eficacia

A individuos

Anlisis coste utilidad

A grupos

2.

ENCUESTAS

A toda la comunidad

Cuestionario cuantitativo

3.

OBSERVACIN

Cuestionario cualitativo

Directa

Cuestionario mixto

Participante

3.

TCNICAS ESTADSTICAS
MULTIVARIANTES

4.

PARTICIPATIVAS

Brainstorming

Anlisis de varianza

Discusiones y dinmicas de grupo

Anlisis factorial

Anlisis de casos

Anlisis cluster

Otras

Anlisis discriminante
5.

PROYECTIVAS (campo de la psicologa)

Otras tcnicas estadsticas

4.

TCNICAS ECONOMTRICAS

Modelos de regresin: simple y general

Modelos multiecuacionales: ecuaciones


simultneas

Modelos dinmicos: series temporales

Modelos predictivos: modelos ARIMA

Otras tcnicas economtricas

Fuente: Elaboracin propia.

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

200

5.1.

POSIBLES DISEOS PARA OBTENER LA INFORMACIN.

La primera cuestin a dilucidar a la hora de plantearse cmo obtener la informacin


necesaria para evaluar, es determinar el diseo que va a seguirse. Comnmente se
consideran tres diseos bsicos58.
a) Diseos experimentales. Son aqullos que "experimentan" mediante la creacin de
un grupo de control sobre el que no se realiza la intervencin, a fin de compararlo con
aqul sobre el que s se ha realizado, y as se infieren las enseanzas e impactos,
comparando a la poblacin con proyecto y a la poblacin sin proyecto, en las
situaciones antes y despus de la ejecucin de la accin. Deben ser grupos
homogneos y elegidos aleatoriamente para que la comparacin sea relevante y
pertinente.
Este diseo aporta el nivel ms alto de validez interna y permite atribuir de forma
rigurosa los resultados, pero es costoso, largo, complejo, no siempre es posible ni
adecuado y presenta algunos aspectos ticos que es imprescindible afrontar cuando se
disee. Adems, slo proporciona resultados ex post y slo posible cuando existe
informacin de base59.
b) Diseos cuasi-experimentales. Se diferencian de los primeros en que ahora el grupo
de control no es aleatorio ni homogneo al de referencia. Se le denomina grupo de

58

Puede consultarse MAE (1998:74-79), con bibliografa para ampliar este aspecto, o Cohen y
Franco (1993:126-139); Casley y Kumar (1990a:127-142); Pichardo (1997:269-280); Ballart
(1992:118-126); Alvira (1991:64-72).

59

Una amplia descripcin de la casi imposibilidad prctica de aplicar estos diseos, la exponen
Casley y Kumar (1990a:130-131), para proyectos tan tangibles como los incrementos de la
produccin agrcola. Mosley (1999:30-34), no parece tan pesimista, aunque seala cuatro
dificultades importantes: sesgo en la seleccin de la muestra, una mala especificacin de la
relacin subyacente entre el grupo de tratamiento y el de control, problemas de motivacin y el
alto coste. La gran ventaja del diseo es que, si se logra un muestreo aleatorio y sistemtico,
conoceremos el margen de error asignado al impacto cuantitativo calculado. Posturas favorables y
objeciones a este diseo, ya sobre la base de ciertas experiencias que se estn acumulando desde
2004, se encuentran en el libro editado por Banerjee (2007). Una presentacin de sus ventajas
frente a otros modelos y una respuesta a algunas de las objeciones ticas se ofrece en Banerjee
(2006,b), Duflo & Kremer 2003, 2005), Larr (2007b). Tambin Blatman (2008) realiza un
diagnstico de las ventajas y limitaciones de este enfoque, proponiendo ir ms all de lo
actualmente realizado. Para una descripcin completa de todos los pasos que supone realizar este
tipo de evaluacin vase Duflo, Glennester y Kremer (2006).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

201

comparacin. Podemos considerar tambin dentro de stos, dos variantes. Aqullos que
tienen informacin suficiente sobre la situacin de los grupos antes y despus del
proyecto (evaluaciones prospectivas y retrospectivas). Y aquellos que no la disponen y
deben trabajar nicamente con la informacin ex-post al proyecto (slo retrospectivas).
La validez disminuye respecto a los experimentales, pero son ms simples y baratos60.
c) Diseos no experimentales. En este tercer grupo, consideramos un slo grupo (el
beneficiario o poblacin meta u objetivo), sin grupos de control ni comparacin. La
informacin directa nos la aportan los entrevistados, y con ella se trata de realizar el
anlisis. El nivel ms sencillo de diseo no experimental o informal es hacer un anlisis
de antes-y-despus. Comparar la situacin de la comunidad o regin beneficiaria, antes
del proyecto y despus de realizado ste. El problema de stos mtodos es que ocultan
esencialmente los procesos causales de los cambios habidos. Slo los detectan y
describen, pero no sabemos qu fue lo que realmente provoc los cambios, qu lo
aceleraron o los retardaron, si se deben al propio proyecto o a externalidades.
En el fondo, lo que pretenden estos diseos es poder medir y establecer la comparacin
entre la situacin real presente y un contrafactual histrico. Qu hubiera pasado si no
se hubiera llevado a cabo la accin? Cul sera la situacin de la poblacin meta?
Obviamente, el nivel de rigor y cientificidad con que se puede responder esta pregunta
disminuye progresivamente desde el diseo experimental al no experimental. A medida
que nos alejamos del diseo de evaluaciones aleatorizadas (as se denominan las que
emplean el diseo experimental) el grado de conocimiento objetivo que obtenemos
queda muy mermado. Pero puede haber proyectos o situaciones en las que sea lo nico
o lo mejor que podamos hacer, a pesar de su debilidad61.
Todos estos diseos exigen levantar informacin cuantitativa y cualitativa durante un
tiempo que puede parecer extenso. Lo que no debe olvidarse nunca es que la

60

Una discusin sobre estos mtodos frente a los experimentales se ofrece en Baker (2000),
Ravallion (2001, 2005), White (2005 y 2007a,b,c) y World Bank (2002 y 2006a,b,c,d,e).

61

Algunos tipos y herramientas para diseos experimentales se describirn en el captulo siguiente al


presentar los modelos de evaluacin participativa. Mosley (1999:35-39) ofrece criterios de
eleccin entre los diseos formales e informales para evaluar proyectos de desarrollo.

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

202

informacin necesaria para la evaluacin debe estar formulada y prevista ya desde antes
del inicio real de la intervencin. Si hubiera que seleccionar qu fuente es la ms
importante, a mi parecer habra que privilegiar la contenida en los indicadores del
objetivo especfico. Los diversos mtodos descritos logran ms potencia y validez
cuando se aplican anlisis de regresin multivariante. La clave aqu es haber cumplido
bien los plazos de recogida de informacin y los informes de seguimiento, pues de otro
modo, con series muy cortas, la validez queda diluida ante la cantidad de hiptesis que
pueden explicar los datos ofrecidos.
Tras describir estos tres grupos de diseos, debemos comentar las caractersticas
bsicas que debe tener la informacin con la que trabajar.

En primer lugar debe ser una informacin veraz y esencial. Que vaya a aportar
conclusiones relevantes para el anlisis del proceso de desarrollo y de
eliminacin de la pobreza, que es lo que buscamos.

En segundo lugar, informacin disponible, es decir, elaborada y directamente


disponible, o elaborada para hacerla disponible. Hay que contar con las
limitaciones de registros contables, de organismos estadsticos, etc., en los
pases en vas de desarrollo. Podemos contar con fuentes de organismos
internacionales para ciertos datos agregados y comparables internacionalmente,
pero quiz no nos valgan para el anlisis micro que el proyecto requiere.
Estamos siempre en la tensin entre el reino de lo ideal y el de lo posible.

En tercer lugar, una informacin barata, o al menos "razonablemente costosa".


Ser relevante para decidir el tamao de la muestra, nmero de indicadores a
construir, etc.

Por ltimo, una informacin oportuna, relevante respecto al momento histrico


del proyecto, actualizada lo ms posible, ajustada al objetivo de la evaluacin y
a la metodologa decidida en los trminos de referencia.

El tratamiento de la informacin obtenida con estos diseos y estas caractersticas


deseables, puede tener dos orientaciones: una ms cuantitativa y otra ms cualitativa,

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

203

pero ambas no son alternativas, sino ms bien complementarias. Exponemos a


continuacin aqullas que nos parecen ms relevantes para nuestro fin.
5.2.

LAS HERRAMIENTAS CUANTITATIVAS.

El instrumento cientfico que dispone el evaluador ms cercano al polo objetivo del


conocimiento son los resultados derivados del uso de las herramientas cuantitativas62. Si
los nmeros ocultan los rostros, aportan hechos positivos, medibles y medidos.
Los indicadores cuantitativos tratan de establecer un puente entre el objetivo de la
evaluacin (lo que se espera conseguir, lo deseado) y los datos disponibles (lo posible
de ofrecer, lo ofrecido). Los indicadores cuantitativos presentan una serie de problemas
o limitaciones y de ventajas o aportes.
Los principales problemas son dos. No tienen una vigencia universal para todos los
proyectos de la misma familia y por tanto deben ser asignados caso por caso. Incluso
deben ser cambiados si durante la ejecucin del proyecto se producen variaciones de
orientacin tan bruscas que as sea requerido. En segundo lugar, habr que intentar
minimizar su nmero para optimizar costes. Usar indicadores agregados o sintticos es
ms barato pero menos fiable. Usar indicadores muy desagregados o particulares
aumenta el coste y fiabilidad. Habr que buscar el equilibrio.

62

No se pretende aqu entrar en el prolijo debate sobre la pertinencia de la distincin de los enfoques
cualitativos y cuantitativos. Una extensa exposicin sobre las diversas posturas y paradigmas ante
el tema puede encontrarse en Valles (1997:20-44). Nosotros nos adherimos a la postura que
considera que ambos enfoques ofrecen informacin til para la evaluacin de intervenciones de
cooperacin al desarrollo y que, por lo tanto, es conveniente servirse de los dos. Esta es la postura
de Bericat (1999), Bamberger (2000), White (2002) que creemos es la que va extendindose cada
vez ms. La asignacin de cada tcnica aqu citada al grupo de prevalencia cuantitativa o
cualitativa es funcional y no pretende encuadrarlas rgidamente en este falso par. Nos convence
la armonizacin que hace Bericat al asociar MEDIDA con lo cuantitativo y SIGNIFICADO con lo
cualitativo. Para una extensin sobre el tema aplicada a la evaluacin pueden consultarse Rossi y
Freeman (1989:264-265); Weiss (1998:82-86); Dale (1998:106-129). Una descripcin extensa de
ambos enfoques la hacen Kanbur (2003 a,b) y Holland y Campbell (2005). Experiencias concretas
sobre la aplicacin de ambos mtodos en los anlisis de pobreza se dedic de forma monogrfica
el nmero 35(2) de la revista World Development, editada por Kanbur & Shaffer (2007).

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

204

Las principales ventajas de los indicadores cuantitativos son su "objetividad" y


verificabilidad as como su capacidad para capturar los procesos de causa-efecto a
travs de las medidas de correlacin entre las variables.
Por lo que se refiere a las tcnicas estadsticas concretas, el mtodo de muestreo ms
habitual para las evaluaciones de intervenciones de desarrollo ser el muestreo por
grupos o "clusters", que permite comparar grupos heterogneos (es la mejor posibilidad
cuando no se puede listar a la poblacin total para un muestreo aleatorio). Otras
opciones sern el muestreo probabilstico (dentro de este grupo pueden realizarse el
sistemtico o secuencial y el estratificado), y el no probabilstico (que comprende la
autoseleccin, el muestreo subjetivo y por cuotas)63.
El manual de la NORAD (1997:98-107) nos ofrece una tipologa de mtodos de
recogida de datos, que sigue la metodologa del MAE (1998:85-86). All se ofrecen tres
mtodos formales (encuesta, observacin participante y medicin directa) y cinco no
formales o simplificados (entrevistas con informadores clave, entrevistas de grupo,
entrevistas al grupo focal, observacin directa y encuesta informal).
Todas las dificultades y lmites que estos mtodos presentan, as como los criterios para
saber cundo es mejor utilizar uno u otro, estn bien expresados all o se pueden ampliar
con abundante literatura especializada sobre el tema64. En nuestro caso slo queremos
recalcar la importancia que tiene caer en los sesgos de los investigadores-evaluadores y
en el sesgo que introduce las expectativas de todo proceso evaluador, hacia la
declaracin de xito del proyecto. Pero tambin deseamos comentar de forma breve tres
grupos de herramientas cuantitativas que pueden ser tiles en la aplicacin a la

63

Vase NORAD (1997:93); Casley y Kumar (1990b:81-102); o cualquier manual bsico de


estadstica.

64

Por ejemplo, Sierra Bravo (1994) o Cohen y Franco (1993) para una exposicin introductoria. Para
anlisis ms detallados, con enfoque evaluativo: Rossi y Freeman (1989); Morris et al. (1987a);
Fitz-Gibon y MORRIS (1987b). Un anlisis muy completo de las tcnicas cualitativas se encuentra
en Valls (1997:142-338). La bibliografa sobre el tema recopilada por este autor es exhaustiva.
Quiz la presentacin de Casley y Kumar (1990 a y b) sea una de las ms completas, teniendo la
ventaja de ser una orientacin especfica sobre los proyectos de desarrollo y cooperacin, que si
bien centradas en su versin oficial o gubernamental- creemos que es fcilmente extrapolable a la
dinmica de las ONGD. La buena presentacin especfica de las tcnicas cualitativas se encuentra
en el segundo volumen, captulos 2-5, pp. 11-80 y las cuantitativas en los captulos 6-9, pp.81-154.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

205

evaluacin de proyectos: las variantes del Anlisis Coste Benenficio (ACB), las
encuestas y las tcnicas estadsticas multivariantes.
Hay un grupo de herramientas econmico-financieras que siempre aparecen en los
escritos de evaluacin de proyectos y programas sociales y son la "familia" del Anlisis
Coste-Beneficio (ACB). Aunque se desarrollarn tambin en el siguiente captulo,
creemos conveniente y pedaggico hacer ahora una presentacin breve de ellas, para
profundizarlas ms adelante.
a) El Anlisis Coste-Beneficio.
Es una herramienta generalmente utilizada en poltica econmica, por la que tratamos
de comparar los costes y los beneficios obtenidos en un proyecto o inversin a realizar.
Para comparar con rigor, todos ellos deben ser reducidos a unidades homogneas,
normalmente las monetarias.
Cuando los productos que vamos a utilizar los encontramos en el mercado, el precio
monetario ser sencillo de determinar. Cuando no exista mercado, se utilizarn los
"precios sombra" o precios subrogados, que tratan de estimar artificialmente el precio
de ese bien fuera de mercado.
Como sealan Fernndez Daz y otros (1989:181), las fases en la aplicacin del ACB
son:
"1.Enumeracin de los costes y beneficios que han de ser incluidos.
2.Evaluacin de dichos costes y beneficios en trminos monetarios.
3.Actualizacin de las corrientes de beneficios y costes mediante la seleccin
de una tasa social de descuento.
4. Correcciones por razn de riesgo o incertidumbre.
5.Introduccin de las restricciones que se consideren pertinentes (distributivas,
presupuestarias...).
6.Utilizacin de un criterio de inversin para elegir la alternativa ms
eficiente".

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

206

Vemos que esta herramienta puede ser til en ciertos casos, sobre todo para proyectos
muy financieros o de microcrditos. Pero la mayor dificultad es que se mueve en un
mundo prximo a la libre competencia. La introduccin de la incertidumbre, la falta de
informacin o su uso privilegiado, la no libertad de concurrencia, etc. sern supuestos
ms cercanos a la realidad de las economas del desarrollo que los relativos a los
mercados de libre competencia.
Por otra parte, la determinacin de la tasa social de descuento, bien por la preferencia
de la sociedad por los beneficios actuales (preferencia temporal social), bien por el
rendimiento perdido en el proyecto sacrificado como coste de oportunidad (tasa de
rendimiento interno), puede ser orientativa, pero no est exenta de dificultades prcticas
que se maximizan cuando pensamos en el tipo de proyecto que suelen realizar las
ONGD65.
En notacin matemtica, el ACB no es sino:
BSN = Bt (1+i)-t - Ct(1+i)-t
siendo: BSN = Beneficio Social Neto.
Bt = Beneficios para el periodo t.
Ct= Costes para el periodo t.
i = tasa social de descuento.

65

En Antoanzas et al. (1998) y Pinto (1998) pueden encontrarse comentarios sugerentes sobre la
problemtica de la tasa de descuento para proyectos sanitarios. Dos de sus aportaciones que nos
parecen relevantes son: estandarizar la tasa de descuento (por ejemplo a nivel europeo) en torno al
4-5%, por ser la media de la deuda pblica viva de los ltimos aos, y que sea el Ministerio de
Economa y Hacienda quien pueda irla facilitando a lo largo del tiempo. La otra es la
consideracin del ao de vida ajustado por calidad (AVAC) para determinar el valor de la salud
en proyectos que sean evaluados con Anlisis Coste Utilidad (ACU). Este sofistica la medicin
de la salud ponderando los aos ganados gracias a la realizacin del proyecto, con un coeficiente
que refleja la calidad de vida: el AVAC (o QALY en la versin inglesa).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

207

La metodologa del MAE (1998:49) cree que el ACB puede ser pertinente en
evaluaciones de proyectos que se hayan formulado con esta herramienta, para comparar
rentabilidades econmico-financieras, o en grandes proyectos de infraestructuras. La
versin revisada MAE (2001:81-106) dedic a esta tcnica un extenso desarrollo y
bibliografa complementaria, comentando su uso en la evaluacin realizada en Guinea
ecuatorial para el sector del cacao MAE (1998). No conocemos ningn otro caso en que
haya sido aplicado.
b) El Anlisis Coste-Efectividad y Coste -Utilidad.
Cuando no sea posible determinar de forma rigurosa los flujos intervinientes en el
proyecto en trminos homogneos y monetarios, es decir, cuando el escenario
econmico est muy alejado de los supuestos de la competencia perfecta, podremos
utilizar las variantes de coste-efectividad (ACE) y coste-utilidad (ACU). Estos son
enfoques que ya aumentan la dimensin cualitativa de la investigacin.
El anlisis coste-efectividad permite comparar el valor de un mismo producto en varias
intervenciones, utilizando unidades naturales en vez de monetarias. El MAE (1998:50)
lo recomienda para proyectos piloto y ver si luego es oportuno reproducirlo en una
escala superior, o para determinar las causas que lo han hecho eficiente en distintos
pases en los que se haya llevado a cabo la accin similar.
El anlisis coste-utilidad, trata de ordenar las preferencias y resultados del proyecto no
en escalas numricas, sino en jerarquas de utilidad. Compara utilidades reportadas o
reveladas en vez de unidades monetarias o naturales. El MAE lo recomienda para
proyectos de asistencia tcnica o para intervenciones de bajo presupuesto, lo que le
hacen ms cercano a los usos y costumbres de los proyectos de las ONGD66.
En resumen, la utilizacin de las herramientas de la familia del anlisis coste-beneficio:

66

MAE (1998:50). Sus limitaciones pueden encontrarse sintetizadas en Pinto (1998).

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

208

"presenta las dificultades propias de la medicin de determinados costes y


beneficios (tales como los intangibles, los que afectan a bienes colectivos, etc.)
y de aquellos otros inherentes a la asignacin de precios apropiados para los
bienes y servicios para los que no existe mercado o para los que aun
existiendo, no se cumpla el principio de precio igual a coste marginal social, a
causa de las imperfecciones del mercado, de la presencia de impuestos y
controles o de otras causas" (Fernndez Daz et al. 1989:181).

Nos parece, pues, que son herramientas ms propias de grandes proyectos de poltica
econmica o de programas de organismos multilaterales de desarrollo que de ONGD.
Esto no descarta que ofrezcan informacin til para determinados proyectos concretos y
que las ONGD puedan beneficiarse de ella, tanto en su programacin como en la
evaluacin de algunos de sus proyectos67.
c) La encuesta.
Otra herramienta que tiene la posibilidad de uso cuantitativo aunque tambin
cualitativo- es la encuesta. Los cuestionarios cerrados y de contenido cuantitativo
permitirn medir resultados y cuantificar la realidad evaluada. Cuando los items
propuestos tengan escalas cualitativas o sean preguntas abiertas, revelarn significados
sobre esa misma realidad. As pues, las encuestas tienen la ventaja de ofrecer este doble
tratamiento de la informacin, pero no deben desdearse sus muchos problemas, sesgos
y exigencias cientficas, para poder extraer de ellas conclusiones pertinentes.
Una encuesta es mucho ms que el simple listado de preguntas sugerentes acerca de la
realidad que se investiga, hechas a un grupo cualquiera de poblacin -llamado muestra-,
con el fin de obtener cantidades que a menudo no se saben interpretar, tras pasar por un
programa informtico. Los rigores de esta herramienta han sido bien descritos en obras
especializadas68. Queremos resaltar aqu que los resultados arrojados por una encuesta
sern siempre de carcter esttico, es decir, proporcionan el estado de una realidad

67

Otra bibliografa sobre el ACB aplicada en el contexto de la economa del desarrollo puede verse
en Albi y Rodrguez Ondarza (1988); Chakravarty (1993); o Kanbur (1993); y centrada en la
problemtica de la evaluacin Rossi y Freeman (1989:390-413); Weiss (1998:244-249).

68

Por ejemplo, Sierra Bravo (1994:304-349); Kasley y Kumar (1990b:57-154). Un anlisis profundo
del tratamiento estadstico que puede darse a los datos cualitativos generados en las encuestas se
encuentra en Ruiz-Maya et al. (1995).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

209

acotada por el investigador-evaluador, en un momento dado del tiempo, no debiendo


extrapolarse estos resultados a otras situaciones diacrnicas.
d) Las tcnicas estadsticas de anlisis multivariante.
Las tcnicas del anlisis multivariante permiten analizar de forma global las mutuas
interacciones entre varias variables, con datos obtenidos a partir de una muestra, o bien
de toda la poblacin que interesa estudiar69.
Algunas de las tcnicas ms usadas son:

El anlisis de la varianza. Ideado por Fisher en 1923, permite contrastar el


grado de homogeneidad entre varias poblaciones estudiadas, o la variacin que
se produce entre las medias de cada grupo elegido, siempre que su desviacin
tpica sea la misma. Es decir, las muestras deben distribuirse N(,) y todas con
la misma . La variabilidad de los resultados obtenidos en la recopilacin de
datos de las distintas muestras, puede estar motivada por una causa conocida,
por otros factores no contemplados en el estudio (que pueden ser conocidos o
desconocidos, controlables o no controlables por el evaluador), y/o por el azar.
El error cometido al no poder contemplar todos los factores influyentes en la
realidad que evaluamos, se denomina error experimental. Si la variacin
producida en la realidad por el factor considerado, es mayor que la del error
experimental, podremos afirmar que la hiptesis formulada como explicacin
de la realidad no debe rechazarse y que el factor influye decisivamente en dicha
realidad. Para usar esta tcnica propiamente, deben cumplirse las siguientes
hiptesis: normalidad de las muestras, igualdad de varianzas, independencia de
las muestras, linealidad o aditividad de las causas o factores, y los errores
experimentales son independientes y se distribuyen segn N(0,). En el fondo,

69

Pueden ampliarse estas tcnicas consultando manuales no bsicos de estadstica, como Uriel y
Muiz (1988); Pea (1994); Webster (1996); Hildebrand y Lyman (1997) o monografas como las
de Bray y Maxwell (1985) o Hair et al. (1999) para profundizar en ellas. Tambin es iluminador
consultar los manuales de los programas estadsticos que permiten estos anlisis como SPSS o
STATGRAPHICS, por ejemplo: Puente (1995); Visauta (1997,1998). En los manuales de
evaluacin de Rossi y Freeman (1989:271-374) y de Weiss (1998:215-234) tambin hay extensos
desarrollos sobre el tema.

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

210

se supone que todas las poblaciones estudiadas poseen la misma varianza y,


agrupando las posibles diferencias entre poblaciones en torno a su media o
tendencia central y no en su dispersin, podemos detectar si las variaciones
entre las poblaciones consideradas se deben a una o ms causas conocidas
(factor), a causas desconocidas (error experimental) o al azar70.

El anlisis factorial. Esta tcnica intenta estudiar las interacciones de varias


variables, reducindolas a un nmero menor. Sus diversos mtodos utilizan
esencialmente el lgebra lineal para tratar toda la informacin disponible, esto
es, tratan de manera simultnea gran cantidad de datos. El evaluador no tiene
que decidir qu variables o caractersticas son importantes en el proyecto que
estudia, ya que el anlisis mismo es el que pone de manifiesto qu variables son
redundantes, cules influyen en el fenmeno y cules no aportan apenas
informacin relevante. Los tres tipos de anlisis factorial ms utilizados son: el
anlisis de componentes principales; diseado para utilizarse con variables
mensurables o de escala mtrica71, se centra en las matrices multivariables de
varianzas y covarianzas, con la finalidad de descubrir las variables implcitas
(componentes principales) que tienen un mayor poder explicativo en la
variacin total del sistema, lo que permite reducir el nmero de variables,
indicando cules pueden ser omitidas porque se pierde poca informacin bsica.
El anlisis factorial de correspondencias, que estudia tablas de contingencia o
de frecuencias. Y el anlisis de correspondencias mltiples, que se basa en
tablas que recogen ficheros de encuestas o conjuntos de datos de ms de dos
variables, esto es, respuestas a distintas variables nominales o disyuntivas
completas (si/no).

70

Como vemos, la tcnica es compleja, por lo que autores competentes como Casley y Kumar
(1998b:145-149) la desaconsejan por costosa, difcil y poco relevante en la evaluacin de
proyectos de cooperacin.

71

Quiz convenga aqu recordar que los cuatro tipos fundamentales de escalas en los diseos de
investigacin son nominal, ordinal, de intervalo, y de razn o proporcin (estas dos ltimas, son
mtricas). Puede ampliarse este aspecto en Sierra Bravo (1994:245-249).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

211

El anlisis cluster. Al igual que el anlisis factorial, esta tcnica quiere


identificar grupos de variables relacionadas. El anlisis cluster utiliza
algoritmos para buscar grupos similares de individuos o variables, que se van
agrupando en conglomerados. Dada una muestra de individuos, de cada uno de
los cuales se dispone de una serie de observaciones, este anlisis sirve para
clasificarlos en grupos lo ms homogneos posible, en funcin de las variables
observadas. As, los componentes del factor clasificados en el mismo grupo,
sern tan similares como sea posible. Antes de iniciar un anlisis cluster deben
tomarse tres decisiones que determinan la validez de su uso: seleccionar las
variables relevantes para identificar los grupos; elegir el grado de proximidad
entre los individuos que se desea; y elegir el criterio de agrupacin de los
individuos en los conglomerados.

El anlisis discriminante. Es una tcnica de clasificacin y asignacin de un


individuo o hecho a un grupo, conocidas sus caractersticas. En el anlisis
discriminante se dispone de una serie de grupos definidos a priori, con una
serie de observaciones para cada uno, referidas a un conjunto de variables
relevantes. Basados en esta informacin, se calcula una funcin discriminante
que permite hacer predicciones. Su objetivo es, pues, determinar si en funcin
de las variables originales disponibles, los grupos quedan suficientemente
discriminados. Esto podra ser una explicacin al fenmeno de las diferencias
entre los grupos. Se trata entonces de analizar cules son las variables que
contribuyen ms a discriminar entre los grupos que se han formado. Para ello se
reducen las variables que mejor discriminan entre la poblacin o muestra
elegida, a unas pocas nuevas variables, denominadas variables cannicas. Estas
son una combinacin lineal de las originales y vienen expresadas por la funcin
discriminante. La variable dependiente de dicha funcin representa la
pertenencia a un grupo. Las combinaciones lineales de variables independientes
de la funcin discriminante, denominadas predictores, sirven de base para
clasificar a los individuos entre los grupos.

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

212

e) Otras tcnicas cuantitativas.

La regresin simple, mltiple y curvilnea. Son tcnicas que tratan de


explicar el comportamiento de una variable en funcin de otras. Las ms
conocidas son la regresin lineal simple, la regresin lineal mltiple y la
regresin curvilnea. Estas tcnicas ofrecen dos parmetros que se han
popularizado mucho, sobre todo entre los economistas: el coeficiente de
correlacin (normalmente anotado como r) y el coeficiente de determinacin
(o R2). El primero de ellos nos muestra si dos o ms variables tienen relacin
entre s, es decir, si se influyen mutuamente de forma directa (r cercano a 1) o
de forma inversa (r cercano a 1), o bien si no se influyen (r cercano a 0). El
coeficiente de determinacin cuantifica la fortaleza o debilidad de esa mutua
influencia. Su uso exige que las variables estn normalmente distribuidas o, en
caso contrario, normalizarlas previamente.

Adems de las expuestas hasta aqu, el evaluador puede disponer de otras tcnicas
cuantitativas como las usadas en econometra: series temporales, datos de panel,
ecuaciones simultneas, espacio de estados, modelos economtricos predictivos
(autorregresivos, AR; de Media Mvil, MA; y la integracin de ambos, modelos
ARIMA), etc. Su complejidad las hacen ser herramientas a utilizar por especialistas, y
su exposicin queda ya fuera de nuestros objetivos72.
5.3.

LAS HERRAMIENTAS CUALITATIVAS Y PARTICIPATIVAS.

Otra forma de obtener y analizar la informacin necesaria para el ejercicio evaluador es


el uso de tcnicas cualitativas. La variedad de estas tcnicas es amplia, destacando el
anlisis documental, las entrevistas en profundidad, la observacin directa o
participante, las tcnicas participativas o las tcnicas proyectivas propias del campo de
la psicologa. Aqu vamos a considerar especialmente tres: las entrevistas, la
observacin directa o participante y las tcnicas participativas. Remitimos a las ya
citadas obras de Valls (1997), Bericat (1999) o las de Patton (1987b y 1990), para las

72

Para acercarse a su conocimiento pueden consultarse las obras de Uriel et al.(1990); Pulido
(1993); Hernndez Alonso (1995); Gujarati (1997); Novales (1997); Snchez Gonzlez (1999).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

213

dems, teniendo en cuenta que en el prximo captulo sobre las metodologas de


evaluacin seguir presente esta cuestin, y que no es el objetivo de esta investigacin
su anlisis crtico profundo, sino que se pretende una simple presentacin de las ms
usadas en evaluacin de proyectos de desarrollo, a fin de que puedan ser incorporadas
en los diseos de evaluacin.
a) Las entrevistas.
Las entrevistas suelen orientarse a la obtencin de la informacin directa o primaria y/o
realizar preguntas abiertas, ms o menos estructuradas previamente, a los sujetos ms
relevantes de la ejecucin del proyecto.
Las entrevistas permiten captar adems de la informacin verbal, la no verbal, que a
menudo transmite muchos matices y detalles que sern muy interesantes para el
evaluador. Habr que generar un clima de mutua confianza, de empata y aceptacin
incondicional, y emplear las tcnicas de entrevistas con buena profesionalidad.
La entrevista proporciona conocimiento cognitivo (datos objetivos de realidad) y
tambin niveles de satisfaccin con el proyecto o actitudes desarrolladas durante su
ejecucin, dentro de los individuos y la comunidad beneficiaria. La tcnica es, pues,
insustituible en proyectos que pretendan, por ejemplo, potenciar el desarrollo
comunitario y la corresponsabilidad dentro de una poblacin meta (u objetivo)
determinada73.
Un uso muy comn de las entrevistas es el anlisis exploratorio del proyecto y sus
distintos agentes (administracin financiadora, personal de la ONGD, contraparte local
y la comunidad beneficiada), para determinar sus diversos intereses, pre-comprensiones
de la realidad y las variables ms relevantes que deben estudiarse, para elegir con ello el
diseo de evaluacin ms acorde con la realidad presentada.

73

Sobre las entrevistas como tcnicas cualitativas, sean individuales o en grupo, amplan
informacin Casley y Kumar (1990b:11-42); VALLS (1997:177-234).

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

214

b) La observacin participante.
Esta tcnica trata de introducir en la dinmica evaluadora un papel activo por parte del
evaluador. Este, viviendo directamente en el escenario del proyecto, observa realidades
y personas, analiza documentos y reacciones, o entrevista a personajes heterogneos. Es
decir, no se queda en la simple observacin pasiva de hechos que transmite
descriptivamente en un informe final, sino que trata de dejarse afectar por la realidad
que estudia a fin de comprender de manera ms profunda y autntica todas las fuerzas y
dinmicas humanas que el proyecto ha despertado en la comunidad beneficiada.
El observador debe guardar un equilibrio entre la autoimplicacin en el proceso
evaluador que quiere descubrir aprendizajes y la observacin atenta de hechos,
reacciones, diferencias culturales, de gnero o cualquier dato que revele claves
interpretativas importantes para la comunidad meta.
Es una tcnica engaosa, pues tiene un planteamiento sencillo de fines, pero es muy
exigente en su aplicacin prctica y exige numerosas actitudes y aptitudes en los
evaluadores. No exenta de peligros, hay que reconocer que es muy utilizada74. Pero debe
diferenciarse bien de la simple visita al terreno para recoger informacin adicional a la
ya disponible o para realizar algunas entrevistas de carcter exploratorio o verificador
de hiptesis.
c) Las tcnicas participativas.
Los mtodos participativos tambin son llamados de "cuarta generacin", segn Guba y
Lincoln (1989)75. Son muy cercanos al estilo de trabajo de las ONGD, aunque el CAD
parece algo receloso de ellos por su predominio de la vertiente subjetiva76. Como

74

Los peligros pueden consultarse en Valls (1997:141-175), que recoge la aportacin de otros
muchos autores. Que es muy utilizada puede quedar mostrado en los informes de evaluacin
elaborados por el MAE en sus ejercicios evaluativos que ya han sido citados. Todos ellos
confiesan haberla usado dentro de la explicacin metodolgica empleada.

75

Sobre la investigacin participativa puede consultarse la obra de Whyte (1991) que recoge varios
estudios de caso aplicados al sector industrial y agrcola.

76

CAD (1997a). Citado en el Manual del MAE (1998:93).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

215

veremos detenidamente en prximo captulo, hay dos muy usados para los diagnsticos
que realiza el Banco Mundial: el Diagnstico Rural Rpido (Rapid Rural Appraisal) y
el Diagnstico Rural Participativo (Participatory Rural Appraisal)77. Otras tcnicas
participativas son el Brainstorming (puede traducirse por lluvia o tormenta de ideas)
o creacin espontnea de ideas, en una primera etapa, para luego pasar a otra de
jerarquizacin y anlisis detenido de las ideas surgidas por el grupo reducido (entre 8 y
12 miembros) que particip; las discusiones y dinmicas de grupo, que promueven la
participacin de los beneficiarios a fin de que logren detectar puntos fuertes y dbiles en
la marcha o culminacin del proyecto; o el anlisis de caso, primero individual y
posteriormente con una discusin en grupo, muy utilizada como tcnica pedaggica en
las escuelas de negocios.
Los principales aportes que ofrecen estos enfoques son:

Cambian el centro del marco de anlisis. Del realce exagerado del anlisis
externo, que quiere que sea totalmente "independiente", se pasa a centrar el
anlisis en los propios beneficiarios, a la comunidad que ha ejecutado el
proyecto y que ser la que lo goce (o padezca). El anlisis cualitativo y
participativo quiere recoger los elementos culturales propios de cada
comunidad e intentar apreciar los resultados desde ellos mismos, desde sus
valores, intereses, concepciones espacio-temporales, etc.

Los instrumentos pasan de ser encuestas muy estructuradas y cerradas, al uso y


predominio de conversaciones informales, ms abiertas, en las que los nmeros
dejan paso a diagramas, mapas, organigramas de relaciones, etc. Lo cualitativo
se centra mejor en los procesos que dan resultados, aunque no sepan precisar
"cunto" mejor.

Los agentes involucrados en la evaluacin son ms grupos que individuos


aislados escogidos. En los grupos se pueden entremezclar mejor diversos
niveles de formacin, involucracin en el proyecto o gnero. Hay que tener

77

Vase Chambers (1980, 1994) y Mayoux y Chambers (2005).

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

216

conocimientos suficientes de la psicologa y sociologa de grupos como para


realizar la tarea evaluadora con suficiente eficacia y rigor, aunque desde este
lado cualitativo, no cuantitativo.

En cuanto a las herramientas, se usan ms las comparaciones que las


mediciones, las relaciones que las cuantificaciones. El hecho de jerarquizar
ser una tarea permanente en esta bsqueda de relaciones pertinentes, ms que
un anlisis "cientfico" causa-efecto. La distincin entre causa y consecuencia
es una ayuda til en anlisis racional que exige la evaluacin.

Las relaciones humanas se hacen ms cordiales en este proceso. Se parte de la


mutua confianza (as como de la mutua necesidad) para alcanzar el objetivo
evaluador. La corresponsabilidad ya introduce una buena carga de inters y
motivacin, tan importante a la hora de difundir los resultados de la evaluacin
y poner en prctica las recomendaciones. Se ha pasado, de alguna manera, del
control basado en el poder, a una mentalidad cooperativa, de socio a socio, en
la que las tareas de capacitacin permanente y elevacin de los niveles de
autoestima, son frutos incorporados al propio proceso evaluador.

Terminamos esta seccin apoyando los mtodos cualitativos y participativos pero


convencidos de que la medicin a travs de los mtodos cuantitativos aportan una
objetividad que a menudo se echa de menos en los informes de evaluacin.
desarrollaremos ms adelante.
6. EL CICLO DE LA EVALUACIN.
Nuestra intencin en este epgrafe es configurar una sntesis visual que adapta lo que
ofrece la metodologa del MAE (1998:195-217) y del MAEC (2007:35-38) para la
ayuda oficial, al mbito ms propio de las ONGD espaolas. Las preguntas gua del
ciclo de evaluacin sern: por qu impulsar las evaluaciones?, cmo identificar las
mejores evaluaciones a realizar?, cunto gasto podemos dedicar? y cmo elaborar
los trminos de referencia con xito?
Una visin comprensiva y grfica de todo el ciclo se ofrece en el Cuadro 4.7.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

6.1.

217

ETAPA DE INICIATIVA Y SELECCIN.

El ciclo de la evaluacin comienza con la etapa de la iniciativa y seleccin del tipo de


evaluacin a realizar. En esta fase nos podemos encontrar con dos opciones.
Si el proyecto es financiado totalmente por la ONGD, las relaciones se simplifican, pues
el acuerdo de evaluar y cmo hacerlo, ocurre entre sta y la contraparte beneficiaria. Las
personas que llevarn a cabo la primera fase del ciclo sern el identificador y
formulador del proyecto (caso de que sean distintos), la Comisin de evaluaciones de la
propia ONGD -organismo encargado de coordinar todo el aspecto evaluador, que se
propone aqu como necesario y de nueva creacin en todas las ONGD-, y el
representante de la contraparte local y de los beneficiarios, caso de que tampoco
coincidan.
Si el proyecto es cofinanciado, habr que aadir a los representantes del organismo
cofinanciador en las convocatorias estatales; el organismo autonmico o local para los
proyectos de ayuda descentralizada; la Comisin evaluadora de la Direccin General de
Desarrollo y del Servicio Comn de Relaciones Exteriores (SCR) para los proyectos de
la Unin Euroopea.; los representantes pertinentes de otros organismos cofinanciadores
multilaterales como el Banco Mundial, PNUD, o los bancos regionales de desarrollo;
otras ONGD o redes de ellas que participen de alguna manera en el proyecto a evaluar.

218

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

Cuadro 4.7. EL Ciclo de la Evaluacin.


ETAPAS
1. INICIATIVA Y
SELECCIN.

FASES
1. Iniciativa.

PERSONAS
IMPLICADAS
Identificador y
formulador del proyecto.

Gua para evaluadores.


Plan de evaluaciones.

2. Decisin de evaluar.
3. Difusin de la
evaluacin.

DOCUMENTOS

Comisin de
evaluaciones.

Informes de seguimiento.

Beneficiarios y
responsable local del
proyecto.
Representante del
organismo cofinanciador.
2. EJECUCIN.

4. Acuerdo con la
contraparte y
preparacin de la
informacin.

Formulador del proyecto.


Comisin de
evaluaciones.

5. Elaboracin de los Beneficiarios.


trminos de referencia.
6. Formacin del
equipo evaluador.

Trminos de referencia.

Equipo evaluador.

7. Diseo y
aprobacin del plan de
trabajo.

Plan de trabajo.

8. Trabajo de campo.
Recogida y anlisis de
la informacin.

Informe preliminar.
Informe final.

3.
9. Difusin de las
RETROALIMENTACIN. enseanzas.

Encargado del proyecto.

Sntesis de conclusiones
y recomendaciones.

Coordinador de rea.
10. Ejecucin de las
recomendaciones.

Coordinador de
proyectos.
Comit ejecutivo.
Beneficiarios.

Fuente: Elaboracin propia.

Informes por sectores,


temas, pases...

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

219

Decidida la evaluacin, deber difundirse la metodologa a emplear, el alcance y los


medios con que se contar. Para esta etapa ya se cuentan con las guas de evaluadores,
el plan de evaluaciones de la propia ONGD y los informes de seguimiento que se han
ido elaborando a lo largo de la ejecucin del proyecto.
El ltimo paso en la fase inicial y de seleccin ser verificar si disponemos de recursos
para poder llevar a cabo la evaluacin, sean financieros, humanos o institucionales. Si
no los tenemos ni podemos conseguirlos, finaliza el ciclo pues habr que aplazar o
abandonar la ejecucin de la evaluacin. Si la respuesta es afirmativa, pasaremos a la
fase dos, de ejecucin propia de la evaluacin. La Figura 4.1. ofrece una panormica de
esta primera fase.
6.2.

ETAPA DE EJECUCIN.

El primer paso en la esta segunda fase es lograr el acuerdo entre los implicados en la
ejecucin y preparar la informacin preliminar disponible. La fuente de esta
informacin nos la proporcionar bsicamente el formulador del proyecto a travs del
Enfoque del Marco Lgico o el enfoque adoptado para formular el proyecto a evaluar.
La Comisin de evaluaciones, coordinar esta accin con el Plan de evaluaciones
concebido y aportar la informacin adicional que fuera necesaria (datos
macroeconmicos, agregados medioambientales, etc.).
La Comisin de evaluaciones, a su vez, con la potencial ayuda del formulador del
proyecto, preparar los trminos de referencia de la evaluacin y formar el equipo
evaluador. Recordemos que ste debe ser equilibrado en gnero y capacitaciones, y que
puede ser interno, externo o mixto segn haya miembros de la propia ONGD en l, o
no. Siempre deben estar bien representados los beneficiarios que, como vemos,
intervienen en todas las fases del ciclo.

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

220

Figura 4.1. La decisin de evaluar.

DGPOLDE

Contraparte local

Beneficiarios

AECID

Comisin de
evaluaciones.

Administracin
autonmica o
municipal.

Org. Cofinanciador
-

U.E.

B.M.

PNUD

Otras ONGD

Identificador y
formulador del
proyecto.

DECISIN DE
EVALUAR.

Disponibilidad de
recursos?

NO

SI

FIN

FASE DE
EJECUCIN

Fuente: Elaboracin propia.

Establecidos los trminos de referencia, se forma el equipo que comienza su trabajo


diseando su plan de trabajo. Aprobado por la Comisin de evaluaciones, se lleva a la
prctica dicho plan, en su fase de estudios de gabinete, trabajo de campo sobre el
terreno y anlisis de la informacin final de nuevo en el pas de origen. Se publican aqu
tanto el plan de trabajo, como los informes preliminares que se contrastan con los
beneficiarios sobre el terreno, las conclusiones preliminares, y por ltimo, el informe
final.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

6.3.

221

ETAPA DE RETROALIMENTACIN.

Por ltimo, en la fase de retroalimentacin, se difunden los resultados a todos los


agentes que han intervenido en la decisin de evaluar. La Comisin de evaluaciones
publicar resmenes del informe final con las conclusiones y recomendaciones
obtenidas, asegurndose que son asumidas por el formulador del proyecto y su equipo,
por el coordinador del rea geogrfica en la que se realiz, por el coordinador general de
proyectos y dems staff "superior", como el propio Comit ejecutivo o directivo de la
Organizacin. En estos niveles "altos" son recomendables la elaboracin y difusin de
sntesis o colecciones de evaluaciones por temas, enfoques, tipos de proyectos o pas,
entre otras, para seguir mejorando continuamente en la accin de desarrollo que realiza
la ONGD.
Nunca olvidemos que los beneficiarios tendrn siempre acceso al informe final
completo, y ser bueno poder brindarles los medios necesarios para llevar a cabo algn
tipo de seguimiento del proyecto o conjunto de proyectos realizados en la zona, as
como los medios que necesiten para llevar a cabo las recomendaciones de la evaluacin
referentes a ellos, si fuera el caso78.
7. CONSECUENCIAS PARA LAS ONGD DERIVADAS
IMPLANTACIN DE UN SISTEMA DE EVALUACIN.

DE

LA

Este apartado quiere ofrecer reflexiones sobre las consecuencias que puede tener, para
una ONGD, tratar de instaurar con seriedad y constancia un sistema de evaluacin
operativo y eficaz79. Slo la ingenuidad o la ignorancia pueden suponer que la tarea de
implementar un sistema de evaluacin en una organizacin es tarea sencilla. Para las
ONGD, como para el entorno de la cooperacin en general, la escasa cultura de
evaluacin contrasta con su creciente necesidad. Falta ponerla en prctica, con tesn y
conviccin, sabiendo que los frutos de la evaluacin justifican sus costes y esfuerzos,
pero que pueden llegar a medio plazo.

78

Vanse Feinstein (2000), Larr (2004), World Bank (2004) y MAEC (2007:93-104).

79

Este apartado fue tambin desarrollado en Larr (2002).

222

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

Se han estructurado las consecuencias en torno a cuatro aspectos: las consecuencias que
tendr la evaluacin sobre la identidad de las ONGD; los cambios organizativos que
supone la tarea de evaluar, tanto en el plan estratgico como en el operacional de la
entidad; las modificaciones presupuestarias que la evaluacin lleva consigo y, en fin, los
cambios sobre los recursos humanos y personal integrante de la ONGD.
7.1.

CAMBIOS SOBRE LA IDENTIDAD DE LAS ONGD.

Uno de los frutos ms valiosos, pero tambin amenazantes, de la evaluacin de sus


intervenciones puede darse en el cuestionamiento, crisis, superacin y fortalecimiento
de la propia identidad organizativa de la ONGD.
Al evaluar, se van teniendo datos ms o menos empricos, sobre la eficacia y eficiencia
de las intervenciones que la ONGD disea o apoya. Conoce el grado de pertinencia de
sus proyectos y programas, sus impactos y la viabilidad posterior de sus acciones. Este
conjunto de datos debe permitirle entrar en un proceso continuo de reflexin crtica
sobre su misin, visin y estrategia.
Deca el latino Prudencio que para un barco sin rumbo, todos los vientos le son
contrarios. Pues bien, el rumbo del desarrollo humano de comunidades y pases est
sometido a un conjunto numeroso de vientos variables que la mayora de las veces
superan toda capacidad de diagnstico y previsin. La crisis de la poltica de
cooperacin para el desarrollo tiene mucho que ver con la escasez de resultados. Las
ONGD con ms tradicin e historia en las tareas de la cooperacin conocen bien las
limitaciones de sus esfuerzos generosos. Pues precisamente en los momentos de crisis
es cuando se hace ms urgente la claridad sobre qu problemas se van a afrontar
(misin), cmo se va a poder proceder para solucionarlos o atenuarlos (visin) y cmo
va a hacerse (estrategia).
Una de las principales dificultades que presenta la misin de las ONGD es el alto nivel
de abstraccin con que sta es definida. Ya hemos hecho referencia a trminos muy
generales que suelen aparecer en las autodefiniciones de la identidad de muchas ONGD:
luchar para erradicar la pobreza en el mundo, fortalecer la sociedad civil o promover la
solidaridad y el desarrollo de los pueblos. La parte positiva del autoconcepto de muchas

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

223

ONGD es que se basa en valores, por tanto no se confunde la misin o identidad con
una accin o problema concreto. Pero la parte peligrosa es que si los valores no se
concretan en actuaciones eficientes, se puede caer en voluntarismo ingenuo cuando no
en acciones que pueden agravar todava ms los conflictos que se desean solucionar80.
Fowler (1986) ha denunciado que una de las debilidades de los sistemas actuales que
existen para evaluar el rendimiento de las ONGD es la separacin asumida entre los
proyectos y las caractersticas internas de la propia organizacin, como si tuvieran poco
o nada que ver entre s81.
Sanz Corella (1998) propone tres reas de capacidades para construir un marco
evaluativo integral que incluya la propia identidad de la ONGD. (Cuadro 4.8.)

80

Es pertinente y plstica la expresin no resolver un lo con otro lo atribuida a proyectos de


ONGD mal diseados. Gndara sostiene, con razn experimentada, que las mejores soluciones
las da quien est ms cerca de las necesidades apoyando la idea de que las intervenciones de las
ONGD deben estar diseadas en permanente dilogo con los socios beneficiarios o la
contraparte. Vase Gndara (1996:10). Ms radical resulta la denuncia recogida por Sanz Corella
(1999:8): la ayuda puede contribuir a la institucionalizacin de la violencia el llamado lado
oscuro del humanitarismo- por medio de la liberacin de recursos locales que quedan disponibles
para perpetuar la guerra, atrayendo el saqueo, facilitando el aislamiento de ciertos grupos o
socavando estrategias locales. Waal (1997) denuncia la afluencia masiva de ayuda a Etiopa tras
la campaa de Band-Aid, que contribuy ms a la supervivencia del gobierno etope, cuyo ejrcito
era la razn principal del hambre, al desviarse la ayuda alimentaria a las milicias gubernamentales.

81

Biekart (1999:213), tambin se queja de que las escasas evaluaciones de proyectos de ONGD
estn centradas en las actuaciones de los beneficiarios y ejecutores y que pocas veces el sujeto de
la evaluacin sea la propia ONGD del Norte. Propone que la evaluacin recoja el rendimiento de
la ONGD medido a travs de la atencin a todos los intereses de los mltiples actores implicados
en el proyecto, mtodo denominado auditora social.

224

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

Cuadro 4.8. Tres reas de capacidad para evaluar el rendimiento de las ONGD.
Organizacin interna.
Ser

Identidad/Propsito: marco conceptual que


permite a una organizacin entender el lugar que
ocupa en el mundo.
Misin/Mandato:

la

razn

de

ser

de

una

organizacin.
Visin: opinin de la organizacin de cmo querra
que el mundo fuera, su esperanza de la realidad
ser.
Estrategias: dirigen el uso que la organizacin hace
de los recursos disponibles para llevar a cabo su
misin y tener el mayor impacto posible.
Recursos: humanos, fsicos, financieros, sistemas y
estructuras.
Vnculos

Relaciones externas: con los gobiernos, otras


ONGD, lderes de la comunidad, sector privado...

Relacionarse
Programacin

Impacto y efectividad: tanto para la comunidad


receptora de los programas y proyectos, como en el

Hacer

mbito poltico.

Fuente: Sanz Corella (1999:18).

Combinadas estas tres reas de capacidad organizativa, la ONGD dispone de una


herramienta muy valiosa tanto para la autoevaluacin, como para ir integrando dentro
del esquema las aportaciones y recomendaciones que surjan de las sucesivas
evaluaciones de sus proyectos que se vayan llevando a cabo.
En el fondo, mucha de la desconfianza ante las acciones de las ONGD y de las quejas
ante la falta de datos sobre sus resultados, que la evaluacin trata de poner remedio,
afecta -en ltimo trmino- a la propia identidad de la organizacin. Para qu sirven
organizaciones que no ofrecen resultados claros y que utilizan recursos pblicos? En el

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

225

fondo, quines son? quin est detrs de cada institucin? Estas son preguntas sobre
la identidad especfica de las ONGD.
Esta incertidumbre sobre la propia identidad se acenta en el contexto de escasez de
fondos para la cooperacin al desarrollo y de presencia creciente y competitiva de
organizaciones locales del Sur, que acuden directamente a las agencias donantes
solicitando financiacin y prescindiendo del servicio de intermediario de la ONGD
del Norte. La cadena de ayuda se estrecha al eliminar un eslabn, aumenta la eficiencia
y plantea la pregunta sobre el valor aadido real que aporta la institucin del Norte.
Muchas ONGD pueden ver en este aspecto un logro, pues puede ser resultado de sus
propias acciones de colaboracin, fortalecimiento y formacin de organizaciones locales
que han hecho prescindibles ya sus servicios. Nos encontramos con la paradoja que, a
diferencia de la empresa o las organizaciones lucrativas, el mayor xito de una
organizacin de promocin del desarrollo sea su propia extincin y desaparicin, como
resultado de haber cumplido su misin.
Otro aspecto relacionado con la identidad de las ONGD es su especializacin. Del
numeroso abanico de organizaciones espaolas, muchas se dedican a lo mismo,
compitiendo entre s. Una visin racional y econmicamente eficiente del sector
apuntara a procesos de fusiones y especializaciones, en busca de economas de
escala o de diferenciacin de productos. Los estudios realizados sobre eficiencia
comparada entre ONGD espaolas ofrecen como criterio principal de valor
precisamente el tamao de la entidad, excluyendo factores como la confesionalidad,
ideologa o forma jurdica que adopte (Marcuello 1999).
Quiz veamos en adelante un proceso de alianzas y fusiones entre las ONGD
espaolas a medida que vaya madurando el sector, en bsqueda de la eficiencia y la
consolidacin de su propia identidad. La homogeneidad de sus actividades es un factor
facilitador de este proceso que debe buscar unir esfuerzos, distribuir adecuadamente las
responsabilidades y los aportes, de manera que los recursos y fortalezas de cada ONGD
sean aprovechados sumariamente.

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

226

7.2.

CAMBIOS ORGANIZATIVOS.

Adems de cambios en la propia identidad de las ONGD, el sistema de evaluaciones de


las intervenciones tiene consecuencias organizativas para la institucin. Entre otros,
consideramos los efectos sobre la planificacin estratgica de la organizacin, sobre su
plan operacional, y terminaremos esta seccin comentando algunas posibles figuras
organizativas que ayuden a un eficaz desarrollo del sistema evaluativo, como una
comisin de evaluaciones o un departamento que coordine todas las cuestiones
relacionadas con el ciclo de la evaluacin.
a) El plan estratgico.
Vernis et al (1998:71) definen este plan como el esfuerzo disciplinado de producir
decisiones y acciones fundamentales que acaben por definir lo que una organizacin es,
lo que hace y por qu lo hace. Es decir, la organizacin sea lucrativa o no- que tiene
un plan estratgico sabe dar cuenta de los colectivos preferentes a quienes se dirige, qu
servicios presta, cmo lo hace y en qu se diferencia de otras organizaciones
parecidas82.
Un sistema eficiente de evaluacin de las intervenciones proporciona a la ONGD, que lo
lleva a cabo, elementos en forma de datos y razones (cuantitativos y cualitativos) con
los que articular un plan estratgico sobre el que fundamentar sus acciones.
El plan estratgico est en estrecha relacin con la misin concreta de la organizacin
(quines somos y qu sabemos hacer bien?), con el anlisis de las oportunidades,
amenazas, puntos fuertes y dbiles de la organizacin (su matriz DAFO que le permite
responder a dnde estamos y dnde queremos llegar?), y con la insustituible visin que
tiene sobre la realidad del sector sobre el que trabaja (qu tenemos que hacer para
lograr los objetivos que nos proponemos como misin y que justifican nuestra
existencia?).

82

Sobre la direccin estratgica y control en las ONGD, vanse Iribar (1996); Iribar y Martnez
Pereda (1996).

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

227

Todos estos interrogantes son muy pertinentes en el momento histrico actual en el que
se encuentran las ONGD espaolas. Terminado el boom de su creacin, est abierta la
etapa de la profesionalizacin donde la eficacia y calidad de las intervenciones pesan
ms que el asistencialismo y las buenas voluntades solas. La evaluacin ofrece
productos en forma de conocimientos que deben ser utilizados como insumos del plan
estratgico, convirtindolo en un proceso permanente de reflexin y cambio, dirigido a
fortalecer la institucin en el presente y delinear su actuar futuro, con el objetivo de que
pueda responder de forma adecuada a las condiciones tan rpidamente cambiantes como
son las del entorno internacional, en materia de cooperacin al desarrollo.
Durante la dcada de los noventa, muchos pases han sometido a profunda reflexin y
reforma su sistema gubernamental de ayuda al desarrollo (Italia, el Reino Unido, Pases
Bajos o Japn, por ejemplo). Tambin lo han hecho organismos multilaterales como el
Banco Mundial. Todos coinciden en que la cooperacin no termina de ofrecer
resultados satisfactorios y que deben ofrecerse nuevas ideas creativas en este terreno,
adems de dinero, y aumentar los estudios sobre la eficacia de la ayuda. Por otra parte
son crecientes las colaboraciones directas entre organismos multilaterales y gobiernos
centrales con ONGs del Sur. Todas estas seales deben hacer reflexionar sobre el papel
estratgico y el valor aadido que las ONGD del Norte y, por inclusin, las espaolas,
aportan en la cadena de la ayuda. Sin una identidad y estrategia claramente definida y
practicada, muchas ONGD se vern marginadas de los procesos realmente significativos
de promocin del desarrollo humano y desaparecern o tendrn crecientes dificultades
para autojustificarse.
Por ltimo, el plan estratgico, orientado por los resultados de las evaluaciones, debe
aumentar la capacidad de coordinacin de la ayuda y de transmisin y circulacin de la
informacin sobre las actuaciones llevadas a cabo por las distintas ONGD en lugares
comunes o muy cercanos, aspecto ste denunciado a veces como debilidad en la
planificacin de sus actuaciones.
b) Los cambios operacionales.
Un segundo mbito de enriquecimiento de los estudios evaluativos es el plan
operacional de la organizacin o su forma de trabajar. Ya hemos hecho referencia a que

228

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

todos los proyectos formulados y aprobados por la ONGD debe contemplar una forma
de evaluacin. Es claro que no todos de la misma forma y profundidad, pero que todo
proyecto bien formulado, sobre todo si es diseado bajo el Enfoque del Marco Lgico
(EML), debe contener un objetivo especfico claro, con indicadores mensurables y
pertinentes y con un sistema de recogida de informacin y seguimiento que permita el
tipo de evaluacin diseado.
Los proyectos de carcter ms econmico, productivo o de infraestructura, se benefician
de su mayor tangibilidad y pueden incidir en indicadores ms cuantitativos.
Los proyectos de carcter ms social, articularn seguimientos ms basados en
indicadores y herramientas cualitativas, que permitan comparaciones de utilidad.
Los proyectos innovadores, piloto o creativos, pueden ser evaluados de forma ms
detenida y profunda. La evaluacin externa o mixta puede incrementar determinados
valores, como la independencia o la credibilidad.
La extensin de la cultura de la evaluacin, sobre todo en los formuladores de
proyectos, debe ser una de las tareas ms asociadas con los aspectos operacionales de la
evaluacin.
c) Creacin de nuevas figuras organizativas.
Un tercer cambio organizativo que debe producirse para instaurar eficazmente el
sistema de evaluacin dentro de una ONGD es la creacin de alguna figura organizativa
que modifique el organigrama de la institucin y que le d operatividad y seguimiento a
todo el ciclo de la evaluacin.
Esta figura no tiene por qu ser uniforme para todas las ONGD. Depender de la propia
estructura interna y de su tamao. Puede ser una Comisin o Comit de evaluaciones,
como se propone en la Metodologa Espaola de Evaluacin, o un departamento de
tamao ajustado para que pueda coordinar todas las acciones de evaluacin.
Sus principales funciones sern, entre otras posibles:

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

229

Velar para que todos los proyectos formulados tengan explicitado el modo en
que sern evaluados.

Asegurarse que las contrapartes y beneficiarios han participado en el diseo del


sistema de evaluacin de la intervencin y conocen sus responsabilidades y
misiones en lo que a evaluacin se refiere durante la ejecucin y seguimiento de
la accin.

Determinar las evaluaciones ms profundas que se llevarn a cabo en cada


ejercicio.

Establecer los trminos de referencia de dichas evaluaciones y gestionar todo lo


relacionado con las evaluaciones externas o mixtas que se decidan:
composicin de los equipos, tiempos, presupuesto, objetivos de la evaluacin,
metodologa, etc. en dilogo con el equipo evaluador.

Sintetizar las recomendaciones de las evaluaciones y componer las distintas


colecciones de resultados que vayan ofreciendo las evaluaciones: por pases o
zonas, por instrumentos de cooperacin, temticas, sectoriales, etc.

Organizar la difusin de las evaluaciones, haciendo llegar la informacin


pertinente a los interesados: beneficiarios, formuladores internos, coordinadores
de proyectos, directivos, otras ONGD, organismos pblicos, investigadores...

Asegurarse de que las evaluaciones reciben una retroalimentacin eficaz y til.

Organizar la formacin interna y externa del personal de la ONGD en materia


de evaluacin, a travs de seminarios, jornadas de sntesis y formacin tericoprctica en evaluacin de proyectos, u otras iniciativas que se consideren
relevantes en esta materia.

Los cambios estratgicos y operacionales, as como estas figuras organizativas internas,


son tres consecuencias directas de la decisin de evaluar, pero tambin hay
consecuencias presupuestarias y de recursos humanos que pasamos a desarrollar.

230

7.3.

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

CONSECUENCIAS PRESUPUESTARIAS.

Las decisiones que llegan a concretarse en espacio, tiempo y dinero tienen fuertes
garantas de que se llevarn a cabo. De otra manera, pueden resultar bellos deseos, pero
nada ms. Decidir evaluar es enfrentarse a su coste. Y ste es uno de los factores ms
sealados como razn para no evaluar como vimos ms arriba.
Para ser socialmente solidario, hay que ser econmicamente eficiente y autnomo. Sin
una gestin eficiente de los recursos (limitados), ninguna organizacin permanece. Sin
grados de autonoma, la dependencia hacia el financiador mina la propia identidad y
estrategia de la ONGD. Aunque desde 2004, en las ONGD espaolas los fondos
privados superan ya a los de origen pblico (Grfico 4.1.), la concentracin de estos
fondos sigue siendo muy elevada. Para superar el 50% de los fondos pblicos slo eran
necesarias, en 2003, 11 ONGD y tan slo 4 Organizaciones para superar el 50% de los
fondos privados (CONGDE 2005:15). En 2004 (ltimo disponible a la fecha), los
fondos pblicos representaron menos del 20% en slo 8 ONGD. Si no hubiera sido por
el notable incremento de la financiacin de las administraciones descentralizadas, que
en 2005 represent el 23% del total de los recursos de las ONGD, es probable que
muchas de ellas se hubieran encontrado con serios problemas de viabilidad.
Grfico 4.1. Evolucin de los fondos pblicos y privados en las ONGD espaolas.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

231

350

300

Millones de Euros

250

200

150

100

50

0
1.991

1.992

1.993

1.994

1.995

1.996

1.997
I privados

1.998

1.999

2.000

2.001

2.003

2.004

2.005

I Pblicos

Fuente: Elaboracin propia con datos de los Directorios de la CONGDE (2000-2007). Nota: la serie del
Directorio de ONGD se trunc en 2000 y reapareci en 2004, con los que no hay datos para 2000-2001.

Por lo que se refiere a la evaluacin, no creo que deba seguirse aplazando la necesidad
de evaluar por razones econmicas. Con independencia de lo que se piense sobre si
evaluar es caro o no, est claro que el coste depende del tipo de evaluacin a realizar. Es
obligatorio presentar informes de seguimiento y finales en todas las intervenciones
cofinanciadas y estas actividades tienen tambin su coste, que se asume. Adems, la
mayora de las evaluaciones externas a las que se obliga a las ONGD reciben para ella
financiacin pblica (en torno al 1% del total de la subvencin concedida)83.
La propuesta que se hace aqu es evaluar todas las intervenciones, y para ello el coste
debe ser bajo. Creemos que un seguimiento funcional, bien determinado por la buena
identificacin y formulacin del proyecto y con unas acciones de seguimiento de
calidad, por parte de los responsables ejecutores del proyecto o por personal sobre el
terreno, asegura una cantidad de informacin razonable y barata para hacer una
evaluacin formativa y de los procesos de desarrollo que aporte mucho valor a la
organizacin. Pero adems, hay que plantear ya evaluaciones de mayor alcance

83

As sucede, por ejemplo, en la convocatoria de programas plurianuales de la Comunidad de


Madrid.

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

232

estratgico sean internas, externas o mixtas. Lo ms recomendable son mixtas, hasta que
la ONGD tenga una capacitacin suficiente y para aprender sobre la prctica.
Reiteramos aqu la justificacin de las evaluaciones como coste de oportunidad de
proyectos fracasados, mal diseados y de los que no se aprende, por no evaluar ni
disponer de un sistema de transmisin de buenas y malas prcticas dentro de la ONGD.
El coste de las evaluaciones externas tambin es opinable. Algunas ONGD ya encargan
este tipo de evaluaciones y otras comienzan a estar preparadas para ejecutarlas con
personal interno84. Un sistema de concurso y formas creativas de remuneracin son
campos propicios para la prctica novedosa y original que ha caracterizado
tradicionalmente a las ONGD.
La financiacin de las evaluaciones puede suponer desvo de gasto de unas actividades a
otras en funcin de la prioridad que se otorgue a cada una85. Tambin cabe un mayor
esfuerzo por generar nuevas fuentes de ingreso para dedicarlos a la evaluacin.
En definitiva, la voluntad de evaluar se expresa en prioridades, donde el coste es un
elemento ms a tener en cuenta, pero nunca debe ser la razn acomodaticia para
resistirse a su ejecucin e implantacin. Las mltiples razones ofrecidas en este captulo
refuerzan la necesidad de financiar de forma responsable esta actividad, por otra parte
contemplada en la Gestin del Ciclo del Proyecto que dicen utilizar la mayora de las
organizaciones. Hay que llevar el proceso circular hasta el final y dejar que la
evaluacin aporte su misin.
7.4.

CONSECUENCIAS SOBRE LOS RECURSOS HUMANOS.

Ya se ha hecho referencia en este estudio a la creciente profesionalizacin que acontece


dentro de algunas ONGD, tanto por la creciente complejidad de sus trabajos, como por

84

Las 20 calificadas en convenio con la AECID como ONGD ordinarias ms las 6 como
especializadas, deberan ser un ejemplos del primer caso y Entreculturas o Cruz Roja del segundo.

85

Biekart (1999) hace una provocativa comparacin entre el coste de campaas publicitarias para la
recaudacin de fondos de algunas ONGD y la excusa del alto coste de la evaluacin.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

233

la necesidad de contar con un personal estable y remunerado que d continuidad a las


principales acciones gestoras de la organizacin86.
El equilibrio entre profesionales y voluntarios no es sencillo. Si los primeros aportan
rigor y continuidad en el trabajo, asumiendo responsabilidades y tomando decisiones,
los voluntarios son la legitimacin de la identidad de la ONGD como organizacin de la
sociedad civil, ahorran costes y ofrecen su experiencia y solidaridad en los espacios de
tiempo que colaboran con la entidad. Su trabajo puede ser tan riguroso o ms que el de
los profesionales, pero no suelen asumir tantas decisiones ni responsabilidades y, sobre
todo, salvo excepciones, no prestan un trabajo continuado y estable sobre el que
gestionar el da a da en la organizacin87.
Como ha sealado Sanz Corella (1991:21):
A medida que las ONGs se hacen ms profesionales, la escala de las
operaciones es mayor, se manejan presupuestos millonarios y las estructuras
de apoyo y burocracias son ms pesadas, es cada vez ms difcil resistir a las
presiones que amenazan con erosionar seriamente sus caractersticas
distintivas ms valiosas; es decir, sus puntos fuertes o `ventajas
comparativas 88.

El equilibrio que salvaguarde estos peligros y mantenga las ventajas de las dos figuras,
profesionales y voluntarios, lo intenta describir Vernis (1998:151-152) bajo la
denominacin de profesionales voluntarios y voluntarios profesionales.

86

Una profundizacin de aspectos de la profesionalizacin del personal de las ONGD se encuentra


en Linard (1994a, 1994b); Vicente Cruz (1995,1996); Estbanez y Alonso (1996); Garca
Izquierdo (2001); Rodrguez Gil (2002); Edwards y Hulme (2002). Un enfoque crtico sobre este
aspecto sealando ms el camino a recorrer que el recorrido es el de Pons (2002).

87

Una figura intermedia de gran inters y rendimiento son los voluntarios a tiempo completo en la
organizacin. Normalmente jubilados que prestan su experiencia profesional laboral, ahora al
servicio de los ms necesitados a travs de la ONGD.

88

Los puntos fuertes que seala son: el compromiso, su carcter, la flexibilidad, el cuidado, la
comprensin cercana de la cultura y ambientes locales y la espontaneidad.

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

234

Los profesionales voluntarios son las personas que se dedican de forma


remunerada a trabajar en una organizacin no lucrativa... Un profesional
voluntario est motivado por la misin de la organizacin, trata de entender a
las personas voluntarias que trabajan en ella, intenta ser constructivo... Al
mismo tiempo, un profesional voluntario sabe que continuamente ha de estar
aprendiendo. En otras palabras, para trabajar en una organizacin no
lucrativa hay que ser no slo un excelente profesional, sino estar imbuido de
los valores de la organizacin.

De la misma manera, el solo hecho de ser voluntario no se debe traducir en valor


aadido de escasa calidad, sino que su trabajo debe tender a ser lo ms profesional
posible.
Es indudable que la evaluacin exige una cualificacin amplia y que los evaluadores, en
la mayora de los casos, deben ser profesionales. De hecho, no conozco ninguna ONGD
que lleve a cabo evaluaciones slo con voluntarios. Cuando intervienen miembros
internos, son especialistas en evaluacin, en proyectos, la zona geogrfica donde se
llev a cabo la intervencin o en el instrumento utilizado.
Est clara la relacin entre coste de la evaluacin, el tiempo necesario para realizarla y
la cualificacin requerida al personal evaluador. Por su complejidad, si se desea
incorporar a personal interno a las evaluaciones, debern recibir abundante formacin
tcnica especfica. Creemos que puede formarse a voluntarios profesionales o a
profesionales internos de la organizacin para formar parte de evaluaciones mixtas o
para realizar evaluaciones simples, aquellas exigibles a todos los proyectos. Para las
evaluaciones en profundidad, es ms deseable que el equipo sea mixto o externo, y
completamente profesional.
La formacin inicial a todo el equipo del departamento de proyectos de la ONGD tiene
una sinergia con la formacin que stos pueden dar al personal de la contraparte local y
a los beneficiarios, sobre todo a los miembros encargados de recopilar la informacin
necesaria para la elaboracin de los indicadores de seguimiento y evaluacin final.
Adems de la necesidad de formacin, hay otros dos aspectos vinculados a la
evaluacin y el capital humano de la organizacin: la rotacin del personal y el nivel
salarial.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

235

Respecto a los salarios de los profesionales de las ONGD, no es ste el lugar para su
debate (vase CONGDE 2006, que incluye un estudio sobre los recursos humanos en las
ONGD donde se ofrece informacin al respecto). Pero s se desea mencionar por su
relacin con la evaluacin- el que un nivel salarial justo tiene como ventaja el que el
personal cualificado y experimentado, permanezca en la organizacin.
Uno de los posibles motivos por los que la rotacin del personal profesional sea tan
elevada en las ONGD, puede ser la incapacidad de la organizacin de retener sus
servicios y activos con un salario suficientemente atractivo. Al estar en una
organizacin no lucrativa, los costes no asociados a las acciones directas de desarrollo
se consideran de menor valor aadido. Pero el problema para la evaluacin es
importante, pues la rotacin continua del personal supone la no acumulacin de las
experiencias personales, tcnicas y profesionales. Por tanto, las causas de los xitos y
fracasos de las intervenciones puntuales y de los procesos de desarrollo se pierden. Este
fenmeno se acenta cuando no hay evaluaciones escritas que vayan recogiendo las
enseanzas y buenas prcticas acumuladas por la organizacin89.
En resumen, evaluar las acciones tiene, al menos, tres consecuencias sobre los recursos
humanos de una ONGD: requiere alta cualificacin en su personal (conocimientos
generales en todo el staff de proyectos y conocimientos especiales en los miembros de
la comisin o departamento de evaluaciones); requiere, en segundo lugar,
remuneraciones eficientes y formacin permanente de los profesionales y, en tercer
lugar, requiere estabilidad de su personal, al menos a medio plazo. Los tres aspectos
estn estrechamente interrelacionados. Incluso puede contemplarse la formacin interna
como una remuneracin en especie, complementaria al salario, pues es uno de los
aspectos ms valorados por el personal interno de las ONGD, a priori ms motivado en
su labor y que renuncia a los salarios del mercado, si a cambio obtiene otras
contraprestaciones y gratificaciones personales no dinerarias. La empleabilidad de los

89

En el ejercicio de evaluacin de los 12 programas cofinanciados por la Comunidad de Madrid,


cuya duracin media fue 3 aos, al abordarse las evaluaciones externas, en slo 4 ONGD
permaneca la misma persona que haba iniciado el proceso de formulacin del programa. Vase
Larr (2007).

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

236

profesionales de las ONGD puede depender ms de la formacin y los aspectos


intangibles de su contraprestacin que del nivel salarial90.
Con un personal estable, cualificado y motivado, el ciclo y la cultura de la evaluacin
tienen ms garantas de irse implantando con xito y ofreciendo los resultados
demandados. Con personal formado, tanto en sede como sobre el terreno, su
participacin en ejercicios de evaluacin puede ir creciendo y esto aminora su coste.
Los aprendizajes se irn acumulando y las colecciones de sntesis de evaluaciones
desplegarn todos sus activos potenciales. Las evaluaciones sern realmente tiles y
prcticas y el ciclo de la evaluacin se afianzar con fuerza en la cultura y know how de
la organizacin.

90

En una entrevista mantenida con un director de una ONGD, me coment que un estudio encargado
por su organizacin a una consultora externa, acerca de la valoracin que haca su personal sobre
los componentes de las retribuciones, seal que en un nivel suficiente de salario- el factor ms
apreciado y demandado era precisamente una formacin y cualificacin que permitiera su
empleabilidad.

CAP. 4 LA EVALUACIN DE INTERVENCIONES DE COOPERACIN AL DESARROLLO.

237

8. CONCLUSIONES.
Para cerrar este captulo en el que hemos expuesto los fundamentos tericos de lo que
debe hacerse en un ejercicio de evaluacin de proyectos de desarrollo, vamos a formular
las principales conclusiones que debemos extraer de lo aqu expuesto, de forma que nos
permita avanzar de una forma ordenada y reteniendo lo ms fundamental.
1. La evaluacin comienza con la identificacin y formulacin del proyecto. A la
identificacin tambin puede llamrsela evaluacin ex ante o anlisis de la viabilidad
del proyecto. Una buena formulacin (un objetivo especfico claro, nico a ser posible y
medible) y un uso adecuado del Marco Lgico sern bases insustitubles para una buena
evaluacin ex post o de resultados.
2. Conviene interrelacionar bien el Ciclo de Gestin de los Proyectos y el Ciclo de
Evaluacin, de forma que se influyan y retroalimenten mutuamente.
3. No hay evaluacin digna de resultados sin una lnea de base inicial. Luego todo
proyecto debe incorporar en su formulacin cmo ser evaluado y cmo ser recogida
la informacin necesaria. Esta ser la mnima imprescindible para satisfacer las
caractersticas de: veracidad, disponibilidad, razonablemente costosa y oportuna.
4. Se recomiendan las evaluaciones mixtas, para sumar los beneficios del seguimiento
interno con la experiencia y formacin especfica de consultores externos que aporten
independencia. De esta forma el coste de la evaluacin se atena.
5. Es conveniente considerar la creacin de equipos evaluadores estables dentro de los
departamentos de proyectos de las ONGD, as como un comit de evaluaciones que
determine la prioridad de acciones a evaluar y realice de forma estable y continua el
ciclo de la evaluacin.
6. Evaluar es ms un arte que una ciencia. Dadas las caractersticas de los proyectos de
desarrollo que suelen realizar las ONGD, la evaluacin tendr un anlisis
prevalentemente cualitativo, sin menospreciar la utilidad y objetividad del cuantitativo.
Interesa ms detectar los procesos exitosos de desarrollo pero medir sus resultado e
impactos aporta informacin que facilita la comparacin.

238

CAP. 4 LA EVALUACIN DE INTERVENCIONES EN LA COOPERACN AL DESARROLLO.

7. La evaluacin consta de un proceso tcnico (interno al ejercicio) y de un proceso


poltico (por ejemplo, el establecimiento de las prioridades o las relaciones y acuerdos
con los cofinanciadores).
8. Las evaluaciones disponen de tcnicas cuantitativas y cualitativas. Su empleo
conjunto es el ms deseable. Eso exige unos niveles de formacin y conocimientos
especializados en los evaluadores y, a menudo, trabajar de forma asociada con
departamentos universitarios que permitan el tratamiento de datos y significados. El
evaluador no debe dominar todas las tcnicas, pero s conocer su potencialidad para
hacer el mejor diseo metodolgico posible.
9. Es racional evitar las evaluaciones evidentes, tanto para usarlas como propaganda
por el xito mostrado, como para justificar decisiones que ya han sido previamente
tomadas, o como instrumentos sancionadores y punitivos. Hay que evitar tambin las
todolgicas que por excesiva ambicin no centran bien la pregunta a responder de
forma prioritaria por la evaluacin.
10. La evaluacin puede ser cara. Destinar fondos a evaluar, exigir cambios y/o
desviaciones presupuestarias que las administraciones y ONGD deben asumir,
convencidas del gran valor aadido que le va a reportar el ejercicio evaluador.
11. Es necesario crear y difundir una cultura de la evaluacin, como sistema de
gestin de calidad total en todos los estratos de la cooperacin espaola.
12. Uno de los mayores impactos previsibles de las evaluaciones es la mejora continua
en la identificacin y gestin de los proyectos.
13. Hay que aspirar a que la evaluacin se convierta en un componente habitual del
funcionamiento de la ayuda. En definitiva, es un instrumento ms de ayuda a la gestin
del desarrollo (el fin); no es ni la `panaceaque algunos pueden imaginar, ni el
`peligro/amenazaque otros pueden augurar (Esteban y Echevarria 1998:216).

CAP. 5 METODOLOGAS DE EVALUACIN .

238

CAPTULO 5. METODOLOGAS DE EVALUACIN: CMO PUEDE


HACERSE?
1.

INTRODUCCIN Y BREVE HISTORIA DE LA EVALUACIN.

En este captulo pretendo exponer los principales modelos terico-evaluativos que se


han ido desarrollando en los ltimos aos por la investigacin acadmica. Mi intencin
es responder a la cuestin de cmo puede hacerse una evaluacin? Tras haber
descrito en el captulo anterior qu hay que hacer cuando se acomete un ejercicio
evaluativo, ahora ofrezco diversas pautas tericas para llevarlo a cabo. Es probable que
la inercia derivada del formato de planificacin por objetivos de la mayora de las
intervenciones de la ayuda (proyectos y programas), haya establecido la creencia de que
slo se puede evaluar tambin por objetivos. Nada ms lejos de la realidad. Existen
muchas alternativas que aqu pretendo presentar con el fin de abrir el abanico de
posibilidades con los que promotores de evaluaciones y los propios evaluadores puedan
enfocar su ejercicio y misin evaluativa. Ningn modelo es mejor que otro porque
ninguna realidad es mejor que otra. Simplemente son diferentes y el arte de evaluar con
calidad correlaciona con la habilidad para escoger entre diversos modelos e incluso
crear nuevos a partir de los ya existentes por sntesis y seleccin de los aspectos en los
que cada uno presenta una ventaja comparativa. Evaluar no es aplicar mecnicamente
un modelo, sino pensar evaluativamente una realidad concreta contextualizada.
La historia de los modelos evaluativos se ha desarrollado sobre todo en el campo de la
pedagoga e investigacin educativa, corriendo paralela a la evolucin del propio
concepto de evaluacin1. Segn se iba moldeando este concepto, cada autor construa un
modelo de evaluacin que se ajustara a dicho concepto. Veamos de forma muy sinttica
los principales hitos que conforman la historia de la evaluacin, para desarrollar despus
algunos de los modelos ms influyentes: el anlisis coste-beneficio, la evaluacin
orientada por objetivos y la libre de objetivos, la evaluacin naturalista, el enfoque
orientado a la utilizacin y la evaluacin participativa. El capitulo se cierra con las
principales conclusiones y un apndice que incluye un resumen de los estndares de

Vase por ejemplo Madaus et al. (1988a); Carballo (1990); Stufflebeam y Shinkfield (1993).

CAP. 5 METODOLOGAS DE EVALUACIN .

239

calidad de una evaluacin del The Joint Comittee on Standards Evaluation para que
sirvan de complemento y comparacin a los del CAD2.
Comencemos por el breve recorrido histrico. Siguiendo a Madaus, Stufflebeam y
Scriven (Madaus et al.1998b), se pueden distinguir seis etapas o eras en la historia de la
evaluacin.
1.1.

LA ERA DE LA REFORMA (1.800-1.900).

Gran Bretaa y Estados Unidos fueron los pases pioneros en evaluar la calidad de las
escuelas y los programas sociales, lo que dio lugar al nacimiento de sociedades de
investigacin social, que enviaban inspectores a los centros sociales y escolares con el
fin de formular informes evaluativos.
En 1845, en Boston, se realiza la primera evaluacin emprica de un centro educativo,
con exmenes escritos y puntuados, reemplazando a las pruebas orales.
Pero en seguida se politiz la evaluacin, pues las calificaciones de cada colegio
fueron usadas contra aquellos profesores que se oponan a la abolicin del castigo
corporal.
Entre 1887 y 1898 Joseph Rice realiz la primera evaluacin formal de un programa
educativo en Amrica, no encontrando diferencias significativas entre los alumnos
capaces de deletrear bien, practicando ms de 200 minutos semanales, y aquellos que
dedicaban a esta tarea poco ms de 10 minutos. Este resultado condujo a una revisin
profunda de los mtodos de enseanza de deletreo. Hay que resaltar el enfoque
cuantitativo dado a este primer ejercicio de evaluacin. Este enfoque de Rice ser
seguido y desarrollado por Lindquist y Campbell en estudios durante los aos cincuenta
y sesenta.

Vase DAC (2006). Los estndares de calidad de la evaluacin del CAD, an en fase de prueba, se
encuentran traducidos por la DGPOLDE y disponibles en su sitio web.

CAP. 5 METODOLOGAS DE EVALUACIN .

240

1.2.

LA ERA DE LA EFICIENCIA EN LA MEDICIN (1.900-1.930).

A lo largo de esta segunda etapa lo nuclear ser la sistematizacin, la estandarizacin y


la eficacia en las mediciones. Se crean departamentos de medicin de eficacia (Boston
Department of Educational Investigation and Measurement) y se van configurando test
homologados que permiten la comparacin intercentros. La objetividad aparece como
central y se usa como arma poltica contra diseos evaluativos alternativos.
Tambin en esta etapa destaca la creacin de institutos universitarios de medicin y
evaluacin (testing). El alcance y enfoque de las evaluaciones es local, micro, de
distrito, profesor o grupo de profesores. An no hay un programa nacional de
evaluaciones como el que se desarrollar en los aos sesenta.
1.3.

LA ERA TYLERIANA (1.930-1.945).

A Ralph Tyler se le considera el padre de la evaluacin educativa. Como se presentar


en la seccin tercera de este captulo, su modelo de evaluacin se centra en los objetivos
del programa. Su principal conviccin es que una visin amplia del currculum debe
ofrecer resultados concretos de cambios en las conductas de los alumnos. En Tyler se
unirn los avances del Movimiento de Educacin Progresista, el New Deal de
Rooselvelt, la filosofa pragmtica y las herramientas de la psicologa conductista.
Tyler fue nombrado director del Eight-Year Study, fundado por la corporacin Carnegie,
con la misin de realizar un amplio estudio comparativo entre los distintos tipos de
colegios, al finalizar la segunda guerra mundial. Se trataba de comparar la educacin
tradicional norteamericana con la progresista, dando lugar a un concepto nuevo de
evaluacin.
Evaluar, para Tyler, ser comparar los resultados previstos de un programa con los
reales, a partir de sus objetivos. Una gran ventaja que tena este sistema sobre el
cuantitativo de Rice era que no hacan falta grupos de control ni mediciones durante el
proceso evaluativo. Era algo racional3.

Como indica el ttulo de su obra A Rationale for Program Evaluation. Cfr. Tyler (1988).

CAP. 5 METODOLOGAS DE EVALUACIN .

1.4.

241

LA ERA DE LA INOCENCIA (1.946-1.957).

Durante esta cuarta era, la principal preocupacin en los centros educativos ya no era la
evaluacin o las cuestiones de calidad o rendimiento, sino la de olvidar la guerra y
educar para el bienestar. Los colegios se dotan de servicios de comedor, psiclogos,
pedagogos, servicio mdico y todo tipo de atenciones. La evaluacin queda relegada por
la creacin de un ambiente optimista, al tiempo que se recogen numerosos datos para
justificar peticiones crecientes de gasto pblico educativo, no sometidas a ningn
control de calidad.
Permanecen las tcnicas de test como instrumento evaluador, y la evaluacin es
concebida como la comparacin entre objetivos y resultados, al ms puro estilo
tyleriano.
En 1.947, Tyler y Lindquist fundan el Educational Testing Service donde se realizan
numerosas investigaciones sobre estadstica y medicin, apareciendo los problemas de
la constancia de la recogida de datos, su no contaminacin, el problema del azar, la
estabilidad y otras dificultades de orden estocstico.
1.5.

LA ERA DE LA EXPANSIN (1.958-1.972).

A finales de los aos cincuenta numerosos fondos federales acuden a financiar


actividades de evaluacin en Estados Unidos y esta disciplina adquiere un nuevo auge,
siendo la primera vez que se planifican evaluaciones de nivel nacional. Es el tiempo de
la Guerra Fra y la conquista espacial que invita a reforzar los programas escolares de
matemticas y ciencias para vencer al bloque sovitico, pionero en el lanzamiento de
una nave al espacio.
En 1963, Cronbach publica un artculo en el que critica duramente la falta de resultados
y la utilidad de las evaluaciones hechas hasta ahora (Cronbach 1963). Comienza a
fortalecerse el principio de utilidad como rasgo inherente a la evaluacin.
A lo largo de los sesenta y bajo un programa animado por el senador R. Kennedy, se
llevaron a cabo numerosas evaluaciones curriculares, pero la mayora no ofrecieron
resultados relevantes.

CAP. 5 METODOLOGAS DE EVALUACIN .

242

En 1.971 se crea el Comit Phi Delta Kappa, del National Study Committee on
Evaluation, que constata la debilidad de los mtodos de evaluacin usados hasta la
fecha. En esta poca aparecen las aportaciones de Scriven, Stake y Stufflebeam,
innovadoras y que ofrecen resultados. La atencin a los resultados imprevistos o efectos
indeseados comienza a ser tenida en cuenta. Evaluar pasa a ser entendido como una
forma de juicio de valor (moral) de los resultados de un programa.
1.6.

LA ERA DE LA PROFESIONALIZACIN (DESDE 1.973).

A comienzos de los setenta los evaluadores se encuentran en una crisis de identidad. No


saben si su misin es ser investigadores, medidores (testers), administradores,
profesores o filsofos del conocimiento. No hay claridad sobre cul debe ser la
formacin especfica de un evaluador. No abundan las divulgaciones ni revistas
especializadas, y la evaluacin permanece centrada en el campo de las ciencias de la
educacin y la psicologa.
Pero a medida que avanza la dcada de los setenta, comienzan a aparecer revistas y
publicaciones peridicas de evaluacin, as como monografas y manuales que
desarrollan una amplia literatura sobre el tema. Comienzan a aparecer redes y
sociedades de evaluacin, las universidades incorporan cursos formativos para
evaluadores y se impulsa la investigacin de metodologas evaluativas desde los
terceros ciclos de estudios de distintas disciplinas.
Scriven y Stufflebeam desarrollan el tema de la metaevaluacin o la evaluacin de las
evaluaciones y se crean los primeros estndares de calidad de ejercicios evaluativos.
Tambin en esta dcada aparecen o se difunden las aportaciones de Scriven con su
evaluacin libre de objetivos, la evaluacin respondente de Stake o la naturalista de
Guba y Lincoln.
En Estados Unidos se forman tres grupos o filiaciones que a menudo se enfrentan entre
s: la Divisin H de la American Educational Research Association (AERA), la
Evaluation Network y la Evaluation Research Society of America. Estas asociaciones,
por un lado, impulsan la investigacin evaluativa, pero, por otro, van polarizndose en

CAP. 5 METODOLOGAS DE EVALUACIN .

243

dos enfoques alternativos: el positivista-cuantitativo-racional vs. el naturalistacualitativo-pluralista.


En el desarrollo de este captulo podremos detectar esta polarizacin y las ventajas e
inconvenientes que tiene cada metodologa.
El presente captulo expone las caractersticas bsicas de seis metodologas diferentes,
sin que en su seleccin exista pretensin de exhaustividad. Se han seleccionado aqullas
que o bien tienen un mayor potencial de utilidad y aplicabilidad a la evaluacin de
intervenciones de desarrollo, o bien aqullas que destacan por su mayor divulgacin en
el crculo evaluativo o econmico.
Como se expone en las conclusiones del captulo, se ha optado por la presentacin y
valoracin de cada metodologa en vez de elaborar una nueva, eclctica o personal, ya
que considero que la diversidad de intervenciones y contextos de cooperacin al
desarrollo aconseja no homogeneizar las metodologas hasta romper la riqueza de la
pluralidad, siendo ms interesante ofrecer criterios orientativos para optar por una
metodologa u otra segn sea cada intervencin, se disponga de mayor o menor tiempo,
mayor o menor cantidad de informacin, presupuesto, calidad en la identificacin y
formulacin de los objetivos de la intervencin y dems variables que configuran el
amplio y heterogneo campo de actuacin de la ayuda al desarrollo.
As pues, tras haber descrito qu debe hacerse en una evaluacin (captulo anterior), se
procede ahora a desarrollar cmo puede hacerse desde el punto de vista terico, para
posteriormente analizar qu se est realmente haciendo por parte de la cooperacin
espaola en este campo. Esta es la lgica interna que gua esta parte del trabajo.

CAP. 5 METODOLOGAS DE EVALUACIN .

244

2.

EL MODELO ANLISIS COSTE - BENEFICIO.

2.1.

CONSIDERACIONES PREVIAS.

Aunque ya hemos presentado esta herramienta de evaluacin en el captulo anterior, al


tratar los instrumentos cuantitativos ms comunes en los ejercicios de evaluacin social,
creemos necesario incluir, en primer lugar, este modelo por su carcter histrico y, en
segundo lugar, por ser uno de los ms conocidos y divulgados en la evaluacin de
programas sociales4.
Al comparar los beneficios esperados por un proyecto o programa de desarrollo con el
coste necesario para generar los bienes y servicios que se quieren prestar, la evaluacin
por anlisis coste beneficio quiere aportar una valoracin de la eficiencia ex ante del
proyecto. Es por tanto un modelo ms propio de evaluacin de viabilidad que de
impacto.
Este modelo necesita realizar clculos financieros para poder comparar las situaciones
antes y despus del proyecto, los costes de oportunidad de llevarlo a cabo entre
alternativas diferentes y la comparacin entre la situacin sin proyecto y con l. Por
tanto, la necesidad y mayor limitacin del modelo es que todos los datos del proyecto
deben ser reducidos a unidades monetarias que permitan su agregacin y comparacin.
Esto lo convierte en un modelo caro, slo rentable para proyectos de tamao
suficientemente elevado, ms propios de organismos multilaterales de cooperacin o de
proyectos que ejecutan las agencias oficiales de desarrollo de los pases que de las
ONGD dado que la inmensa mayora an realiza proyectos de pequeo volumen
econmico.

Un tratamiento del ACB en algunos de los manuales de evaluacin: Thompson y Fortess (1980);
Levin (1985); Rossi y Freeman (1989:390-414); Cohen y Franco (1993:171-281); Pichardo
(1997:48-63); Weiss (1998:244-250); Dale (1998:46-47 y 114-116); MAE (2001:81-106).
Ejemplos prcticos de proyectos medioambientales se ofrecen en Azqueta (1994). Clements
(1995) orienta el ACB desde la ptica del desarrollo de las capacidades, segn la lnea de A. Sen,
siendo crtico con las formas de emplear este modelo del Banco Mundial o de la Agencia
Norteamericana USAID.

CAP. 5 METODOLOGAS DE EVALUACIN .

245

Quiz en un futuro, con la especializacin, internacionalizacin y divisin del trabajo en


la cooperacin internacional sobre todo en el mbito de la Unin Europea- puedan
realizarse intervenciones que aconsejen acudir a este tipo de evaluacin. En este
momento, no considero relevante profundizar demasiado sobre l. La abundante y
accesible literatura especializada sobre el tema, hace que considere ms detenidamente
otros modelos menos conocidos. De todas formas merece la pena hacer un par de
observaciones.
Los dos problemas ms importantes que afronta el ACB son la valoracin econmica de
los intangibles y el clculo de la tasa de descuento.
La valoracin de intangibles conduce a la consideracin amplia de los costes de
oportunidad que lleva consigo la realizacin del proyecto, ejecutado en la forma como
se ha concebido. Como sealan Cohen y Franco (1993:187), los intangibles slo
pueden ser evaluados subjetivamente por sus vctimas mientras que los mayores
esfuerzos de la evaluacin se concentran, por razones prcticas, en los impactos ms
inmediatos y de mayor valor monetario. Seguramente los efectos de arrastre o
eslabonamientos (linkages en la terminologa de Hirschman) sean muy apreciables para
el proceso de desarrollo, bien en sus versiones de hacia delante o bien hacia atrs, al
generar una demanda derivada en otros sectores nacionales como son los inputs para la
consecucin del proyecto.
Tambin hay que considerar las externalidades, tanto positivas como negativas, que el
proyecto puede traer consigo. Su cuantificacin, difcil, quiz sea menos importante que
la conciencia de que se cometen anejas a la ejecucin del proyecto. En algunos casos, su
relevancia puede ser causa de la no ejecucin del proyecto, aunque econmicamente
fuera rentable. La aplicacin de los factores de desarrollo sealados en el captulo
anterior ya orientan sobre este aspecto. Por ejemplo, un proyecto rentable puede arrojar
unos efectos intangibles e invisibles a corto plazo, tan perversos sobre el medio
ambiente local, que pongan en peligro la supervivencia de especies de flora y fauna o de
etnias indgenas minoritarias que hagan prevalecer el criterio global sobre el puramente
econmico-rentable.

CAP. 5 METODOLOGAS DE EVALUACIN .

246

Un invisible prototipo, que aparece de forma ineludible en los programas sanitarios y de


ayuda de emergencia, es la valoracin de la vida humana. Cohen y Franco reconocen
que no hay acuerdo sobre el tema, presentando cuatro opciones5.
La primera es la que reconoce que la vida humana es de valor infinito. Teniendo verdad
tica y religiosa, desgraciadamente no es realista con la situacin econmica que se
impone ante la necesidad de tomar decisiones con incertidumbre y en un escenario de
recursos muy escasos. Econmicamente, hay que reconocer que la salud tiene precio
y que los tratamientos y atenciones paliativas han de hacerse ordenadas de forma
jerrquica de acuerdo a algn criterio.
La segunda propuesta es valorar la vida humana segn la disposicin a pagar por ella.
Esta opcin liberal, considera que la vida es un bien que est sometido a las reglas de
un libre mercado; ser el propio mercado el que fijar un precio de equilibrio que puede
ser asumido como valor. Este sistema es contrario a la prctica y objetivos del propio
desarrollo y cooperacin, pues justifica la distribucin del ingreso vigente y valora la
vida en funcin de l, sin tener en cuenta la igualdad de oportunidades, criterio bsico
en las teoras de desarrollo humano actuales. Adems, si la decisin es transferida desde
el plano individual al social y estatal, su coherencia interna queda an ms debilitada.
Una tercera postura es valorar la vida humana vinculndola a la produccin potencial
de su portador. Tratara de calcular el coste de oportunidad social por la prdida de la
vida de un generador de recursos. El criterio dominante y la diferencia de valor se centra
entonces en las capacidades de cada individuo. Los menos dotados y los incapacitados
poseeran menos valor y, por tanto, un proyecto centrado en sus condiciones sera
menos preferible que uno centrado en los ms dotados. Volvemos a una lgica contraria
al fin propio del desarrollo: ofrecer una mayor igualdad de oportunidades.
La cuarta alternativa es valorar la vida como coste de compensacin ligado al riesgo
afrontado. Trata de introducir la vida humana en la lgica de los mercados financieros y

Cohen y Franco (1993:189-191). Vanse tambin las consideraciones sobre el tema en Azqueta
(1994).

CAP. 5 METODOLOGAS DE EVALUACIN .

247

valorar este activo como uno ms y tasarlo en funcin del riesgo asumido. La
incapacidad de calibrar los riesgos, sobre todo los pequeos, sujetos a distribucin
probabilstica, por parte del individuo y la comunidad, hace que esta va se presente
tambin como insatisfactoria.
Tomamos as una rpida conciencia de las limitaciones inherentes a este enfoque.
El otro problema principal al que se enfrenta el ACB es la actualizacin de los valores
monetarios considerados para poder realizar la comparacin en el momento presente. Es
el problema de la tasa de descuento, que est ligado a las consecuencias de un
escenario econmico de preferencia por la inmediatez6. Los tres mtodos ms usados
en este problema son el clculo del valor actual neto (VAN), la tasa interna de retorno
(TIR) y la relacin beneficio-coste.
El clculo del valor actual neto, permite discernir si un proyecto es rentable, lo que
posibilita elegir entre proyectos que sean excluyentes entre s. La rentabilidad del
proyecto vendr dada por la diferencia entre el valor actual del flujo de ingresos
previstos y el valor actual de los gastos necesarios. Recordemos que el valor actual de
un activo, en su expresin ms sencilla, viene dado por:
VAN = Rt/ (1+i)t
siendo Rt = ingreso neto del ao t; i = tasa de descuento.
Con un simple clculo financiero (inters compuesto), pueden obtenerse los ingresos
actualizados de los varios aos que dure el proyecto. Siempre que el VAN sea positivo,
sabremos que el proyecto ser econmicamente rentable, pero nada ms.

El individuo prefiere disponer de un recurso monetario en el momento actual frente al futuro, ya


que si existe inflacin su valor real se deprecia, su valor financiero puede aumentarse con una
simple inversin remunerada al tipo de inters vigente, y la tenencia presente carece del riesgo de
la promesa sobre la tenencia futura. Esto mismo es aplicable a todos los fondos comprometidos en
un proyecto de desarrollo.

CAP. 5 METODOLOGAS DE EVALUACIN .

248

Para comparar proyectos de naturaleza independiente y elegir entre ellos, y para la


comparacin intertemporal de proyectos similares, se utiliza la tasa interna de retorno
(TIR).
La TIR es la tasa de actualizacin que hace cero el VAN del flujo de fondos. Representa
la rentabilidad media del dinero utilizado en el proyecto durante su ejecucin. Con la
misma notacin anterior, la definimos como:
TIR = Rt/(1+r)t = 0
siendo r = la tasa interna de retorno del proyecto.
Cuando la tasa de inters es menor que la tasa interna de retorno, el proyecto ser
rentable, y el que tenga una tasa mayor ser preferible.
Por ltimo, el cociente entre el valor actual de los beneficios y el valor actual de los
costes es la relacin beneficio-coste, que, siendo mayor que la unidad, permite afirmar
que el proyecto es aceptable, pero no discrimina entre diferentes alternativas.
En resumen, el ACB es un instrumento til de evaluacin ex ante, pero limitado. Los
proyectos de carcter ms financiero (microcrditos, fondos rotatorios en dinero), la
dotacin de infraestructuras, la promocin de actividades productivas o de comercio
justo, pueden beneficiarse especialmente de l, al utilizar como principal activo
unidades monetarias o poder calcular en ellas los diversos ingresos y costes. La
dificultad de reducir todos los componentes del proyecto a esta unidad de cuenta hace
que se utilice, con la misma metodologa, una variante de este anlisis que es el Anlisis
Coste Efectividad.
2.2.

EL ANLISIS COSTE EFECTIVIDAD (ACE).

Thompson y Fortess consideran que el ACE es un procedimiento que

CAP. 5 METODOLOGAS DE EVALUACIN .

249

evala las alternativas de decisin haciendo comparables todos los efectos en


trminos de una unidad de producto no monetaria y comparando el impacto de
las alternativas 7.

La gran ventaja que tiene este modelo es que no necesita reducir a unidades monetarias
todos los costes y beneficios que el proyecto ha conllevado. Utiliza precios sombra,
jerarquiza opciones y aporta una relacin o razn coste-efectividad. Es decir, permite
comparar diferentes proyectos que generan los mismos o semejantes productos y emitir
un juicio sobre cul es ms eficiente. Por ello, es un modelo muy valioso para las
evaluaciones previas o de viabilidad, en las que consideramos diversas alternativas.
Siguiendo a Cohen y Franco podemos establecer las siguientes etapas para elaborar
un ACE8:

Identificar con precisin los objetivos del proyecto. Aqu encontramos un


argumento ms para insistir en que una concreta formulacin de las acciones,
con objetivos claros, precisos y medibles, es fundamental para la evaluacin.
Una rigurosa evaluacin ex ante o de viabilidad, permite establecer una lnea de
base que genera fiabilidad en el resto del proceso. Hay que considerar slo los
objetivos que se traducen en actividades concretas, que podrn ser
complementarios entre s o competitivos. Cuando consideramos varios objetivos
especficos (caso poco deseable) ser necesario establecer una ponderacin
justificada de ellos.

Traducir los objetivos en dimensiones operacionales e indicadores. Este paso es


fundamental y muy complejo. Se trata de expresar consideraciones a menudo
cualitativas en indicadores rigurosos que, a un coste razonable, aporten la
informacin bsica a tratar para obtener resultados comparables.

Especificar diversas alternativas evaluables y reducir la informacin recogida a


unidades homogneas. En muchas ocasiones la comparacin entre proyectos
similares puede no resultar viable al ser proyectos aislados o piloto. La prctica

Thomson y Fortess (1980:552-553). Recogido en Cohen y Franco (1993:199).

Cohen y Franco (1993:219-224). Tambin en Pichardo (1997:62).

CAP. 5 METODOLOGAS DE EVALUACIN .

250

de la evaluacin de todos ellos y la acumulacin de experiencias irn


subsanando esta dificultad. Al principio, deber compararse la realizacin
prctica del proyecto con un modelo de optimizacin terico, construido con la
informacin generada por experiencias similares y el juicio de expertos.

La ltima etapa consiste en comparar las alternativas estimadas y establecer


rangos de efectividad de las acciones evaluadas. A menudo la calificacin de
efectividad ser de escala ordinal entre las alternativas consideradas o entre los
proyectos comparados.

Con esta herramienta obtenemos una informacin no cuantitativa de la eficiencia del


proyecto. No sabemos cunto, pero s afirmaremos que el proyecto cumple unos
estndares de calidad suficientes, segn se vaya acumulando la experiencia. Con el paso
del tiempo se podr determinar si los proyectos de una ONGD siguen una tendencia
creciente o decreciente de eficiencia, que ser una base valiosa para la toma de
decisiones estratgicas dentro de la organizacin, de cara al logro de externalidades
positivas para sus proyectos futuros.
2.3.

SNTESIS Y VALORACIN.

Resumimos a continuacin los rasgos fundamentales de este modelo en un cuadro


sinttico (Cuadro 5.1.) que incluye, a modo de valoracin, sus principales ventajas e
inconvenientes.
Cuadro 5.1. Caracterizacin del Anlisis Coste-Beneficio.

Condiciones previas:

Trabajar con inputs aditivos, sean unidades


monetarias o no.

Evaluar es:

Analizar la viabilidad
financiera del proyecto.

Intereses predominantes:

Los econmico-financieros.

Cuestiones principales:

La determinacin de la forma ms rentable


de acometer un proyecto.

rentabilidad

CAP. 5 METODOLOGAS DE EVALUACIN .

251

Mtodos ms comunes:

Comparacin de beneficios
mediante el VAN y la TIR.

Diseo de evaluacin:

Economtrico.

Herramientas predominantes:

Cuantitativas, financieras.

Ventajas:

Permite medir los resultados, esperados o


ejecutados.
Analiza objetivamente
eficiencia del proyecto.

la

costes

eficacia

Permite el anlisis ex ante o de viabilidad.


Apropiado para actividades econmicas
(microcrditos, fondos rotatorios), a
infraestructuras o a actividades comerciales
y productivas.
Inconvenientes:

Inaplicable para objetivos no cuantificables


ni medibles.
La determinacin del valor de la vida
humana.
No considera los criterios de pertinencia,
impactos indirectos o sostenibilidad del
proyecto.
Los beneficios pueden tardar en percibirse
(sobre todo si son extra-monetarios)
El clculo de los precios sombra.
No aporta informacin sobre el modo o las
razones por las que el proyecto tuvo xito o
fracas.

Fuente: Elaboracin propia.

CAP. 5 METODOLOGAS DE EVALUACIN .

252

3.

EL MODELO DE EVALUACIN POR OBJETIVOS, ASOCIADO AL


MARCO LGICO (Z.O.P.P.)

3.1.

CONSIDERACIONES PRELIMINARES.

Exponemos en esta seccin el modelo de evaluacin considerado ms clsico, que es


el que se centra en los objetivos del proyecto. Las denominaciones de este modelo se
ajustan a caractersticas como evaluacin racional, cientfica, ms cuantitativa o
predominantemente sumativa, al ser la suma de la comparacin de los objetivos
previstos con los resultados verificados.
Ya en 1942, Ralph W. Tyler configur un modelo de evaluacin educativa centrada en
los objetivos (Tyler 1942). Desde entonces, el desarrollo del paradigma positivista y
cientfico trata de desarrollar este modelo, aunque, como veremos ms adelante, no est
exento de numerosas limitaciones que le han hecho poco prctico, al menos en la
evaluacin de proyectos de cooperacin al desarrollo.
La cuestin fundamental en este modelo es determinar los efectos atribuibles a un
proyecto o programa de desarrollo y examinar hasta qu punto sirve para la realizacin
de ciertos fines y objetivos. Es obvio que el macro-objetivo de nuestro contexto de
trabajo es el desarrollo humano, pero este deseo se concreta cada vez que una
organizacin de desarrollo formula un proyecto, con un objetivo general y uno
especfico, segn la metodologa propia del Marco Lgico (Z.O.P.P. en sus siglas
alemanas9), que es la ms extendida y utilizada.
En este modelo, el xito de un proyecto se mide, as, por el grado de consecucin de los
objetivos propuestos en el documento de formulacin del mismo.
De entrada ya descubrimos una gran ventaja, pues la inmensa mayora de los proyectos
son formulados de acuerdo con el Marco Lgico y, segn esta metodologa, siempre
encontraremos explicitados un objetivo general y uno especfico.

Ziel Orientierte Projekt Planung, o Planificacin de Proyectos Orientada a Objetivos.

CAP. 5 METODOLOGAS DE EVALUACIN .

253

Siguiendo a Tyler, evaluar es determinar la congruencia entre trabajo y objetivos, y para


ello podemos proceder a travs de ocho etapas10:

Establecer las metas u objetivos.

Ordenar los objetivos en amplias clasificaciones.

Definir los objetivos en trminos de comportamiento.

Establecer situaciones y condiciones segn las cuales puede ser demostrada la


consecucin de los objetivos.

Explicar los propsitos de la estrategia al personal ms importante en las


situaciones ms adecuadas.

Escoger o desarrollar las apropiadas medidas tcnicas.

Recopilar los datos de trabajo.

Comparar los datos con los objetivos de comportamiento.

Es sencillo notar el mbito de evaluacin curricular en el que trabaja Tyler y cmo


algunas de sus etapas quedan difusamente expuestas (por ejemplo, quin es el
personal ms importante en las situaciones ms adecuadas?, o cules son las
apropiadas medidas tcnicas que deben desarrollarse?). Por ello, puede sernos ms
til y cercano a nuestro contexto de evaluacin de impacto de desarrollo la secuencia
que propone Weiss (1972:24)11:

Enumerar los fines generales del proyecto o programa y sus objetivos ms


especficos.

10

Descubrir indicadores de estos objetivos, susceptibles de medicin.

Tyler (1942). Recogidas de Stufflebeam y Shinkfield (1993:93).

CAP. 5 METODOLOGAS DE EVALUACIN .

254

Recoger datos sobre los indicadores para aquellos que participan en el proyecto
o programa y para un grupo de control equivalente que no haya participado.

Analizar los datos sobre los participantes y sobre los controles en funcin de los
fines y objetivos iniciales del programa.

La lgica interna se nos presenta clara y la concepcin de qu es evaluar y qu debe


hacerse en este modelo tambin. Elaborando un juicio comparativo entre resultados y
objetivos, se obtiene un diagnstico evaluativo sobre la realidad del proyecto ejecutado
y terminado.
Si incluimos los criterios de evaluacin presentados en el captulo tercero y
secuenciamos los momentos de la metodologa del Marco Lgico, podemos visualizar
de forma conjunta todo el proceso evaluativo. Es lo que propone Dale y nosotros
recogemos en el Grfico 5.1.
Con Shortell y Richardson (1978:16-17), podemos afirmar que la funcin del evaluador
en este modelo consiste en: primero, ayudar a los actores del proyecto a alcanzar un
nivel razonable de consenso en torno a los objetivos del proyecto, y, segundo, asegurar
un nivel mnimo de especificidad que permita desarrollar indicadores operacionales a
partir de los cuales medir y evaluar.

11

Citado tambin en Ballart (1992:95). La cursiva, que quiere aportar un orden lgico, es propia.
Notar como la secuencia es muy semejante a la desarrollada ms extensamente en el captulo
anterior.

CAP. 5 METODOLOGAS DE EVALUACIN .

255

Grfico 5.1. La evaluacin segn el Marco Lgico.

Resultados Grado
influencia

de

IMPACTOS

de
PERTINENCIA

FACTORES
EXTERNOS

EFECTOS
OUTPUTS
Ejecucin

SOSTENIBILIDAD

IMPLEMENTACIN EFICIENCIA
DE TAREAS
INPUTS

EFICACIA

PLAN OPERACIONAL
Diseo

ORGANIZACIN

Del
Proyecto
PLAN ESTRATEGICO
ENTORNO

OBJETIVOS

Fuente: Adaptacin propia a partir de DALE (1998:40).

Pero, como dice Ballart (1992:95), refirindose a la evaluacin de programas y servicios


pblicos y vlido para nuestro contexto:
en la prctica, sin embargo, lo que parece simple puede complicarse
enormemente, tanto por los problemas que presente la identificacin y
operacionalizacin de objetivos, como por la complejidad intrnseca de los
programas[y/o proyectos], como por la dificultad tcnica de aislar los efectos
de la intervencin y determinar el impacto neto de las polticas.

En efecto, si es verdad que en este modelo la tarea central es especificar los objetivos en
trminos claros y precisos y crear indicadores cuantitativos de calidad que nos permitan
medir los niveles de logro alcanzados, tambin es cierto que existen no pocos problemas

CAP. 5 METODOLOGAS DE EVALUACIN .

256

y limitaciones que vamos a desarrollar a continuacin, dividindolos en dificultades de


diseo y dificultades de aplicacin.
3.2.

DIFICULTADES DE DISEO.

Las principales dificultades relativas al diseo de evaluacin de este modelo ya se han


ido ofreciendo en el desarrollo del captulo tercero. Nos proponemos recalcar ahora
algunas de las ms importantes.
a) Formulacin de los objetivos de forma generalista, abstracta o retrica.
Quiz hasta que no se ha probado a redactar de forma concreta un objetivo
general y uno especfico para un proyecto concreto de desarrollo no se tenga
conciencia de las dificultades que esta tarea entraa. De ah que pueda existir la
tendencia a copiar objetivos a manera de formatos estndar de proyectos
anteriores que se consideran modlicos, bien por su resultado, o bien por haber
tenido xito en la convocatoria de subvencin pblica a la que fue presentado.
Otra tentacin muy ligada a este comentario es la de adaptar, a las bases de la
convocatoria a la que se concurre, los objetivos e indicadores del proyecto,
primando este criterio sobre la pertinencia real de la situacin que se desea
transformar.
Esta dificultad queda realzada cuando analizamos el lenguaje propio de la
cooperacin al desarrollo y de las ONGD, tan plagado de trminos abstractos y
lugares comunes, que permiten adquirir cualquier significado que quiera
otorgrsele. Pensemos por ejemplo en desarrollo institucional, promocin
de la dignidad humana, lucha a favor de la erradicacin y disminucin de la
pobreza, aumento de la concienciacin de grupo o clase, desarrollo
comunitario, accin social solidaria, o tantos otros. No se critica aqu, ni
mucho menos, el contenido de estas expresiones. Slo quiere advertirse que,
cuando se pase de un nivel tan alto de abstraccin a otro ms concreto, como
exige la formulacin de un objetivo especfico o un indicador cuantitativamente
verificable, habr que realizar un esfuerzo mental no pequeo, para evitar caer
en la dificultad que comentamos.

CAP. 5 METODOLOGAS DE EVALUACIN .

257

b) Formular los objetivos unilateralmente, sin consenso y/o dilogo


participativo con los beneficiarios.
Si no se realiza la internalizacin de los objetivos del proyecto por parte de los
afectados (los beneficiarios), de manera que los hagan propios y acten
conforme a ello, ser muy difcil su cooperacin activa en la recogida de los
datos necesarios para la evaluacin. En este contexto, conviene recordar que si
no se dispone de una lnea de base que exprese el estado de la naturaleza antes
de la ejecucin del proyecto, la evaluacin por objetivos rigurosa ser imposible.
Un ltimo comentario sobre esta cuestin. Es posible percibir la tentacin de
maquillar un consenso exterior con los beneficiarios, pero que predominen en la
realidad los deseos y objetivos del agente del Norte, sea la ONGD o el
organismo cofinanciador, fruto de la lgica de la mutua necesidad existente entre
los diversos agentes de la cadena de cooperacin. Los cofinanciadores y las
ONGD del Norte necesitan proyectos financiables para sobrevivir y
legitimarse. Las organizaciones y agentes del Sur, as como los beneficiarios,
quieren los fondos ofertados, y si para ello deben plegarse a las condiciones y
objetivos de los donantes, o a formulaciones concretas que auguran mayor xito
en la competencia por el recurso financiero escaso, se plegarn y aceptarn
formulaciones incorrectas e irreales, incluso con declaracin formal de mutuo
consenso.
Weiss aporta cuatro posibles estrategias para orientar una evaluacin en situaciones
relacionadas con las dificultades hasta aqu mencionadas. Estas son:
1. Describir las cuestiones ms relevantes y dejar que los beneficiarios-actores
lleguen a un acuerdo, a posteriori.
2. Recoger la mxima informacin escrita posible, entrevistar en profundidad a
los responsables del proyecto, observar directamente su desarrollo-ejecucin y
formular l mismo los objetivos, tambin a posteriori.
3. Promover la colaboracin entre evaluador-actores ms relevantes del
proyecto, para formular objetivos que stos hagan suyos, para posteriormente
limitarlos a los que el evaluador considere ms realistas.

CAP. 5 METODOLOGAS DE EVALUACIN .

258

4. Evitar la identificacin artificial de objetivos y abandonar la idea de evaluar


segn este modelo 12.

Por su parte, Shortell y Richardson (1978) ofrecen unas tiles dimensiones a tener en
cuenta para lograr formular objetivos con alta pertinencia y elevado rigor. Por su
inters, las reproducimos en el Cuadro 5.2.
Algunas de las cuestiones que aparecen en esta gua, nos permiten profundizar en las
dificultades de diseo que estamos analizando. En concreto vamos a exponer las
relacionadas con la ordenacin de los objetivos, su multiplicidad y las consecuencias de
efectos imprevistos.

12

Adaptacin propia a partir de Weiss (1972:28) y de Ballart (1992:97).

CAP. 5 METODOLOGAS DE EVALUACIN .

259

Cuadro 5.2. Dimensiones clarificadoras para la formulacin de objetivos.

1.

Naturaleza y contenido de los objetivos.

Qu es lo que se desea cambiar con el proyecto: opiniones, actitudes, comportamientos, el


nivel de informacin....?
2.

Ordenacin de los objetivos.

A qu nivel de abstraccin se afirman los objetivos? A nivel de inputs, de operaciones, de


resultados finales?
3.

Poblacin-objetivo.

Para qu grupo especfico se hace el programa? Cules son los lmites o fronteras
(geogrficas, de edad, de nivel de renta...) del grupo-objetivo?
4.

Plazo en que se prevn los efectos.

Cunto tiempo tardarn en producirse los efectos del programa? Se trata de efectos inmediatos
o efectos a medio-largo plazo?
5.

Magnitud de los efectos.

Qu efecto se espera? De qu magnitud? Es posible cuantificar los efectos esperados?


6.

Estabilidad de los efectos.

Cunto tiempo durarn los efectos del programa o proyecto? Ser necesario mantener la
intervencin para que se mantengan los efectos?
7.

Multiplicidad de objetivos.

Tiene el programa ms de un propsito? Son stos incompatibles? Estn relacionados o son


completamente indiferentes? Qu objetivos son prioritarios?
8.

Consecuencias o efectos no esperados.

Qu consecuencias o efectos no esperados puede producir el proyecto o programa?

Fuente: Shortell y Richardson (1978:18-19). Traduccin de Ballart (1992:100).

CAP. 5 METODOLOGAS DE EVALUACIN .

260

c) Ordenacin de los objetivos.


Los objetivos de un proyecto pueden ser ordenados conforme a su relacin con
el diseo-implementacin o con la evaluacin de sus impactos. En funcin de
este criterio, Ballart (1992:98-99) distingue entre objetivos inmediatos,
intermedios y finales.
Los objetivos inmediatos son variables input, que tienen que ver con los
recursos naturales y humanos de que dispone el proyecto. Son los primeros a
especificar, pues de ellos depende la posibilidad de ejecutar con xito el
proyecto o no.
Los objetivos intermedios o variables puente (Weiss 1972:47), permiten
asociar inputs y actividades a realizar con resultados finales.
Los objetivos finales o variables operacionales, son previsiones organizativas
que determinan el qu, cundo, cmo y dnde tendrn lugar los efectos
esperados del proyecto. Son los ms relevantes para la evaluacin formativa o
del proceso de ejecucin del proyecto.
Ilustremos esta clasificacin de objetivos con un ejemplo. En un proyecto cuya
actividad consiste en dotar de una biblioteca a una zona marginal de poblacin
rural o urbana, el objetivo inmediato sera la construccin fsica de la biblioteca
y la dotacin de libros en ella; el objetivo intermedio sera la formacin y
dotacin de un bibliotecario estable que ordene, abra y cierre el local, oriente
sobre la bsqueda de los libros, etc. Y el objetivo final podra ser el aumento de
la capacidad y rendimiento del capital humano de la zona, el descenso del
tiempo que la poblacin joven permanezca en la calle para evitar delincuencia o
agresividad, mejora del rendimiento escolar o cualquier otro de este estilo.
Una aproximacin muy similar a la de Ballart, es la que ofrecen Rossi y
Freeman (1989:72-73) al exponer que todo proyecto de desarrollo tiene incoado
un modelo terico subyacente, cuyo anlisis puede descomponerse en tres
hiptesis:

CAP. 5 METODOLOGAS DE EVALUACIN .

261

Hiptesis causal: estudia la influencia de uno o varios procesos en el


comportamiento o la condicin que el proyecto intenta modificar. Es el
cambio a generar, dada la situacin inicial.

Hiptesis de intervencin: especifica la relacin entre el proyecto y el


proceso asociado al cambio que se desea, expresado en la hiptesis causal.

Hiptesis de accin: examina si la intervencin est necesariamente


relacionada con los resultados, con el cambio que se quiere provocar.

Puede resultar til recordar este modelo a la hora de analizar y jerarquizar los
distintos objetivos y acciones que se pretenden. Pero esta multiplicidad
constituye, en s, otro problema.
d) Multiplicidad de objetivos.
Ya he venido insistiendo de manera reiterada en la conveniencia de que cada
proyecto tenga un solo objetivo especfico, pues resulta menos difcil evaluar un
solo logro concreto que todo un programa integrado de acciones que pueden
estar relacionadas o no, y ser controlables o no. En todo caso, cuando se
encuentren proyectos de mltiples objetivos deber procederse a:
-

revisar su congruencia para evitar incompatibilidades o contradicciones, y

tratar de jerarquizarlos siguiendo alguno de los instrumentos mencionados


arriba.

e) Efectos secundarios o imprevistos.


Si a la hora de realizar una evaluacin la atencin se centra exclusivamente en
analizar lo expresado o detectado en la formulacin inicial del proyecto, se
estar limitando la accin humana en que todo proyecto consiste. Es necesario
contemplar los efectos indirectos no anticipados, las consecuencias imprevistas
de la accin ejecutada sobre personas, ecosistemas o grupos sociales. El modelo
de evaluacin por objetivos, al limitarse a comparar lo proyectado con lo
realizado, segn los objetivos previstos, no tiene en cuenta estas otras realidades

CAP. 5 METODOLOGAS DE EVALUACIN .

262

que pueden modificar de forma sustancial el juicio evaluativo del proyecto. Por
ejemplo, un programa de formacin profesional para jvenes pre-delincuentes,
puede no tener ningn resultado sobre el objetivo de incrementar su
empleabilidad, pero puede modificar sustancialmente su autoestima y sus
relaciones familiares y sociales, aunque se no haya sido el objetivo formulado.
Hasta aqu he descrito unas cuantas dificultades relacionadas con el diseo de la
evaluacin y la formulacin del proyecto. Paso ahora a estudiar las dificultades que
pueden presentarse en el momento de la aplicacin de este modelo de evaluacin por
objetivos.
3.3.

DIFICULTADES EN SU APLICACIN.

Tres son las que voy a destacar: las exigencias relacionadas con la validez, la calidad de
los indicadores y la aplicacin del diseo experimental, que exige un grupo de control.
a) La validez interna y externa.
Para que un proyecto sea considerado cientficamente vlido, segn las pautas de
este modelo, debe resolver dos cuestiones fundamentales, conocidas como la
validez interna y la validez externa.
La validez interna determina hasta qu punto los efectos del proyecto han sido
debidos realmente al programa ejecutado y no a otros factores.
La validez externa expresa hasta qu punto los resultados del proyecto
particular pueden ser generalizados a otras situaciones o proyectos similares.
La gran dificultad que plantea la cuestin de la validez es la aplicabilidad del
principio de causalidad a las acciones de desarrollo humano, como se ha visto en
el captulo tercero. Habr que demostrar que el proyecto (variable
independiente) ha sido el causante directo de los cambios observados (variables
dependientes). Para poder afirmar esta relacin causa-efectos ser preciso
conocer y controlar la influencia de factores externos al proyecto que pudieran
explicar por s solos las variaciones observadas. En puro rigor, habra que
aislar, como si de un laboratorio se tratara, a los grupos y realidades humanas

CAP. 5 METODOLOGAS DE EVALUACIN .

263

que ejecutan el proyecto, para as investigarlo sin ninguna contaminacin que


invalide los resultados.
La validez externa se presenta an ms exigente, pues requiere formular leyes
universales y garantizar que proyectos iguales o semejantes ejecutados en
situaciones iguales o semejantes producirn resultados iguales o semejantes.
Qu situacin de desarrollo humano podramos describir que cumpliera
estrictamente estas exigencias? El factor humano es inconmensurable y la
historia de los proyectos ejecutados viene a confirmar ms bien lo contrario: que
lo que es vlido, y funcion de forma exitosa con un grupo humano en un
momento histrico concreto y en una zona geogrfica concreta, rara vez es
universalizable. Que incluso proyectos muy similares, con poblaciones
semejantes ejecutados en el mismo periodo de tiempo, han dado resultados muy
dispares. La gran cantidad de factores externos supone que la gran mayora de
los proyectos no se ejecuten exactamente tal y como se formularon, y que lo ms
frecuente es firmar modificaciones al plan aprobado, por muy cuidadosa que
haya sido dicha formulacin. En los procesos de desarrollo se trabaja con
personas en ambientes de extrema necesidad y las condiciones externas no son
nada favorables al control sino, ms bien, suelen ser un reto constante a la
improvisacin y la creatividad13.
b) La calidad exigida a los indicadores.
La base del clculo de los rendimientos de los factores que intervienen en el
proyecto reside en poder elaborar indicadores de alta calidad y bajo coste,
combinacin que suele ser compleja de realizar.

13

Como prueba de lo afirmado, la evaluacin de programas de desarrollo ejecutados por ONGD de


diversos pases ms extensa realizada hasta la fecha, es la del Grupo de Expertos del CAD que
examinaron los impactos de proyectos de ONGD de 10 pases donantes. En sus conclusiones
expresan que el factor que contribuy al xito o al fracaso del proyecto, que con mayor frecuencia
aparece en los estudios realizados es precisamente Factores externos y vnculos externos al
proyecto (External factors and links outside the project) con una frecuencia de 7 donantes, de
los 10 estudiados. CAD (1997b:31).

CAP. 5 METODOLOGAS DE EVALUACIN .

264

Recordemos que se requieren indicadores vlidos (o pertinentes, relacionados


directamente con el objetivo del proyecto), fiables (que sus resultados no
dependen del instrumento de medida usado para su recoleccin), globales (o que
las variables seleccionadas abarquen el conjunto de objetivos del proyecto),
controlables (las variaciones en el indicador dependen de la accin del proyecto
y no de factores ajenos a l), y baratos o cuyo coste sea razonable, dadas las
caractersticas y necesidades del modelo y diseo de la evaluacin elegida.
Al basarse el modelo de evaluacin por objetivos en un anlisis
predominantemente cuantitativo, la exigencia de calidad de estos indicadores es
superior a otros diseos y exige conocimientos tcnicos superiores que pueden
no estar al alcance de todas, ni de muchas ONGD, y cuya externalizacin
elevara de manera considerable el coste del proyecto y de la evaluacin.
c) La aplicacin del diseo experimental con grupo de control.
Una tercera dificultad intrnseca al diseo de evaluaciones que se basan en este
modelo cientfico y sumativo, es lo complejo que resulta crear un grupo de
control homogneo a la poblacin del grupo experimental y cuya formacin es
estocstica o aleatoria.
Es probable que se encuentren cuatro dificultades, entre otras, a la hora de
componer dicho grupo14.
En primer lugar, las personas a las que se les proponga formar parte de un grupo
de control no tendrn muchas razones para aceptar colaborar con un proyecto
que no les ha elegido a ellos como sujetos beneficiarios o cuya situacin
desconocen y no les afecta. Es difcil que acepten por simple simpata al
evaluador.

14

Para una descripcin ms en profundidad de este modelo, sus dificultades y cmo poder
solventarlas, vase Larr (2007b).

CAP. 5 METODOLOGAS DE EVALUACIN .

265

En segundo lugar, puede plantear problemas de tipo tico, pues se priva al grupo
de control de los servicios y beneficios que se prestan al grupo experimental.
Habr que poderlo justificar seriamente.
En tercer lugar, existen peligros de contaminacin del grupo de control, si no
se impide y se vigila el contacto con poblacin del grupo experimental, pues
quedara invalidado en su finalidad.
En cuarto lugar, podemos imaginar los altos costes que supone crear lneas de
base, intermedias y finales de datos fiables y las mismas variables, para las dos
poblaciones, la de control y la experimental.
Hasta aqu las dificultades relativas a la aplicacin y puesta en prctica del modelo de
evaluacin por objetivos.
Cabra aadir algunas limitaciones ms, como la falta de garanta de que se generar
informacin til para los agentes de desarrollo y que se practicar una retroalimentacin
eficaz, o la exigencia de que slo sea aplicable a evaluaciones ex post para proyectos
terminados, y no valga para evaluaciones sobre la marcha que permitan corregir
desviaciones, o por ltimo- cuestionar su misma lnea de flotacin argumental al
considerar si el rendimiento de los insumos utilizados en un proyecto es el criterio
ltimo que debe utilizarse en estos contextos. De alguna manera estas limitaciones van a
ir apareciendo a lo largo de los epgrafes que restan de este captulo, cuando
presentemos modelos alternativos a este paradigma.
Slo nos resta tratar de sintetizar lo expuesto hasta aqu, para visualizar de forma
conjunta los principales rasgos de este modelo. Es lo que ofrecemos en el Cuadro 5.3.

CAP. 5 METODOLOGAS DE EVALUACIN .

266

Cuadro 5.3. Caracterizacin del modelo de evaluacin por objetivos.

Necesidades previas:

Definir objetivos claros y precisos.

Evaluar es:

Comparar resultados con objetivos.

Intereses predominantes:

Planificadores
y
formuladores
de
proyectos. Organismos cofinanciadores y
agentes (ONGD) del Norte.

Cuestiones principales:

Qu variables alcanzaron sus objetivos?

Mtodos ms comunes:

Comparacin datos-objetivos con base


cuantitativa.

Diseo de evaluacin:

Cientfico-experimental.

Herramientas predominantes:

Tcnicas cuantitativas.

Ventajas:

La generalizacin prctica del Marco


Lgico en la formulacin de proyectos.
La obligacin previa de formular objetivos
rigurosos.
Las tcnicas cuantitativas pueden ser
menos costosas y rpidas que algunas
cualitativas.
Puede cuantificarse el nivel de los logros y
fracasos de cada objetivo.

Inconvenientes:

Formulacin generalista e imprecisa de


objetivos.
Falta de jerarquizacin de objetivos.
Multiplicidad de objetivos.
El anlisis est basado nicamente en los
efectos esperados.
Ignorancia de los efectos secundarios o
indirectos.
Imposibilidad
experimental.

prctica

del

diseo

CAP. 5 METODOLOGAS DE EVALUACIN .

267

Ms aplicable a proyectos terminados


(evaluacin ex post, sumativa).
Su carcter sumativo, no garantiza la
retroalimentacin.
No tiene carcter formativo, si no se
pronuncia sobre cmo y por qu se
lograron o no los objetivos.
Su rigidez y verticalidad.
El rendimiento como ltimo criterio para
evaluar procesos de desarrollo humano?
Fuente: Elaboracin propia.

4.

EL MODELO LIBRE DE OBJETIVOS.

4.1.

CONSIDERACIONES PREVIAS.

Analizadas las caractersticas y limitaciones del modelo de evaluacin por objetivos,


iniciamos ahora la exposicin de otros modelos que han surgido como respuesta a estas
limitaciones. Se trata de modelos que podramos denominar pluralistas (Ballart
1992:151) y que tienen los siguientes rasgos en comn:

Ante la realidad plural y diversa de la evaluacin, tanto en contextos


geogrficos y culturales, como de intereses de los diversos agentes de la
cooperacin, estos modelos van a considerar una multiplicidad de valores como
criterios de evaluacin, en vez de la sola eficacia que aplica el modelo clsico
por objetivos.

De alguna manera, y en diverso grado, van a tener una preocupacin por la


utilizacin efectiva de los resultados e informes de evaluacin, as como el
cuidado de que las recomendaciones que se hagan, fruto del ejercicio evaluador,
sean puestas en prctica.

Utilizan herramientas preferentemente cualitativas, de cara a obtener un


conocimiento profundo tanto del proyecto, como del contexto humano en el que
se desarrolla.

CAP. 5 METODOLOGAS DE EVALUACIN .

268

Sustituirn los mtodos cientficos que precisan un entorno estable y sin


cambios, por otros que se adapten a la naturaleza dinmica y evolutiva de los
proyectos.

As pues, podemos contraponer los trminos de evaluacin racional-cientficacuantitativa-sumativa del modelo clsico por objetivos, a los de pluralista-naturalistacualitativa-formativa del grupo de modelos que vamos a exponer a continuacin.
El primer modelo que se distanci de la filosofa y presupuestos del modelo por
objetivos fue el de Scriven (1973), que l denomina, precisamente, evaluacin libre de
objetivos.
Michael Scriven es un filsofo cientfico de formacin matemtica, que ampla estudios
en lgica simblica (Universidad de Melbourne) y en filosofa de la Ciencia
(Universidad de Oxford), dedicndose desde los aos cincuenta a la docencia e
investigacin en varias universidades estadounidenses y en Australia.
Scriven propone desplazar el centro de la evaluacin desde los objetivos hacia las
necesidades, ya que piensa que los primeros pueden estar mal definidos, ser
reformulados a lo largo de la ejecucin del proyecto o incluso inadecuados o inmorales
para el contexto cultural en el que se realiza la accin. Propone as una desviacin desde
el ngulo del productor o formulador del proyecto, al ngulo del consumidor o
beneficiario de la accin y sus necesidades.
Adems la evaluacin debe buscar efectos reales y no supuestos, sin prescindir de los
efectos indeseados o secundarios y no previstos, y para ello cree que lo mejor que puede
hacer el evaluador es desconocer los objetivos iniciales para no dejarse influir por ellos.
As, el evaluador debe generar dos tipos principales de informacin: valorar
todos los efectos realmente producidos y analizar las necesidades de los
beneficiarios para valorar as mismo la importancia de dichos efectos.
Vemos que el trmino clave es ahora valorar o juzgar acerca del valor de las cosas,
porque esa es la misin de la evaluacin en este modelo. Ya no interesa tanto medir o

CAP. 5 METODOLOGAS DE EVALUACIN .

269

cuantificar resultados (outcomes) tan llenos de dificultades y ambigedades, como ca


lcular el valor de las cosas y juzgar, incluso ticamente, sobre ellas y sus alternativas.
Esto ha llevado a denominar al evaluador como el sustituto informado del consumidor
o la conciencia social bien informada (Stufflebeam y Shinkfield 1993:341).
Con este prembulo podemos adentrarnos ya en el concepto de evaluacin propio de
Scriven.
4.2.

EL CONCEPTO DE EVALUACIN EN SCRIVEN.


Evaluar es calcular el valor de las cosas, determinar el valor o mrito de algn
objeto. Esta es la idea de fondo del modelo libre de objetivos. Ms
concretamente y en palabras de su autor, evaluar
consiste simplemente en la recopilacin y combinacin de datos de trabajo
mediante la definicin de unas metas que proporcionen escalas comparativas o
numricas, con el fin de justificar los instrumentos de recopilacin de datos, las
valoraciones y la seleccin de las metas 15.

Vemos que hay grandes diferencias con los planteamientos del modelo clsico por
objetivos. Ahora los evaluadores deben ser capaces de utilizar instrumentos cualitativos
para conocer no slo el texto o contenido del proyecto, sino el contexto donde se
realiza, para ser capaces de emitir juicios de valor justificables sobre el valor de lo
realizado, ms que si las metas fueron alcanzadas o no. El valor de los resultados viene
determinado por las necesidades de sus beneficiarios o consumidores y usuarios. Se
miden entonces ms estas necesidades y su eficiencia frente a posibles alternativas que
la eficacia o pertinencia de la formulacin de los objetivos previstos. No hay que
limitarse por los objetivos o metas, sino que incluso stos son objeto de valoracin y
los impactos no estn limitados a lo formulado previamente.
Una vez definido el concepto de evaluacin en este modelo, podemos pasar a describir
sus principales caractersticas.

15

Scriven (1967). Traduccin tomada de Stufflebeam y Shinkfield (1993:343).

CAP. 5 METODOLOGAS DE EVALUACIN .

270

4.3.

CARACTERSTICAS DEL MODELO LIBRE DE OBJETIVOS.


Entre los principales rasgos que perfilan este modelo tenemos: es una evaluacin
sumativa y formativa, es amateur y profesional, es intrnseca y final, es sin metas
y es de las necesidades.

a) Evaluacin sumativa y formativa.


Scriven asume estas dos funciones de la evaluacin. La evaluacin por objetivos,
preferentemente sumativa, trata de calcular el valor de las acciones realizadas y
terminadas, a modo de productos puestos en el mercado, de los que se mide su eficacia.
La evaluacin libre de objetivos aade el enfoque formativo, con el que se trata de
perfeccionar el producto creado, valorando sus cualidades (enfoque cualitativo) y
aportando datos para poder tomar decisiones futuras que mejoren la calidad de lo
realizado. Se fija ms en la eficiencia y crea recomendaciones de mejora para ir
construyendo un acervo de buenas prcticas 16.
b) Evaluacin amateur y profesional.
Entendemos por amateur no que sea de menor calidad, sino una evaluacin realizada
por evaluadores miembros del propio equipo gestor del proyecto, a lo largo de su
ejecucin. Es lo que en esta investigacin hemos identificado como evaluacin
concurrente, seguimiento o evaluacin on going. Esta autoevaluacin se centra en
detectar desviaciones sobre lo programado para corregirlas en la medida de lo posible o
para advertir modificaciones necesarias sobre lo planificado. Es por tanto ms
formativa.
La evaluacin profesional, ms sumativa, aade rigor tcnico a los juicios de valor, que
pueden ser algo ms objetivos que la autoevaluacin amateur.

16

En el epgrafe 6.2.4. de este estudio se ampla la distincin entre evaluaciones sumativas y


formativas.

CAP. 5 METODOLOGAS DE EVALUACIN .

271

c) Evaluacin intrnseca y final.


Scriven entiende por evaluacin intrnseca la efectuada sobre el proyecto, y por
evaluacin final la que incluye los efectos sobre los beneficiarios o consumidores, en
una mentalidad ms integral que desea tener en cuenta todos los efectos producidos por
las acciones, tanto los deseados, previstos o directos, como los imprevistos, indeseados
o indirectos.
d) Evaluacin sin metas.
Es, quiz, la aportacin principal del modelo libre de objetivos. Scriven propone
ignorar, a propsito, los objetivos planteados en el proyecto para ayudar a los
evaluadores a captar y valorar todos los impactos sobre la poblacin beneficiaria y su
entorno.
Esto nos da pie para proponer que todos los efectos se valoren bajo un principio de
igualdad y se ignore la connotacin de secundarios o colaterales, pues a menudo
tienen el efecto de ser justificaciones de errores que, no por ser menores, deben dejar de
ser denunciados. Adems, quin determina si un efecto es principal o secundario
en un proyecto de desarrollo humano, tan sometido a incertidumbres y procesos
dinmicos de relaciones de poder? Lo que hoy puede valorarse como pequeo efecto
secundario maana puede revelarse como determinante en la poltica de igualdad de
oportunidades, respeto cultural o cuidado medioambiental.
De todas formas, Scriven no anula las evaluaciones que se practiquen conociendo
previamente los objetivos del proyecto o programa, sino que cree que stas pueden
complementarse con las realizadas de forma libre, o simultanear ambos enfoques. Como
creador del enfoque libre de objetivos cree que ste aporta mayor flexibilidad y
adaptabilidad a los cambios repentinos que existen en los proyectos de desarrollo, que
es ms solvente para descubrir efectos indirectos, menos propensa a la tendenciosidad
social, perceptiva o cognitiva, ms estimulante profesionalmente hablando y ms
equitativa para apreciar una amplia gama de valores inherentes al proyecto ejecutado.

CAP. 5 METODOLOGAS DE EVALUACIN .

272

e) Evaluacin centrada en las necesidades.


Para el modelo de Scriven, evaluar es comparar resultados observados con necesidades
valoradas de los consumidores o beneficiarios de los proyectos. Este enfoque permite
enlazar el modelo libre de objetivos, originalmente desarrollado en el mbito de las
ciencias de la educacin, con la teora de las necesidades trabajada en el mbito
econmico y en concreto con el enfoque de desarrollo de Paul Streeten, que entiende el
proceso de desarrollo como las acciones que permiten satisfacer las necesidades bsicas
de la poblacin de un pas17.
Aqu encontramos un problema de coherencia, porque en el fondo- una necesidad es
una discrepancia entre algo real vivido y algo ideal querido (necesario), siendo
precisamente lo ideal, lo fijado como objetivos del proyecto. Un objetivo no es si no la
concrecin de una necesidad sentida y no satisfecha que el proyecto trata de satisfacer.
En el fondo, y desde esta perspectiva, la evaluacin de Scriven es tambin una
evaluacin basada en metas u objetivos: las necesidades de los consumidores, utilizando
su lenguaje.
Como exponen Stufflebeam y Shinkfield, Scriven ha respondido a esta objecin
negando la validez del concepto de necesidad como discrepancia entre lo real y lo ideal
y aadiendo que, a menudo, los ideales son ilusorios. A esto cabe responder que tan
ilusorios pueden ser los ideales como las necesidades, tan culturales, relativas,
aprendidas, inducidas o subjetivas. Creemos que cualquier estudio fenomenolgico de la
necesidad revelar notas como stas.
Sin embargo, para Scriven, la necesidad es cualquier cosa que sea esencial para un
modo satisfactorio de existencia, cualquier cosa sin la cual este modo de existencia o
nivel de trabajo no puede alcanzar un grupo satisfactorio 18.

17

Para un desarrollo interesante del enfoque de las necesidades pueden consultarse las obras de
Doyal y Gough (1994) o Riechmann (1998). Un fuerte impulso a esta teora del desarrollo fue el
informe de la O.I.T. (1976) que sintetiza y comenta Bustelo (1991:45-64) y (1998:69-78). Para el
pensamiento de Streeten puede consultarse Streeten (1972) y Streeten et al. (1981).

18

Citado en Stufflebeam y Shinkfield (1993:348).

CAP. 5 METODOLOGAS DE EVALUACIN .

4.4.

273

LA METAEVALUACIN Y EL CONTROL DE LOS INDICADORES.


Una vez expuestas las caractersticas bsicas del modelo libre de objetivos
pasamos a mencionar otras aportaciones importantes de Scriven al campo de la
evaluacin.

Una de ellas es la introduccin del concepto de metaevaluacin. En esencia se trata


de valorar tambin la calidad de las evaluaciones realizadas y sus instrumentos. Su
finalidad es intentar evaluar las propias evaluaciones. Tambin son aplicables a la
metaevaluacin las dimensiones formativa y sumativa. La metaevaluacin formativa la
constituye las tcnicas que ayudan al evaluador a planificar y realizar un ejercicio
solvente. La metaevaluacin sumativa es la que proporciona al cliente pruebas
independientes acerca de la competencia tcnica del evaluador principal y de la
solvencia de sus informes.
Otra de sus aportaciones es elaborar una lista de control que permite ir verificando
los diversos niveles de valoracin que toda evaluacin libre de objetivos pretende. A
esta lista se la ha denominado multimodelo de evaluacin por su gran versatilidad
(Stufflebeam y Shinkfield 1993:348). Ofrecemos en el Cuadro 5.4. los titulares de sus
componentes19.
Estos titulares pueden ser poco significativos enunciados por s mismos, por lo que a
continuacin vamos a adaptar su contenido al contexto de esta investigacin: los
proyectos elaborados por las ONGD. Con ello pretendemos aumentar su utilidad a la
vez que ampliamos la visin multimodal que tiene Scriven de la evaluacin.

19

La lista de control contiene la explicacin de cada elemento y preguntas para su utilizacin. El


desarrollo completo puede consultarse en las fuentes del cuadro citadas.

CAP. 5 METODOLOGAS DE EVALUACIN .

274

Cuadro 5.4. Lista de control de Scriven.

1. DESCRIPCIN.

10. EL PROCESO.

2. EL CLIENTE.

11. RESULTADOS.

3. ANTECEDENTES Y CONTEXTO.

12.POSIBILIDAD DE GENERALIZACIN.

4. RECURSOS.

13. COSTES.

5. FUNCIN.

14. COMPARACIONES.

6. SISTEMA DE DISTRIBUCIN.

15. SIGNIFICADO.

7. EL CONSUMIDOR.

16. RECOMENDACIONES.

8. LAS NECESIDADES Y LOS VALORES.

17. EL INFORME.

9. NORMAS.

18. LA METAEVALUACIN.

Fuente:

Scriven

(1988:258-260).

Traduccin

adaptacin

tomada

de

Stufflebeam

Shinkfield (1993:349-351).

Descripcin. Se trata de lograr la mayor precisin posible sobre el objeto a evaluar, por
lo que hay que incluir todas las dimensiones del proyecto: sus componentes, sus
relaciones y, sobre todo, que recoja el consenso de los agentes de la cadena de
cooperacin: ONGD, organismos cofinanciadores, organizacin local u ONG del Sur, y
beneficiarios. Qu entiende cada uno por evaluar? Cules son sus intereses? La
evaluacin comienza con la descripcin o concepcin de quien la encarga (el cliente),
pero debe terminar con la descripcin que haga el evaluador, fruto de la escucha de los
diversos actores.
El cliente. Quin ha encargado la evaluacin? Puede ser igual o distinto que el
iniciador o de la investigacin, igual o distinto que el promotor (por ejemplo la AECID
o la DGPOLDE para el caso espaol), o puede ser igual o distinto que su inventor (el
planificador del proyecto, el creador de un modelo nuevo de evaluacin o cualquier
otro).

CAP. 5 METODOLOGAS DE EVALUACIN .

275

Antecedentes y contexto. Se trata de determinar el contexto de la evaluacin o de lo que


vaya a ser evaluado. Las expectativas y temores de todos los agentes involucrados y el
tipo concreto de evaluacin elegido: sumativa o formativa, ms cuantitativa o
cualitativa, de seguimiento y control o final y de impacto, qu prioridades atender y qu
esquemas organizativos utilizar.
Recursos. Deben considerarse los recursos potencialmente disponibles, no slo los
pecuniarios, sino tambin las habilidades, experiencia previa y capacitacin de los
evaluadores, la tecnologa disponible y algunas consideraciones sobre la flexibilidad
permitida a los acuerdos logrados. En el fondo, los recursos determinan la viabilidad de
la evaluacin.
Funcin. Tratamos aqu de determinar el papel de los beneficiarios o evaluandos. Es
importante distinguir entre la funcin real del evaluando (lo que est haciendo) y la
funcin ideal o declarada (lo que debera hacer). Hay que vigilar las buenas
intenciones de dar cabida a los beneficiarios en posible contraste con sus escasas
habilidades, falta de inters real o de experiencia, desconfianza o sesgo hacia lo positivo
para que no le retiren la confianza ni los beneficios recibidos. Sin menospreciar su
papel, tambin debe ser objeto de evaluacin.
Sistema de distribucin. Consideramos aqu el funcionamiento propio del mercado del
producto o servicio generado por el proyecto. Cmo funciona el mercado de este bien
o servicio en este entorno concreto? Cmo se crea este mercado, cmo se mantiene al
da y se va perfeccionando, cmo se controlan y liquidan sus intercambios y
operaciones, quin hace las operaciones, hay dominios o exclusiones? Es importante
atender a estos interrogantes, sobre todo en el anlisis de la sostenibilidad de las
acciones emprendidas.
El consumidor. En nuestro contexto, los consumidores de los proyectos son los que
hemos venido denominando los beneficiarios de las acciones. Aquellos que reciben los
efectos del proyecto y los utilizan. El anlisis de los consumidores conduce a distinguir
los beneficiarios potenciales de los reales actuales, y los impactos o efectos previstos de
los imprevistos, as como de los beneficiarios directos e indirectos del programa
ejecutado.

276

CAP. 5 METODOLOGAS DE EVALUACIN .

Las necesidades y los valores. Hay que considerar todo el conjunto de los valores
puestos en juego, ya sea de los afectados en toda la cadena del proyecto, como de los
potencialmente influidos por el mismo. Dentro de los valores, Scriven incluye deseos,
necesidades, normas sobre el mrito de las acciones, ideales juzgados o supuestos, y las
metas u objetivos del programa si se hace evaluacin por objetivos. Las consideraciones
ticas de todas estas valoraciones no deben ahorrarse.
Normas. Scriven se interroga: Existen normas preexistentes y objetivamente valoradas
acerca del mrito o valor de la ejecutado, que deban aplicarse o tenerse en cuenta? A
nuestro parecer el fin de este elemento es poder jerarquizar en una escala los valores
preexistentes para que sirvan de marco de referencia a la evaluacin.
El proceso. En este caso hay que considerar las implicaciones legales, polticas,
estticas, culturales, administrativas, cientficas, de promocin o de otro orden, de todos
los afectados por el proceso evaluativo. Podemos encontrarnos con dilemas ticos o
situaciones complicadas por los resultados de una evaluacin en cualquiera de los
campos arriba mencionados.
Resultados. El acento de Scriven es extender el anlisis de resultados a los efectos
indirectos o no pretendidos. Puede realizarse de forma integral, con una matriz de
efectos que considere variables como las siguientes: poblacin afectada, tipo de efecto
(cognitivo, afectivo, sanitario, cultural, social, medioambiental...), tiempo de
sensibilidad del efecto (inmediato, a medio plazo, al final del proyecto, a largo plazo),
duracin prevista del efecto, componentes principales del efecto.
Posibilidad de generalizacin. Se desea determinar el grado de exportacin de estos
efectos a otras personas, lugares, culturas, tiempos y en qu condiciones se prev que se
producirn efectos similares.
Costes. Se tienen en cuenta tanto los dinerarios como los no pecuniarios, los directos y
los indirectos.
Comparaciones. Hay que considerar las alternativas o realizar el anlisis de eficiencia.
A menudo la deteccin del competidor crtico puede ser la aportacin ms reconocida
al evaluador, por dolorosa que sea. El principal freno en este sentido es la tendencia a

CAP. 5 METODOLOGAS DE EVALUACIN .

277

reproducir los proyectos de forma burocrtica y no creativa, como ya hemos comentado


en este estudio.
Significado. Este ambiguo elemento lo define Scriven como una sntesis de todo lo
anterior (Scriven 1988:259). Sus comentaristas reconocen la dificultad de validar una
sntesis de tantos elementos, sobre todo al no disponer de un juez imparcial y capaz (el
cliente) y al disponer de frmulas de clculo limitadas, como el anlisis coste-beneficio.
Optan por una flexible suma ponderada de lo revisado (Stufflebeam y Shinkfield
1993:351).
Recomendaciones. Pueden formularse o no, pues no son un subproducto automtico de
las conclusiones obtenidas. Dependern en buena medida de los recursos disponibles en
el ejercicio evaluador.
El informe. Tan complejo como la descripcin inicial, Scriven desea dotar de calidad
cientfica a los informes evaluativos, como si fueran a ser publicados en una revista
cientfica especializada. El vocabulario, extensin, diseo y forma de presentacin sern
cuidados al mximo, as como la decisin de su proteccin, privacidad y publicidad,
tanto de los borradores como de la versin final.
La metaevaluacin. Ya la hemos definido como la operacin que consiste en evaluar la
propia evaluacin o aplicar esta lista de control al propio informe generado tras el
ejercicio evaluativo. Como hemos expuesto, la evaluacin en Scriven es autoevaluacin
(amateur) y control externo. Los resultados de la metaevaluacin deben ser usados
formativamente y ser transmitidos, al menos en un informe ejecutivo, a los propios
clientes y actores involucrados.
Por ltimo, debemos sealar que todos estos elementos no estn concebidos
secuencialmente, sino ms bien de forma integral para ser aplicados a lo largo de toda la
evaluacin. Los primeros elementos son de orden ms formativo, mientras los ltimos
son ms sumativos. La lgica interna del proceso de control est basada en una
concepcin de la evaluacin en la que sta es un proceso de reduccin de datos muy
dispersos en la realidad, y que hay que escoger, sintetizar y valorar hasta llegar a un
juicio de valor global.

CAP. 5 METODOLOGAS DE EVALUACIN .

278

4.5.

LA CRTICA DE SCRIVEN A LAS IDEOLOGAS.

Como filsofo cientfico, Scriven est preocupado por acceder de la forma ms perfecta
posible a la realidad, y describirla de una manera cientfica. En este camino, descubre
que hay cuatro ideologas dominantes en el actual panorama de las evaluaciones que l
trata de desenmascarar (Scriven 1987 y 1988:230-240).
1) La ideologa separatista.
La primera de estas ideologas es la separatista. La denomina as porque trata de separar
exageradamente el sujeto y el objeto de conocimiento cuando se hacen evaluaciones.
Parece que el evaluador es alguien totalmente independiente y externo que se dirige a
una realidad concreta objeto de evaluacin, y observndola, capta neutralmente su valor
y lo juzga. Esto no es as de ninguna manera. Scriven lo expone diciendo que la
evaluacin es una actividad autorreferente (self-reference), es decir, no termina en s
misma, sino que tambin es objeto de evaluacin, como la metaevaluacin pretende.
Pero Scriven detecta muchos recelos a que los propios evaluadores dejen que sus
trabajos sean evaluados, siendo precisamente esta voluntad una marca de fbrica o
garanta de que el trabajo realizado ha sido de calidad. A esta tendencia perversa de los
recelos a ser evaluados, Scriven la denomina valorfobia (valuephobia). Frente a esta
reserva, propone que las evaluaciones sean hechas lo menos tendencialmente posible, de
forma que pueda someterse a examen el trabajo realizado conforme a normas de
comparacin reconocidas universalmente.
A nuestro juicio esto no se sostiene, pues quin determinara estas normas universales
de calidad evaluadora? Entramos en un proceso de dinmica constante que podramos
llamar la meta-meta-evaluacin, y que creemos que es lo que quiere expresar Scriven
cuando dice que la evaluacin es una actividad autorreferente. Nunca se cierra sobre s
misma, sino que permanece en constante dinamismo, como la propia estructura de la
realidad20.

20

Esta concepcin la desarrolla de forma muy sugerente Zubiri en su obra titulada precisamente
Estructura dinmica de la realidad. Cfr. Zuiri (1989).

CAP. 5 METODOLOGAS DE EVALUACIN .

279

Donde s acierta Scriven es proponiendo la idea de que evaluar integralmente un


proyecto o cualquier accin es evaluar tambin a las personas que lo realizan, pues el
xito o fracaso de todo programa es inseparable del trabajo de su personal. En este
punto, se oponen frontalmente las recomendaciones del manual de evaluadores de la
agencia noruega (NORAD) que mantiene que la evaluacin debe hacerse sobre acciones
o hechos y nunca sobre personas, para evitar los conflictos interpersonales21.
En definitiva, y a modo de valoracin, creemos que Scriven acierta al tratar a la
evaluacin como una actividad autorreferente y que la valorfobia realmente existe.
Pero no podemos pedir a los trabajos de evaluacin sobre las evaluaciones, lo que la
propia autorreferencia niega: una estabilidad neutral sobre la que juzgar y valorar la
realidad, pues sta es dinmica y

en nuestros juicios tambin deberemos incluir

conductas humanas.
2) La ideologa positivista.
La ideologa positivista, tan presente en crculos cientficos a lo largo del siglo, es la
reaccin exagerada a la valorfobia. Deudores de un planteamiento riguroso pero
excluyente de lo que es la ciencia, desarrollado sobre todo en el entorno del crculo de
Viena, los positivistas pretenden realizar evaluaciones sin ninguna contaminacin
axiolgica. Los valores deben dejarse aparte por el evaluador, quien se acercar a la
realidad del proyecto de una forma neutral y asptica, para describir los resultados
reales del proyecto ejecutado.
Scriven ataca frontalmente esta mentalidad, pues supone un rechazo total a la
autorreferencia de la evaluacin y de la propia ciencia, adems de una excusa para
reducir la ansiedad que provoca la valorfobia. Mientras la ideologa separatista
rechaza la naturaleza autorreferente de la ciencia o de la evaluacin, la ideologa
positivista rechaza la naturaleza evaluativa de la ciencia (Scriven 1988:232). Para l,

21

En concreto sostiene el manual la siguiente postura matizada: La evaluacin de proyectos no


incluye normalmente la evaluacin de personas concretas. Por otra parte, con frecuencia surgen
aspectos, como el liderazgo, que pueden lindar con la evaluacin de personas. En tales casos,
debe tenerse en cuenta que lo que ha de ser evaluado es la funcin de la persona y no a ella
misma. NORAD (1997:13).

280

CAP. 5 METODOLOGAS DE EVALUACIN .

ya lo hemos reiterado, evaluar es asignar significados de valor a los resultados obtenidos


en la accin evaluada. Oponerse al positivismo es reconocer humildemente la fragilidad
de las posibilidades del conocimiento humano, y negar la pretensin de absoluta
objetividad, sin que ello suponga un demrito al inmenso potencial que el intelecto
humano posee. En definitiva, el objetivismo radical supone la prdida completa del
sujeto cognoscente y evaluante y esto se nos presenta inadmisible.
3) La ideologa administrativa.
En esta ideologa Scriven denuncia los sesgos y manipulaciones que pueden contener
las evaluaciones, debido a que quien las encargue o financie (los administradores) no
estn dispuestos a aceptar valoraciones negativas sobre su trabajo y competencia. Si
reciben un informe negativo, no volvern a encargar a ese evaluador otro ejercicio,
introduciendo as un clientelismo perverso en el sistema de evaluacin. Sera
demasiado ingenuo no reconocer la predisposicin hacia informes favorables, mxime
en el contexto de la ayuda internacional, donde las agencias y ONGD muestran una
altsima sensibilidad hacia lo que la opinin pblica piense sobre ellas. El
reconocimiento de fallos en la gestin de los recursos administrados por ellas, sean de
origen privado a travs de donaciones o cuotas, o sean de origen privado hechos
pblicos a travs de los impuestos convertidos en subvenciones, podra generar efectos
intolerables en la propia organizacin. Quiz esto influya en la an no superada
reticencia a realizar, de forma sistemtica, evaluaciones de impacto y a publicar sus
resultados.
Sin duda lo ms til de esta denuncia es la toma de conciencia de los sesgos inherentes
al proceso evaluador, insuperables de modo absoluto; pero que su reconocimiento ya
supone un avance para su adecuada interpretacin. De alguna manera, volvemos al tema
de la poltica en la evaluacin, ya planteado en la introduccin de este captulo.
La propuesta de Scriven es dotar de ms peso a las evaluaciones orientadas a los
consumidores-beneficiarios y restrselo a las orientadas hacia los gerentes o
administradores de los proyectos. l propone elaborar informes de consumo que sean
comentados por cientficos que crean que la evaluacin emprica y objetiva es imposible

CAP. 5 METODOLOGAS DE EVALUACIN .

281

y por administradores que piensen que la evaluacin libre de objetivos es imposible. As


se llegara a un posible punto medio o de encuentro.
En resumen, evitando la evaluacin del administrador y del personal (lo cual coincide
con la ideologa separatista), considerando la evaluacin como un servicio tcnico
desprovisto de determinaciones de valor (mtodo positivista) y ayudando a los
administradores a conseguir el buen informe que necesitan sobre el logro de sus metas
(ideologa administrativa), el evaluador convierte, efectivamente, la evaluacin en un
perjuicio y no en una contribucin a la sociedad (Stufflebeam y Shinkfield 1993:355).
4) La ideologa relativista.
Es la reaccin exagerada al positivismo. Frente a la postulacin de un mundo externo,
objetivo, que el positivista sostiene, los relativistas afirman que cada individuo tiene su
propia realidad y todas ellas son igualmente legtimas. La ideologa relativista es la
supresin de todo orden objetivo. En el campo de la moral es la oposicin ms radical al
more geomtrico de Spinoza y al intento de cualquier fundamentacin objetiva de las
conductas. Todo queda en opinin subjetiva y por tanto la evaluacin no puede aspirar
ms que a ser una ms en la esfera individualista que la realidad humana constituye.
El relativismo es radicalmente contradictorio, pues el todo es relativo es ya una
proposicin universal que invalida la premisa, incumpliendo el primer principio de toda
lgica, el de no contradiccin. Querer hacer de una proposicin universal un particular
es defender lo indefendible.
Si a esto aadimos el argumento de que nadie practica, en rigor, un relativismo puro en
su propia forma de vivir, vemos que la construccin tiene ms de esnobismo intelectual
que de adecuacin a la verdad.
En nuestro contexto, y dulcificando sus presupuestos, el relativismo ayudara a las
excusas mltiples para no ejecutar evaluaciones, servira de pantalla para no efectuar los
cambios que las recomendaciones de los informes contengan, o relajara las
responsabilidades y compromisos que los propios evaluadores asumen cuando aceptan
un contrato de evaluacin. Habra, as, mltiples interpretaciones, perspectivas,
criterios, valoraciones, mtodos, respuestas y conclusiones. Y las evaluaciones slo

CAP. 5 METODOLOGAS DE EVALUACIN .

282

seran documentos literarios que expresan algunas de ellas, pero que nunca podrn ser
usadas para tomar decisiones.
Frente al relativismo, Scriven aconseja sin ser tan crtico como los positivistasmantener viva la tensin hacia la objetividad de la realidad, aunque sta sea tan rica que
no pueda ser descrita exhaustivamente. Como mantienen comentadores suyos, aunque
puede haber una compleja realidad ms all de nuestra capacidad presente de
comprender y describir a fondo, slo nos engaaremos a nosotros mismos si creemos
que no existe (Stufflebeam y Shinkfield 1993:356).
Terminamos el comentario a la crtica a las ideologas realizado por Scriven,
representndolas grficamente en funcin de un centro: la valorfobia.
Positivismo

4.6.

Separatismo

VALORFOBIA

Administrativa

Relativismo

SNTESIS Y VALORACIN FINAL.

Como al final de cada exposicin del modelo, ofrecemos un cuadro sinttico de las
principales aportaciones que ofrece a un ejercicio de evaluacin, incluyendo una
valoracin personal sobre su conjunto.
Cuadro 5.5. Caracterizacin del modelo libre de objetivos.

Objeto central de la evaluacin:

Las necesidades de los beneficiarios


consumidores y los valores sociales.

Evaluar es:

Determinar el valor de las cosas (acciones,


resultados y personas), juzgar los mritos
relativos de bienes y servicos alternativos y
cmo satisfacen necesidades.

Intereses predominantes:

Todos los agentes de la cadena de


cooperacin por igual, los usuarios, la
sociedad, el evaluador.

Cuestiones principales:

Qu alternativas se ofrecen a los


consumidores que satisfacen de mejor
forma sus necesidades, dados sus costes y

CAP. 5 METODOLOGAS DE EVALUACIN .

283

valores?
Mtodos ms comunes:

Listas de control, valoracin de las


necesidades, evaluar sin metas,
planificacin experimental y anlisis de
coste.

Diseo de la evaluacin:

Multimodal. Preferentemente sin


condicionarla por los objetivos.

Herramientas predominantes:

Tcnicas cualitativas y la lista de control.

Ventajas:

Considera todos los impactos, incluyendo


los imprevistos- indirectos- indeseados.
Profesionaliza la evaluacin.
El enfoque centrado en el consumidorbeneficiario.
Pone en guardia contra las ideologas.

Inconvenientes:

La lista de control es demasiado extensa,


compleja y poco operativa.
Aunque se desconozcan las metas, no se
asegura la objetividad ni la independencia.
Las necesidades es un enfoque demasiado
ambiguo para ser el centro de la
evaluacin.

Fuente: Elaboracin propia.

CAP. 5 METODOLOGAS DE EVALUACIN .

284

5.

EL MODELO NATURALISTA.

5.1.

CONSIDERACIONES PRELIMINARES.

El modelo denominado naturalista es la respuesta ms radical al paradigma de trabajo


clsico-cientfico, centrado en evaluar por objetivos. Ha sido desarrollado por los
autores norteamericanos Egon Guba e Yvonne Lincoln a lo largo de la dcada de los
ochenta.
Egon Guba es profesor de educacin en la universidad de Indiana, habindose formado
en los campos de matemticas, fsica, estadstica e investigacin cuantitativa. Es
relevante esta formacin cientfica en los campos de las ciencias exactas, pues su
propuesta va a girar en torno a la insuficiencia de los modelos usados en las ciencias
duras, para evaluar conductas o escenarios de ciencias sociales.
Yvonne Lincoln es una profesora ayudante, tambin de pedagoga, en la universidad de
Kansas, que ha colaborado asiduamente con Guba en tratar de validar sus propuestas de
anlisis naturalista. Es licenciada en historia y sociologa con especializaciones en
historia medieval y educacin universitaria en universidades norteamericanas.
Observemos que su terreno no son las ciencias empricas, lo que constituye un tndem
con Guba complementario e interesante.
En esta seccin vamos a tratar de exponer las principales contribuciones de su modelo
de investigacin y evaluacin, que han denominado naturalista, as como las
principales caractersticas que seran aplicables a la evaluacin de proyectos realizados
por las agencias de desarrollo y ONGD.
5.2.

LA CRTICA NATURALISTA AL PARADIGMA RACIONALISTA.

Utilizando la terminologa de Jun (1970), Guba y Lincoln rompen definitivamente con


el paradigma clsico, cientfico o racionalista. Si Scriven haba descrito un buen
nmero

de

sus

limitaciones,

al

final

reconoca

cierta

compatibilidad

complementariedad entre su sistema de evaluacin libre de objetivos y una evaluacin


que se realizara mediante objetivos.

CAP. 5 METODOLOGAS DE EVALUACIN .

285

Guba y Lincoln consideran que todo el paradigma clsico, racionalista, que haba
servido de orientacin a los primeros modelos de evaluacin educativa, como los de
Tyler o Stake, debe ser superado abiertamente22.
Un paradigma, en sus propias palabras, es un sistema axiomtico caracterizado por sus
diferentes elementos o supuestos al fenmeno al cual se quiere investigar (Guba y
Lincoln 1981:311). Recordemos que un axioma es aquella proposicin lgica que no es
demostrable o es aceptada sin demostracin, por convenio o prctica, y que sustenta
toda una estructura lgica o sistema proposicional. Los Elementos de geometra de
Euclides o la Lgica segn more geomtrico demostrata de Spinoza, son ejemplos
clsicos de construcciones axiomticas en el campo de las ciencias exactas o la
filosofa23.
De entrada, Guba y Lincoln (1982), ya exponen tres crticas de fondo al paradigma
racionalista.
En primer lugar, consideran que no es aplicable a las ciencias sociales, al estar en un
campo donde las elecciones y controles estocsticos son casi imposibles, como
muestran los escasos resultados logrados en las evaluaciones realizadas hasta entonces
en hospitales, colegios o crceles. En estos terrenos, la experiencia sigue siendo la gua
de accin ms tenida en cuenta.
En segundo lugar, al estar basado en una epistemologa cientfica positivista se
muestra poco til e ignorante de sus propias limitaciones, como el principio de
incertidumbre de Heisenberg pone de manifiesto. En sus palabras, el positivismo es
esencialmente analtico, reduccionista, empiricista, asociacionista, reactivista,
unilateral y monista (Guba y Lincoln 1982:312).
En tercer lugar, el paradigma racionalista se ha revelado inservible, al estar basado en
unos axiomas o supuestos que no son aplicables a la investigacin social y

22

Tyler (1942), Stake (1967). En Stufflebeam y Shinkfield (1993:91-110 y 235-291) y Guba y


Lincoln (1981:3-7 y 11-14) se encuentran versiones comentadas de sus modelos.

23

Euclides (1956); Spinoza (1987).

CAP. 5 METODOLOGAS DE EVALUACIN .

286

conductual, a las ciencias humano-fenomnicas (la etnografa, la antropologa, la


sociologa, la psicologa, la historia o la economa). Incluso ponen el ejemplo de la
limitacin que posee el propio paradigma cuando cambian los escenarios dentro de las
propias ciencias exactas. La geometra euclidiana se revela inservible en un espacio
no terrestre o euclidiano, siendo la geometra de Lobachevsky ms exacta para espacios
curvilneos.
Es decir, el ser humano y sus acciones, cuando stas son el objeto de estudio o
evaluacin, no pueden tratarse en las mismas condiciones que las ciencias fsicas, la
qumica o la biologa, donde el objeto estudiado puede encerrarse en un laboratorio
para manipular variables, ejercer controles, aislar efectos o repetir experimentos hasta
que logremos una constancia suficiente y un error tan pequeo que nos permita verificar
hiptesis formuladas a priori y contrastadas a posteriori, y poder enunciar leyes con
pretensin de universalidad.
Las principales diferencias entre los paradigmas racionalista y naturalista se pueden
esquematizar como recoge el Cuadro 5.6. 24.
Cuadro 5.6. Diferencias axiomticas entre los paradigmas racionalista y naturalista.
AXIOMA ACERCA DE:

PARADIGMA RACIONALISTA PARADIGMA NATURALISTA

NATURALEZA DE LA

Simple, tangible, convergente,

Mltiple, intangible, divergente,

REALIDAD

fragmentaria.

holstica.

LA RELACIN
INVESTIGADOR /

Independiente.

INVESTIGADO

Interdependiente. (Mutua
influencia)

NATURALEZA DE LAS

Generalizaciones libres de

Hiptesis segn los contextos,

AFIRMACIONES

contexto, leyes universales,

enunciados individuales o

enunciados centrados en

elementales, centrados en las

similaridades de los elementos.

diferencias.

Relaciones causa-efecto reales,

Mltiples atributos formales,

ATRIBUCIN Y

24

Una extensa comparacin entre diferentes paradigmas la ofrecen los autores en Guba y Lincoln
(1994).

CAP. 5 METODOLOGAS DE EVALUACIN .

EXPLICACIN DE LOS

relaciones de precedencia o

relaciones interactivas no

HECHOS

simultaneidad en el tiempo,

causales, no manipulables

manipulables, probabilsticas.

externamente, plausibles.

Sin valores.

Encuadrada en valores.

PAPEL DE LOS VALORES

287

Fuente: Guba y Lincoln (1982:316).

Como se observa en el referido cuadro, Guba y Lincoln definen un nuevo marco de


realidad, un nuevo paradigma que tiende a usar herramientas ms cualitativas para
acercarse a la verdad, con la pretensin no de definir la realidad tal cual es y exponer las
relaciones causa-efecto de manera universal y apodctica, sino que se limitan a
reconocer la complejidad de lo real y, al investigar o evaluar, pretenden ofrecer
explicaciones plausibles a los hechos analizados, reconociendo que al ser fenmenos
humanos, no controlables ni aislables en un laboratorio, deben ser humildes y
comedidos en sus pretensiones.
Adems, se abren a nuevas formas de conocimiento, no slo el racional analtico, como
las intuiciones, los insight, los giros y expresiones que modifican los significados o al
menos los modulan de forma relevante. De alguna manera, ofrecen un sistema que
prefiere la adaptabilidad a la perfeccin prometida o pretendida por los racionalistas.
En buena lgica, los investigadores (y/o evaluadores) naturalistas, afrontan su estudio
sin hiptesis previas o teoras a verificar, y el diseo de investigacin y las
consideraciones sobre lo evaluado se irn conformando ad hoc. Prefieren as marcos
naturales, donde el sujeto se desenvuelve libre y espontneo, a marcos analticos
artificiales que encapsulan la realidad y, desde ese momento, la deforman. Al igual
que Scriven, reconocen que el observador o el evaluador, al interactuar con el medio
que analiza o juzga, lo est modificando y que la relacin analtica sujeto-objeto no es
gratuita sino condicionante.
Notemos cmo esta descripcin del encuadre naturalista de lo real es ms atractiva y
adecuada para los proyectos de cooperacin al desarrollo, donde todos estos valores
citados arriba se presentan de una manera mucho ms evidente que las exigencias del
paradigma racionalista. Lo comn en un proyecto de desarrollo humano es la amplitud
de interrelaciones humanas que entran en juego, el enfrentarse con la imprecisin

CAP. 5 METODOLOGAS DE EVALUACIN .

288

basndose en creatividad, el trabajar en condiciones poco gratificantes donde la escasez


de factores y los problemas imprevistos estn a la orden del da, donde las
modificaciones son mucho ms numerosas que aquellos proyectos que se ejecutan tal y
como fueron formulados.
Tanta es su diversidad con respecto a las condiciones de trabajo del paradigma
racionalista, que Guba y Lincoln proponen un cambio en las coordenadas de control de
las variables, segn se recoge en el Cuadro 5.7. 25.
Cuadro 5.7. Exigencias de control en los paradigmas racionalista y naturalista.

VARIABLES DE CONTROL

PARADIGMA RACIONALISTA PARADIGMA NATURALISTA

VERACIDAD:

VALIDEZ INTERNA

CREDIBILIDAD

APLICABILIDAD:

VALIDEZ EXTERNA

TRANSFERENCIA

CONSISTENCIA:

FIABILIDAD

DEPENDENCIA

NEUTRALIDAD:

OBJETIVIDAD

CONFIRMACIN

Fuente: Elaboracin propia.

Frente a la validez interna del paradigma cientfico, ellos proponen lograr que los datos
recopilados y las conclusiones a las que se lleguen sean crebles. A travs de una
presencia prolongada en el lugar que se evala, de una observacin persistente y un uso
adecuado de tcnicas cualitativas, a travs de la triangulacin de datos recogidos, se
podr llegar a la sensacin de que el estudio realizado es razonablemente creble, sin
pretender absolutizar afirmaciones de validez interna.
Frente a la validez externa o universalizacin de los resultados, Guba y Lincoln ponen
el nfasis en lo condicionante que son los contextos en los que se evala. Proponen

25

Esta problemtica se encuentra extensamente desarrollada en Guba y Lincoln (1981:103-127);


Guba y Lincoln (1982:325-329); Guba y Lincoln (1987); y Guba y Lincoln (1989:233-243). Aqu
nicamente hacemos una breve presentacin con fines descriptivos, sin pretensin de profundidad.

CAP. 5 METODOLOGAS DE EVALUACIN .

289

descripciones amplias de estos contextos y trabajar con muestreos intencionados,


informales o a lo sumo por conglomerados, ms que con muestreos probabilsticos.
Sin poder realizar afirmaciones universales, la consideracin de los contextos descritos
podrn dar elementos de juicio suficientes para poder hacer valoraciones acerca de
aplicabilidad o reproduccin de un proyecto en otro contexto o lugar.
Con respecto a la consistencia, los naturalistas no se cien a la fiabilidad, sino que
trabajan sobre relaciones de dependencia con cierta permanencia, superponiendo
mtodos, intercomunicando los distintos grupos de accin que intervienen en un
proyecto, en vez de separarlos para evitar contaminaciones. Con ello pretenden ejercer
ciertos niveles de control sobre la dependencia que se genera entre datos y conclusiones.
Por ltimo, reconociendo que la objetividad pura no es posible, proponen revisar y
confirmar los anlisis realizados para obtener las valoraciones, a travs de
triangulaciones, la verificacin que los hallazgos obtenidos pueden inferirse por varios
mtodos o herramientas, que las interpretaciones del conjunto de los datos son
coherentes y razonables, dado el conjunto de significados manejados, o practicando una
reflexin constante sobre las conclusiones, explicitando los sesgos que se
autoreconocen, las asunciones practicadas o los juicios de valor implcitos en las
afirmaciones que se realizan.
Recogemos a continuacin, a modo de recapitulacin, el cuadro sinttico que ofrecen
los autores, de las principales diferencias entre los paradigmas estudiados en referencia
a sus posturas frente a determinadas variables (Cuadro 5.8.).
Dadas estas crticas y limitaciones inherentes al paradigma racionalista, tanto en los
axiomas o supuestos como en las posturas ante la forma de investigar, el siguiente paso
dado por Guba y Lincoln ha sido el desarrollo de la diferencia conceptual entre el
mrito y el valor de una accin o proyecto.

CAP. 5 METODOLOGAS DE EVALUACIN .

290

Cuadro 5.8. Posturas derivadas de los paradigmas cientfico y naturalista.

POSTURA ACERCA DE:

PARADIGMA CIENTFICO

PARADIGMA NATURALISTA

CARACTERSTICAS GENERALES
Tcnicas prevalentes:

Cuantitativas

Cualitativas

Criterios de calidad:

Rigor

Relevancia, pertinencia

Fuente de la teora:

A priori

Bien fundada en la realidad


(grounded)

Cuestin de la causalidad:

Puede x causar y?

En un escenario natural, x causa


y?

Tipos de conocimiento usados:

Proposicional

Proposicional y tcito

Postura ante la realidad:

Reduccionista

Expansionista

Objetivo o finalidad:

Verificacin

Descubrimiento
CARATERSTICAS METODOLGICAS

Instrumento:

Papel y lpiz o experimentos Inquirir (generalmente)


fsicos

Momento de especificar la Antes de la investigacin


recogida de datos y las reglas de
anlisis:

Durante y despus
investigacin

Diseo:

Preconcebido

Emergente

Estilo:

Intervencin

Seleccin

Localizacin:

Laboratorio

Naturaleza

Tratamiento:

Estable

Variable

Unidades de anlisis:

Variables

Modelos

Elementos contextuales:

Controlarlos

Inducir su interferencia

Fuente: Guba y Lincoln (1981:65).

de

la

CAP. 5 METODOLOGAS DE EVALUACIN .

5.3.

291

LA DIFERENCIA ENTRE EL MRITO Y EL VALOR.

Para Guba y Lincoln, mrito (merit) y valor (worth) tienen connotaciones distintas y es
til diferenciarlas, aunque ambos trminos sean medidas del valor (value) de un objeto
(un proyecto, para nuestro caso)26.
El mrito es la apreciacin ms objetiva del valor, su valor intrnseco, ms permanente,
al no estar determinado por el contexto donde se aprecia.
Por ejemplo, la belleza del oro, la elegancia y coherencia interna de un modelo
matemtico o la formulacin y lgica interna de un proyecto de desarrollo, tienen mrito
independientemente de donde se siten las coordenadas para su determinacin.
Pero tambin es cierto que el valor del oro se cotiza diariamente en los mercados
internacionales, los modelos matemticos pueden ser muy poco prcticos o aplicables a
algn tipo de fenmeno real, y que un proyecto impecablemente formulado puede no
haber contado nunca con la opinin, inters o demanda de sus beneficiarios, por lo que
la apreciacin positiva del mrito se vuelve negativa en cuanto a su valor.
De esta forma, el valor queda determinado por el contexto, es relativo y variable.
Podramos establecer cierta analoga con los conceptos de la investigacin pura, avance
del saber en cualquier disciplina, y la investigacin aplicada, o el grado en que estos
avances permiten aplicaciones prcticas que mejoran el bienestar de los hombres,
animales o plantas.
Es interesante caer en la cuenta de esta diferenciacin a la hora de evaluar o juzgar
proyectos de desarrollo. Ya hemos puesto el ejemplo de proyectos de alto mrito en su
identificacin y formulacin, que podran ser juzgados de forma muy positiva, pero que,
atendiendo a su valor, no lo seran tanto o de ningn modo.

26

GUBA y LINCOLN (1981) cap.3, pp.39-52. Los propios autores reconocen antecedentes en las
diferencias propuestas por Tyler para evaluar currcula acadmicos de forma externa, segn el
xito en la formacin de alumnos, o de forma interna, al valorar la coherencia lgica de los
programas. Scriven, por su parte, tambin habla de mrito (merit) y valor (value), pero Guba y
Lincoln prefieren aprovechar la riqueza de la lengua inglesa al distinguir worth de value para

292

CAP. 5 METODOLOGAS DE EVALUACIN .

La potencialidad til de la distincin se incrementa si tenemos en cuenta la comparacin


y juicio entre diversos proyectos de caractersticas tcnicas muy similares. Tendramos
un conjunto de proyectos de alto mrito, pero de escaso valor, pudiendo asignar adems
las diversas calificaciones a distintos agentes. Para la ONGD del Norte o para el
organismo cofinanciador encargado de aprobar la presupuestacin del proyecto, el
juicio evaluativo se tiende a hacer ms sobre el mrito del proyecto, de acuerdo a
estndares de calidad no explcitos, ms all de las normas de la convocatoria que
establece mayor valor a zonas geogrficas o sectores de poblacin supuestamente ms
necesitados o, simplemente, polticamente preferidos. Para estas entidades, el proyecto
ser calificado positivamente: alto mrito en su campo de actuacin.
Pero pensemos en los agentes de la cadena de cooperacin que trabajan en el Sur.
Pueden recibir un proyecto de alto mrito, pero su juicio se centrar inmediatamente en
su valor, al contrastarlo con el contexto donde se pretende llevar a cabo. Ellos conocen
ms las variables que condicionan dicho valor: la articulacin interna de los diversos
sectores productivos que entrarn en el desarrollo del proyecto, el grado de
fortalecimiento institucional de la comunidad destinataria, la existencia de factores
humanos como liderazgos, oportunidades de gnero, condicionantes culturales, etc., que
provocan un contexto adecuado o errneo para este proyecto. De un alto mrito,
podemos pasar a un bajo valor, dentro de un mismo proyecto.
De alguna manera, creemos que esta preocupacin existe en las ONGD espaolas y que
una buena parte de la motivacin y necesidad sentida de realizar evaluaciones de los
proyectos que se disean, tiene que ver con la experiencia de proyectos meritorios en su
diseo, pero que resultaron poco valiosos una vez ejecutados.
Guba y Lincoln incorporan tambin comentarios sobre cmo determinar el mrito y el
valor.
Con respecto al mrito, sealan que, al ser una propiedad intrnseca del valor, puede
determinarse de dos formas: o bien, comparando el mrito de un proyecto con niveles

referirse de forma diversa al valor de un objeto. Piensan que as ganan en claridad expositiva.
GUBA y LINCOLN (1981) p.40.

CAP. 5 METODOLOGAS DE EVALUACIN .

293

estndares resultado del consenso de algn grupo de expertos, o bien, comparando el


proyecto evaluado con otros proyectos afines. La primera forma aportara una
apreciacin absoluta del mrito, mientras que la segunda lo hara del mrito relativo.
El valor, al ser una propiedad extrnseca, nicamente permite su apreciacin mediante la
comparacin de los impactos o resultados del proyecto con ciertos requerimientos
externos, propuestos por los diferentes agentes (stakeholders) afectados.
Esta diferenciacin entre mrito y valor permite construir una casustica de cuatro
posibilidades:
A. ALTO MRITO
BAJO VALOR
C. BAJO MRITO
BAJO VALOR

B. ALTO MRITO
ALTO VALOR
D. BAJO MRITO
ALTO VALOR

La situacin A muestra un proyecto de alto mrito y bajo valor. Es el caso de un


proyecto bien identificado, formulado y hasta ejecutado, pero que no es apreciado por
los beneficiarios, pues quiz no se les involucr en su definicin o su participacin
directa en su realizacin ha sido mnima o no ha gozado de popularidad.
La situacin B es la ms cercana al xito. Un proyecto que es apreciado altamente en
cuanto a mrito y valor, bien valorado objetiva, externa e intrnsecamente, tambin es
apreciado subjetivamente por los involucrados en l, dado el contexto en el que se ha
desarrollado.
La situacin C describe un proyecto de bajo mrito y bajo valor. Es la situacin cercana
al fracaso.
Y la situacin D muestra un proyecto de bajo mrito pero alto valor. Pensemos por
ejemplo en un proyecto que tuvo que ser formulado de forma precipitada y con alta
dosis de improvisacin, que no guarda una buena lgica interna, pero que sus impactos
se han sentido de forma intensa y rpida por la poblacin o ha resultado ser un proyecto

CAP. 5 METODOLOGAS DE EVALUACIN .

294

piloto que ha generado nuevas formas de cooperacin eficaz en las cuales anteriormente
no se crea y por eso se estimaban de bajo mrito.
Otra aportacin que recogen Guba y Lincoln, de las investigaciones promovidas por
Scriven, es la clasificacin de las afirmaciones y juicios evaluativos en funcin del tipo
de variable de valor estimada como central. Distinguen cuatro clases diferentes:

Afirmaciones sobre valores confesados o retricos. Juicios, por ejemplo, sobre


la importancia de la enseanza en una universidad, o sobre la solidaridad en una
ONGD o en un proyecto.

Afirmaciones acerca de los valores reales o practicados que permiten


formulaciones basadas en hechos sobre la coherencia interna de las acciones
realizadas a lo largo de la ejecucin del proyecto, con el cdigo de conducta
deseado en la organizacin.

Afirmaciones sobre los intereses de los diversos agentes involucrados en el


proyecto. Es muy distinto juzgar un proyecto sobre la utilidad reportada a sus
usuarios, que sobre la visibilidad del cofinanciador o la autopromocin de la
organizacin de la zona. No hay que temer confesar que lo habitual ser el
conflicto de intereses en la evaluacin, y que conviene explicitar de forma clara
cada uno de ellos para que un elaborado consenso pueda orientar la evaluacin
en la direccin ms convergente para todos.

Afirmaciones sobre los ideales. Estas suelen tener un nivel muy bajo de
utilidad. Afirmar por ejemplo que un proyecto tuvo un fuerte impacto en la
lucha contra la erradicacin de la pobreza, no hace sino mostrar el alto nivel de
manipulacin y retrica con que una evaluacin puede ser empleada.

Por ltimo, resulta significativa la relacin que ofrecen los autores entre este par
mrito/valor con el de evaluacin formativa/sumativa elaborado por Scriven.
Rechazando una relacin lineal que asociara la evaluacin formativa con el mrito y la
sumativa con el valor, proponen una relacin ortogonal entre las cuatro variables y
configuran un cuadro como el que reproducimos aqu, adaptndolo interesadamente a

CAP. 5 METODOLOGAS DE EVALUACIN .

295

nuestro contexto propio. Consideremos, por ejemplo, un proyecto piloto de desarrollo


comunitario en una zona campesina de un pas andino. Y consideremos tres criterios de
control, centrales en el diseo de la evaluacin que se pretende: el objetivo, el grupo
humano y la fuente principal de valoracin. Podramos construir un Cuadro como el
5.9.
Cuadro 5.9. Relaciones entre mrito/valor y evaluacin formativa/sumativa.

TIPO DE EVALUACIN
FORMATIVA

MRITO

VALOR

Objetivo principal: modificar y Objetivo principal: valorar el


mejorar el diseo del proyecto nivel de adecuacin del proyecto
piloto.

al contexto local.

Grupo humano ms interesado: la Grupo humano ms interesado: la


comunidad destinataria.

ONGD que lo ensaya.

Fuente de valoracin: estndares Fuente de valoracin: los valores


consensuados de un grupo de propios de la comunidad local.
expertos independientes.
SUMATIVA

Objetivo

principal:

tratar

de Objetivo principal: apreciar los

justificar y validar el tipo de impactos


proyecto piloto diseado.

resultados

del

proyecto sobre la comunidad.

Grupo humano ms interesado: Grupo humano ms interesado:


formuladores de este tipo de personas locales con capacidad de
proyectos,

potenciales tomar decisiones. Los lderes

adoptadores del proyecto.

comunitarios.

Fuente de valoracin: estndares Fuente

de

consensuados de un grupo de necesidades


expertos independientes.

comunidad.

Fuente: Elaboracin propia a partir del modelo expuesto en Guba y Lincoln (1981:50).

valoracin:
sentidas

por

las
la

CAP. 5 METODOLOGAS DE EVALUACIN .

296

5.4.

SISTEMATIZACIN
NATURALISTA.

DEL

DISEO

DE

EVALUACIN

Describimos a continuacin los principales pasos que debe realizar el evaluador


naturalista a la hora de poner en prctica una evaluacin de un proyecto27.
a) Preliminares. Establecimiento del encuadre.
El evaluador naturalista no investiga en el vaco o por pura especulacin, sino que se
enfrenta a un problema concreto que tiene ante s. La investigacin naturalista no se
limita de ninguna forma antecedente, sino que elabora su diseo ad hoc. Esto le plantea
la cuestin de cmo limitar el problema, cmo determinar exactamente qu es lo que se
pretende con la evaluacin, qu criterios utilizar para incluir o excluir temas o intereses
que surjan a lo largo del anlisis.
Para Guba y Lincoln (1981:88), un problema es:
una situacin resultante de la interaccin de dos o ms factores (datos,
condiciones, deseos, etc.) que suponen:
1) un estado de perplejidad o un enigma terico (problema conceptual)
2) un conflicto que refleja la eleccin entre alternativas de accin (problema de
accin)
3) una consecuencia indeseada (un problema de valor).

Tenemos as tres enfoques o posibilidades de encuadrar una evaluacin. Dadas las


interacciones de los factores que intervienen en un proyecto de desarrollo determinado,
la evaluacin puede enfocarse hacia:
Tratar de averiguar por qu el proyecto tuvo xito o fracas (encuadre terico).
Anlisis de las distintas alternativas con que se encuentra una poblacin meta, para
tomar una decisin que afecta al proyecto: reformularlo, pararlo, reproducirlo en otra
zona, modificarlo en tal o cual sentido, u otras (encuadre de accin).

27

Se sigue, principalmente, la propuesta de Guba y Lincoln (1985: cap.9, 221-249). Otro desarrollo
alternativo puede encontrarse en Guba y Lincoln (1989: cap.6, 156-183).

CAP. 5 METODOLOGAS DE EVALUACIN .

297

Anlisis de los efectos deseados e imprevistos de la accin (encuadre de valor).


Estos encuadres no son totalmente excluyentes, ya que en toda evaluacin concurren los
tres elementos de investigacin (conceptual), poltica (accin) y evaluacin en s
(valor).
Guba y Lincoln proponen una metodologa silogstica para formular y analizar los
problemas que se plantean en la definicin del encuadre de la evaluacin que se desea
hacer. Por ejemplo, una formulacin del tipo si A y/o B suceden, entonces C, siendo C la
conclusin de las premisas A y B. Con esta metodologa formal, sealan que existen
cuatro modos de estudiar cada problema.
Modo de verificacin. Trata de evaluar recogiendo hechos ciertos que afirman o apoyan
la conclusin C.
Modo de causalidad. Trata de buscar las causas de lo afirmado en las premisas A y B.
Modo contraconvencional. Se trata ahora de buscar los factores que acenten o atenen
las premisas.
Modo consecuencial. Pretende determinar las consecuencias que ocurrirn si se permite
que las premisas se cumplan sin alteracin artificial.
Estos cuatro modos ya determinan cuatro maneras de encuadrar la evaluacin, y habr
que decidir entre todos los agentes afectados o interesados en la evaluacin cul ser el
que prevalecer. Esto supone un amplio dilogo y consenso previo a todo trabajo
especfico de evaluacin. Sin saber exactamente lo que se pretende y cmo se desea
llevar a cabo, no debe iniciarse una evaluacin naturalista que no est restringida por
ninguna cortapisa una vez se encuentra en el terreno y emplea sus tcnicas propias, para
no eliminar el contexto concreto sobre el que se acta.
b) Determinacin del enfoque de la evaluacin.
Significa optar por dar mayor importancia a la determinacin del mrito o del valor (o
ambos) y si se quiere una evaluacin formativa o sumativa (o ambas), como ya se ha

298

CAP. 5 METODOLOGAS DE EVALUACIN .

expuesto ms arriba. El enfoque elegido permite establecer los lmites del estudio y
aporta los criterios de seleccin de la informacin, para ser recogida o descartada.
Pero es importante recordar que en una evaluacin naturalista, estos lmites nunca son
fijos y que pueden ser variados. Una tpica investigacin naturalista lo har al
evolucionar entre las dimensiones terica, poltica o evaluativa en sentido estricto que
se han definido en el encuadre preliminar. Por tanto, los evaluadores naturalistas
comienzan con un enfoque particular en mente, siempre tenue, y lo van modificando a
medida que la informacin que van analizando les sugiere que lo hagan. Prefieren la
utilidad del enfoque y dejar que la propia naturaleza les conduzca en su anlisis, a fijar a
prioris como hace el paradigma cientfico-racionalista.
c) Determinacin de una relacin correcta entre el paradigma y el enfoque.
Se trata de comprobar que los fenmenos a evaluar se adaptan mejor al paradigma
naturalista que al convencional. Por ejemplo, ya citados ms arriba el caso de cmo la
geometra eucldea se adapta mejor al anlisis bidimensional de los fenmenos
terrestres, pero que la de Lobachevsky lo hace mejor a los fenmenos espaciales.
Puede ocurrir que el tipo de proyecto a evaluar tenga unas caractersticas tales que
convenga ser analizado bajo otro enfoque o paradigma, como alguno de los ya
expuestos hasta aqu en esta investigacin. De todos modos, conviene interrogarse
acerca de la complejidad de los fenmenos que incluye el proyecto, de la multiplicidad
de los grupos humanos intervinientes, de la interrelacin entre el evaluador y los grupos
meta y cmo sta afecta a los sesgos en las respuestas u observaciones, cul es la
importancia del contexto en el proyecto concreto o en qu grado los resultados de la
ejecucin del proyecto se vern determinados por los valores de los agentes.
Es obvio que todas estas variables aparecen, incluso a primera vista, con valores
diversos en un microproyecto de fondo rotatorio que en un programa agrcola integral o
en un proyecto de educacin informal para mujeres marginadas. El proyecto de
microcrdito puede analizarse bajo un punto de vista puramente de rentabilidad
financiera en el que usaremos un anlisis coste-beneficio, mientras que el proyecto
agrcola puede necesitar una evaluacin del mrito y valor, tanto sumativa como

CAP. 5 METODOLOGAS DE EVALUACIN .

299

formativa o el proyecto con mujeres, centrarse en una evaluacin naturalista muy


abierta, girando sobre sus procesos psicolgicos de autoestima y su nivel social de
integracin, para lo que un enfoque racionalista se revela claramente inadecuado.
d) Determinacin de la relacin correcta entre el paradigma evaluativo y la teora
subyacente elegida para guiar la investigacin.
Este paso puede resultar algo superfluo al estar centrado en la polmica de los
paradigmas convencional o naturalista. Los naturalistas no se dejan encorsetar por
ninguna teora previa, como hacen los racionalistas al acudir a validar hiptesis que han
sido formuladas bajo el dominio de estas teoras subyacentes28.
Lo que s puede resultar provechoso para nuestro contexto, mutatis mutandis, es
considerar crticamente los supuestos implcitos no verificados bajo los que se ha
formulado un proyecto o programa de desarrollo. Esto es, algunos proyectos han podido
formularse bajo hiptesis de desarrollo o teoras subyacentes que pueden resultar
inadecuadas o inciertas. Por ejemplo, imaginemos un proyecto de desarrollo agrcola
orientado a un aumento de la productividad. Implcitamente se est trabajando bajo el
paradigma convencional capitalista al fomentar un desarrollo productivo basado en la
mayor productividad que permite una mejor competitividad en los mercados agrcolas.
Y con esto se supone que aumenta el nivel de desarrollo de la poblacin objetivo. Y esto
puede ser as o puede que no. Supongamos que el proyecto ha incurrido en los
siguientes costes. Los tiempos de convivencia familiar en forma de ocio y dilogo se
han acortado tanto que se han visto casi suprimidos afectando a su estabilidad, o que los
programas formativos que permitieron ese aumento de productividad se seleccionaron
con criterios de amiguismo y no de igualdad de oportunidades generando envidias
internas y divisin dentro de la poblacin meta, o que los costes medioambientales de
este aumento de productividad en forma de empeoramiento de la fertilidad de la tierra
por un uso intensivo de inputs artificiales inapropiados, resulten irreversibles. Todos
estos factores podran llevar a la conclusin de que la teora subyacente de que todo

28

Guba y Lincoln suelen repetir con insistencia en su obra el principio metodolgico de trabajar sin
condicionantes previos. Su repetida expresin es not knowing what is not known. Vase por
ejemplo Guba y Lincoln (1985:235 y 240). En relacin con este mismo tema, Mae Kelly (1987).

300

CAP. 5 METODOLOGAS DE EVALUACIN .

aumento de productividad agrcola genera desarrollo humano sea cuestionada y deba


tenerse en cuenta en evaluaciones posteriores.
En resumen, puede ser el momento adecuado para realizar algunas reflexiones sobre el
paradigma de desarrollo bajo el que se trabaja y tratar de revisar la certidumbre de sus
postulados principales.
e) Determinacin de dnde y por quin sern recogidos los datos.
Guba y Lincoln (1985:233) proponen trabajar con una muestra que proporcione, como
ideal, isomorfismos cualitativos que se deriven de la informacin recogida,
alejndose por irreal- de la pretensin racionalista de emitir isomorfismos cuantitativos
que proporcionen base para emitir leyes universales o generalizaciones.
Para obtener datos que permitan realizar estos isomorfismos apuntan algunos criterios
de seleccin de los datos muestrales. A partir de la seleccin de los elementos iniciales
de la muestra, sta se va completando con nuevos elementos nicamente si aportan
nueva informacin relevante para la investigacin. A continuacin, se somete a un
proceso continuo de refinamiento o depuracin, en el que se seleccionan aquellos
elementos muestrales que se consideran ms relevantes. A medida que la investigacin
avanza y se va concentrando en determinados sucesos que son los ms importantes, los
elementos muestrales con los que se trabajan se seleccionan segn este criterio y se
concentran hasta trabajar con la dimensin muestral y cantidad de datos ms
conveniente.
La investigacin naturalista parte, as, del mnimo de cortapisas o supuestos
antecedentes para irse paulatinamente enfocando en lo que la propia investigacin
evaluativa le revela como el aspecto central del proyecto analizado. No recoge los datos
seleccionados por un criterio apriorstico, sino deja que sea la propia dinmica de la
investigacin, el propio contexto donde se realiza, quien determine qu es lo relevante y
debe recogerse como datos pertinentes y cules siendo importantes- son ms
perifricos o redundantes.
Para ilustrarlo con un ejemplo, puede ocurrir que, bajo criterios puramente estadsticos
de un paradigma cientfico, los evaluadores necesitaran realizar un nmero amplio de

CAP. 5 METODOLOGAS DE EVALUACIN .

301

entrevistas a informadores clave (supongamos ms de treinta para poder normalizarla


segn el teorema central del lmite), con un coste de tiempo y medios amplio, para que
el tamao muestral fuera cientfico. Pero bajo los supuestos naturalistas, podran
llegar a la conclusin que haciendo un nmero mucho menor de entrevistas
(supongamos media docena), a las personas ms indicadas, ya se obtiene la informacin
suficiente y que las dems sern redundantes.
f) Determinacin de las sucesivas fases de la evaluacin.
En el modelo naturalista de evaluacin se sealan tres fases sucesivas.
La primera es la orientacin y comprensin general (orientation and overview
phase). Se trata de comprender qu es lo que se desea hallar en cada trabajo evaluativo,
qu es lo importante en este proyecto, cules son los posibles centros de atencin sobre
los que debe girar un posterior anlisis ms intenso. El estudio documental previo al
trabajo de campo y las primeras entrevistas abiertas, del tipo cunteme usted qu es lo
que cree que yo debera conocer sobre este proyecto sern las principales tareas del
evaluador en esta fase.
La segunda es denominada por Guba y Lincoln la fase de exploracin enfocada
(focused exploration phase). Encontrado el centro o ncleo de inters del proyecto, se
trata de conocerlo y analizarlo a fondo mediante entrevistas en profundidad y
observacin sobre el terreno. Detectar los principales valores que conducirn al juicio
sobre el mrito o valor de la accin ejecutada.
Y la tercera fase es la de la comprobacin de los miembros (member check phase).
Analizada la informacin obtenida en la fase dos, y escrito al menos el borrador del
informe como estudio de caso, ste se comenta con las personas y grupos beneficiarios
o involucrados en el proceso evaluativo, para comentarlo, recibir aportaciones o
modificaciones, corregirlo y llegar a un consenso sobre sus conclusiones y
recomendaciones. Terminada esta fase tercera, puede escribirse el informe final.
Guba y Lincoln avisan que estas fases secuenciales no deben ser entendidas de forma
rgida, sino que en la prctica se dan solapamientos de las tres durante los intermedios

302

CAP. 5 METODOLOGAS DE EVALUACIN .

de una a otra. Es una descripcin flexible, en coherencia con todo el espritu del
modelo naturalista.
g) Determinacin de los instrumentos de anlisis.
El instrumento de anlisis tpicamente naturalista es el propio hombre. Es el instrumento
que inicia la investigacin evaluativa y el principal. Adems, el hombre organizado en
equipos. Estos presentan las ventajas de poder jugar varios roles durante la evaluacin,
integran varias perspectivas de valoracin, se componen de expertos multidisciplinares
que pueden seguir mltiples estrategias y combinar su experiencia metodolgica con
una especializacin en alguna herramienta cualitativa determinada. Adems, el grupo
permite cierto nivel de autocontrol y rigor interno a travs de triangulacin de
conceptos, dilogo o estudios paralelos entre los propios componentes del equipo. Por
ltimo, trabajar conjuntamente permite apoyarse en los momentos difciles de toma de
decisiones de alternativas sobre cmo debe seguir la investigacin naturalista o ante
situaciones de gran ambigedad que suelen ser frecuentes en este tipo de evaluaciones.
Su composicin concreta deber disearse en cada caso, pero siempre asegurando una
buena coordinacin entre sus componentes, cuya capacidad de consenso y dilogo ante
situaciones difciles y ambiguas sea muy alta y eficiente. Puede ser recomendable un
entrenamiento previo a la ejecucin de la evaluacin, una integracin previa como
equipo y una especializacin de cada componente en algn rol que ir a desempear o
en una herramienta que se utilizar con preferencia. La adaptacin cultural que deber
realizar el equipo evaluador naturalista debe ser tenida muy en cuenta y preverse una
adecuada preparacin y conocimiento previo de sus rasgos fundamentales.
h) Planificacin de la recogida de datos y formas de registrarlos.
En el modelo naturalista, los primeros datos de estudio proceden del anlisis
documental disponible y posteriormente se procede a la recogida de datos sobre el
terreno. Entre las variadas herramientas cualitativas que pueden utilizarse, Guba y
Lincoln exponen con mayor amplitud la entrevista, la observacin directa y la
informacin que proporciona la comunicacin no verbal. Reconocen cierta utilidad a las
tcnicas videogrficas o la grabacin de entrevistas, pero defienden un uso preferente de

CAP. 5 METODOLOGAS DE EVALUACIN .

303

las notas de campo tomadas directamente por el evaluador. Las dos caractersticas que
deben cumplir las tcnicas de recogida de informacin son fidelidad (que refleje
verdaderamente lo ocurrido) y una alta capacidad de ser estructurada.
i) Planificacin de los procedimientos de anlisis de los datos.
El principal aporte del diseo naturalista en este sentido es el de no considerar el
anlisis de datos como una fase aislada entre la recogida de datos y la redaccin del
posterior informe, sino que el anlisis de los datos se realiza de forma permanente,
permitiendo dar en cada momento el curso idneo a la evaluacin. Es el denominado
mtodo de la comparacin constante desarrollado por Glaser y Strauss desde 1967.
j) Planificacin de la logstica.
El evaluador naturalista considera de forma integral la planificacin logstica por ser
muy necesaria en su tipo de trabajo. Guba y Lincoln dividen esta planificacin en cinco
fases de la investigacin: logstica de la evaluacin considerada globalmente, logstica
sobre el terreno, dividindola entre las necesidades antes de las visitas, durante las
visitas y despus de ellas, y por ltimo, las necesidades materiales durante el cierre y
terminacin de la evaluacin29.
k) Planificacin del valor de verdad de las afirmaciones.
Ya hemos expuesto el contenido de esta fase en el apartado anterior. Se trata de
determinar la credibilidad, transferencia, dependencia y grado de confirmacin de las
afirmaciones que se van obteniendo en la evaluacin y de especificarlo en el informe
final. Es la forma de asegurar el control interno de calidad del proceso evaluativo, como
alternativa a los criterios de control racionalistas (validez interna y externa, fidelidad y
objetividad).
En conclusin, disear una evaluacin naturalista es algo muy distinto que disear una
evaluacin racionalista o de seguir los criterios estadsticos necesarios para garantizar
una cientificidad al trabajo realizado. La caracterstica fundamental del diseo

CAP. 5 METODOLOGAS DE EVALUACIN .

304

naturalista es que es abierto, pues es emergente, es decir, se va configurando en la


medida que la investigacin evaluativa avanza, en coherencia con uno de sus principios
fundamentales: no limitarse por ningn a priori. El instrumento fundamental del
anlisis naturalista es el trabajo con el factor humano y el lugar propio de evaluar es el
anlisis sobre el terreno, mediante herramientas cualitativas manejadas por un equipo
que est bien cohesionado y sea multidisciplinar.
Pero aunque sea un diseo abierto, hay una serie de cuestiones esenciales que deben
tenerse muy en cuenta desde el principio: el encuadre concreto que quiere darse a la
evaluacin (un problema terico, de toma de decisin o poltico, de valoracin de las
acciones realizadas y efectos producidos), la relacin que puede existir entre el tipo de
proyecto diseado y la teora de desarrollo subyacente en l o en la ONGD, o la
determinacin de un enfoque ms del mrito o del valor, sumativo o formativo.
Lo permanente del enfoque es mantenerlo siempre susceptible de adaptacin y
acomodacin a la marcha del transcurso del propio proceso evaluativo. Revisar, rehacer
o cambiar sern actitudes frecuentes en este modelo de evaluar, en una relacin
constante entre lo realizado en el pasado y lo que se piensa hacer en el futuro (a
continuous feedback and feedforward)30.
Una ltima aportacin de Guba y Lincoln que vamos a exponer, es su clasificacin de
las metodologas de evaluacin existentes hasta la edicin de su obra ms conocida, en
1989, en cuatro generaciones diferentes31.
5.5.

LA EVALUACIN DE CUARTA GENERACIN.

Seguramente esta obra de Guba y Lincoln sea la ms citada de estos autores y una de las
que sea ms veces incluida en los trabajos contemporneos de evaluacin. Es pues una
obra de obligada referencia32.

29

El desarrollo concreto de cada etapa pude consultase en Guba y Lincoln (1985:242-247).

30

Guba y Lincoln (1985:249).

31

Guba y Lincoln (1989) Fourth Generation Evaluation.

CAP. 5 METODOLOGAS DE EVALUACIN .

305

En Fourth Generation Evaluation los autores exponen la madurez de su pensamiento.


Comienzan afirmando taxativamente, al estilo popperiano, que nunca habr una
definicin definitiva para el concepto de evaluacin, ya que habr que ir avanzando y
falsando las diversas propuestas que se vayan haciendo, y continan describiendo las
tres generaciones de evaluaciones anteriores a la que van a proponer33.
La primera generacin es la caracterizada por la medicin. Son las evaluaciones
tradicionales basadas en tcnicas estadsticas y mtodos cuantitativos, donde lo
importante es lograr medir resultados. Son el fruto de los trabajos pioneros de Rice en el
campo de la educacin y de las orientaciones de Binet, Galton o Wundt en el campo de
la psicologa, la aportacin de Darwin o la invitacin de Stuart Mill a investigar en
economa bajo paradigmas cientficos en el sentido que sean independientes de
argumentos de autoridad extraos a la propia dinmica econmica, como la religin, la
teologa o la filosofa moral. En esta generacin, el inters prevaleciente es el de las
instituciones gestoras de proyectos y programas, que son quienes encargan las
evaluaciones como forma de control.
La segunda generacin est protagonizada por la descripcin. Corresponde a la
evaluacin centrada en los objetivos que desarroll Tyler en el campo de la educacin,
para descubrir y describir los puntos fuertes y dbiles de cada programa educativo. El
evaluador describe lo que ve, de forma neutral, y la medicin pasa a ser una herramienta
ms en este proceso, no el fin principal.
Pero con el lanzamiento del cohete Sputnik por parte rusa, en 1957, el sistema de
educacin norteamericano se ve obligado a reforzar su programa en ciencias fsicas,
matemticas o biolgicas, y con l, la forma de evaluar su rendimiento. Ya no puede
usarse el sistema de objetivos, porque supondra esperar a que el programa terminara, y
no permitira corregir tendencias. Las aportaciones de Cronbach, Stake, Stufflebeam o
Scriven son ejemplos de modelos evaluativos de esta generacin. Ahora lo principal es

32

Por ejemplificar tres citas de alto inters donde aparece la referencia a esta obra y que ya hemos
comentado en este trabajo: MAE (1998a:90-91); CAD (1997:93); o Marsden et al. (1994).

33

Guba y Lincoln (1989:21-31). Otra presentacin se encuentra en Guba y Lincoln (1987:203-209).

CAP. 5 METODOLOGAS DE EVALUACIN .

306

juzgar el valor de las acciones, cada una en su contexto propio, y el evaluador es un


juez que las determina mediante la observacin directa y otras herramientas cualitativas.
El problema, segn Guba y Lincoln, de esta generacin es que los juicios exigen
estndares comparativos y stos ya contienen juicios de valor implcitos, determinados
por consenso.
En sntesis, Guba y Lincoln ven tres grandes objeciones a estas tres generaciones de
evaluaciones: la tendencia a centrarse sobre lo administrativo o gerencial (centrarse en
los intereses de quienes encargan y financian las evaluaciones y no en los de los
beneficiarios), el no reconocer que la sociedad actual ya no es uniforme en sus
valoraciones, sino que es pluralista y multicultural, y, en tercer lugar, el que todas
atribuyen un exceso de confianza al paradigma cientfico clsico, que se pretende
neutral en valores, con capacidad de generalizar y enunciar leyes y sin emitir ninguna
valoracin ni responsabilidad sobre la actuacin del propio evaluador.
La alternativa que proponen los autores es el acercamiento que ellos llaman evaluacin
corresponsable constructivista34.
Es corresponsable porque los trminos de referencia de la evaluacin ya no los
dispone slo el financiador del trabajo o quien la encarga, sino que son fruto de la
negociacin de todos los interesados e intervinientes en el proyecto (stakeholders) , sean
agentes, beneficiarios o vctimas del proyecto, y en la que cada uno manifiesta sus
deseos o pretensiones (claims), sus intereses (concerns) y sus preocupaciones o asuntos
para tomar decisiones (issues). Se recogen as todos los puntos de vista, tanto de lo
favorable del proyecto, como de lo no favorable y ambigo, o aquello que es materia de
negociacin entre los grupos afectados. El evaluador ser el encargado de dirigir el
proceso dialgico hasta alcanzar el mayor consenso posible.
Y es constructivista en tres sentidos o campos. Ontolgicamente, Guba y Lincoln se
confiesan idealistas extremos. La realidad (ni la verdad) no existe nticamente, sino que

34

Responsive Constructivist Evaluation. Guba y Lincoln (1989:38). Las bases del modelo fueron
adelantadas en su anterior obra, en la que exponen 17 principios bsicos de la evaluacin de cuarta
generacin: Guba y Lincoln (1987:209-216).

CAP. 5 METODOLOGAS DE EVALUACIN .

307

son construcciones mentales individuales y por tanto, dinmicas y subjetivas35.


Epistemolgicamente, son monistas (niegan la posibilidad de una diferenciacin real
entre sujeto y objeto en el acto de conocimiento) y las ideas se adquieren por una mutua
interaccin entre los diversos individuos. Los acuerdos emergen fruto del dilogo
consensuado (Guba y Lincoln 1989:44). Y metodolgicamente rechazan los procesos
analticos artificiales y con control externo y proponen un proceso dialctico
hermenutico en el que cada sujeto aporta su propia interpretacin y valoracin bajo
una constante interaccin entre el observador y el observado (Guba y Lincoln
1989:44)36.
El fruto de una evaluacin ser, por tanto, la narracin de los consensos logrados entre
los diferentes agentes y participantes, sin otra forma de contraste que el intercambio de
las propias percepciones, sin poder enunciar generalizaciones y creando aprendizajes
relativos y humildes hasta consumir los recursos disponibles destinados a la evaluacin.

35

Vase Guba y Lincoln (1989:43). Este es uno de los puntos ms dbiles de la argumentacin
naturalista, cayendo en un pragmatismo y relativismo errneo. Sin la existencia de una verdad
ntica (Truth is a matter of consensus among informed and sophisticated constructors, not of
correspondence with an objetive reality p.44), la axiologa se vuelve relativista o
consecuencialista respecto al contexto y subjetivista respecto al valorante y, as, la evaluacin
nicamente podr aspirar a describir los valores confesados o reconocidos por cada sujeto en cada
contexto y cada proyecto. Como ya hemos expuesto ms arriba, Scriven critic este paradigma
relativista con anterioridad y dureza. No es el lugar para realizar una crtica matizada y en
profundidad a esta epistemologa y ontologa, pero baste, por ahora, comentar que la
autoexperiencia y autoconciencia humana, y la intersubjetividad por el lenguaje, permiten confesar
razonadamente un realismo moderado y rechazar este relativismo, por otra parte innecesario para
el fin de los autores, de superar las reducciones a que somete el paradigma cientificistaracionalista. Por ltimo, si no hay verdad objetiva, cul es el criterio para fundar el consenso,
cul es la base sobre la hacer avanzar el proceso hermenutico dialctico que ellos mismos
proponen? No habr un motivo ni para ceder, ni para argumentar a favor, ya que todo es pura
imagen mental de cada sujeto y por tanto, todas las percepciones y opiniones igualmente vlidas e
irrechazables.

36

El crculo dialctico hermenutico se desarrolla por los autores en el cap.5 de la obra, pp.142155. Bsicamente consiste en que el evaluador rene a diversos representantes de los agentes
involucrados y comienza por uno de ellos pidindole que exprese su posicin y valoracin del
proyecto realizado ante sus intereses, preocupaciones y pretensiones. Terminada su intervencin,
se le pide que seale a algn representante del grupo que l cree que su postura diferir de la suya
o puede criticarla. El segundo representante expresa su crtica y su propia valoracin del proyecto,
y seala un tercer representante que puede criticarle, y as sucesivamente. Al final, el evaluador
puede expresar tambin su valoracin, pero de forma que nunca quede como interpretacin
superior a las dems. Se combina as el proceso de las subjetivas interpretaciones de los
representantes (hermenutico), con un proceso dialctico que permite avanzar sobre consensos. El
crculo termina cuando se llega a un consenso bsico en torno a una o dos posturas, o cuando las
intervenciones ya son redundantes y no aportan nueva informacin al proceso.

CAP. 5 METODOLOGAS DE EVALUACIN .

308

Todo lo que sobrepase estas pretensiones, sern derivaciones cientificistas invlidas.


El evaluador, ya no es un medidor, ni un descriptor, ni un juez, sino un animador y
relator de las discusiones de la comunidad de afectados, que toma nota de los acuerdos y
consensos y hace avanzar el proceso de bsqueda de soluciones creativas cuando
detecta problemas o desacuerdos.
Llevando al extremo la fobia al paradigma racionalista clsico, pretenden sustituir la
certeza por lo relativo, el control por la capacitacin (empowerment), la generalizacin
por la comprensin particular, la arrogancia por la humildad (Guba y Lincoln 1989:48).
Este proceso de evaluacin corresponsable constructivista puede llevarse a cabo en una
docena de pasos o momentos, sin pretensin de linealidad, sino susceptibles de ser
cambiados, de volver atrs o saltarse algn paso37. Todo muy flexible, como es el talante
general del modelo naturalista. Estos momentos metodolgicos se exponen en el
Cuadro 5.10.
Cuadro 5.10. Momentos metodolgicos de la evaluacin de cuarta generacin.

1. Establecimiento del contrato con el promotor (sponsor) o cliente de la evaluacin. Decisin


del tipo de evaluacin: formativa del mrito, formativa del valor, sumativa del mrito, sumativa del
valor.
2.

Organizacin de la evaluacin.

3.

Identificacin de los agentes (stakeholders): participantes, beneficiarios y vctimas.

4. Desarrollo del crculo hermenutico dialctico entre los agentes, buscando acuerdos entre sus
pretensiones, intereses y preocupaciones (PIP).
5. Comprobacin y enriquecimiento de estos acuerdos introduciendo informacin adicional y
facilitando a los miembros de los grupos de intereses convergentes, alcanzar niveles superiores de
sofisticacin en sus afirmaciones, gracias a la incorporacin de esta informacin.
6.

Seleccin de los PIP en los que se ha alcanzado el consenso.

7.

Priorizacin de los PIP no resueltos por consenso.

37

El desarrollo de cada paso, de forma extensa se expone en Guba y Lincoln (1989: cap.7,184-227).

CAP. 5 METODOLOGAS DE EVALUACIN .

8.

Recogida de informacin adicional sobre los PIP no resueltos.

9.

Preparacin de una agenda de negociacin.

309

10. Realizacin de la negociacin.


11. Informe final, como estudio de caso, de los consensos logrados.
12. Iteracin del proceso.
Fuente: Elaboracin propia a partir de Guba y Lincoln (1989:185-187).

Respecto al primer paso o momento, los autores consideran importante tratar los
siguientes acuerdos en el contrato inicial a firmar entre el cliente y el evaluador:

Identificacin del cliente o sponsor.

Identificacin del evaluando.

Establecimiento del tipo de evaluacin: formativa o sumativa, del mrito o del


valor.

Crear un clima de mutua confianza que permita llevar a cabo los crculos
hermenuticos dialcticos.

Explicitacin de la intencin del evaluador de contactar y tener en cuenta a


todos los agentes involucrados.

Una breve descripcin de la metodologa que se usar.

Una garanta de acceso y a los registros y documentos que sean necesarios.

Confidencialidad y anonimato de las fuentes de informacin.

El tipo de informe que se redactar (normalmente un estudio de caso).

Una breve lista de especificaciones tcnicas en las que incluir una aproximacin
del tiempo que se tardar, los agentes que se vern involucrados, presupuesto
aproximado y producto final a elaborar resultado de la evaluacin.

310

CAP. 5 METODOLOGAS DE EVALUACIN .

Respecto al segundo paso, la organizacin de la evaluacin incluye la formacin del


equipo evaluador y su capacitacin si fuera necesario, establecimiento de cmo se
introducir a los evaluadores en la realidad del proyecto y en las personas que pueden
aportar informacin, los criterios que se usarn para incluir o excluir a agentes, la
logstica de la evaluacin y los factores socio-poltico-culturales que sean relevantes
para el ejercicio evaluativo.
En relacin al tercer paso, es ilustrativo cmo Guba y Lincoln separan agentes
involucrados en el proyecto (financiador, ONGD, ONG local o del Sur) de los
beneficiarios directos del proyecto y de sus vctimas, siendo stas las ms difciles de
identificar, pues no son resultado de una accin directa querida, sino un efecto
indeseado o imprevisto. Tambin puede suceder que a lo largo de la evaluacin se
detecte algn otro grupo afectado que deba incluirse y no se describi al principio. El
criterio que ms puede iluminar la inclusin o exclusin de agentes es el nivel de
afectacin del proyecto o cunto ponen en juego en la accin ejecutada.
Respecto al cuarto momento -el desarrollo de acuerdos conjuntos dentro del grupo de
los agentes involucrados-, el evaluador deber asegurarse de que todos los miembros
que participan en los crculos hermenuticos son representantes vlidos de las
pretensiones-intereses-preocupaciones de estos grupos. El objetivo de los crculos es el
consenso y, por tanto, terminan cuando ya no se aade informacin nueva y slo
aparecen repeticiones de lo ya acordado, o se logra el consenso, o las diferencias
parecen irreconciliables.
El quinto momento permite incorporar informacin relevante para iluminar el proceso
evaluativo y, as, aumentar su sofisticacin y rigor. Las principales fuentes de
informacin provienen de registros y anlisis documental, de la observacin, la
literatura especializada, la informacin obtenida en otros crculos hermenuticos con
otros agentes o la propia experiencia y bagaje del evaluador.
Tras el sexto momento, en el que se detectan y reconocen los puntos de acuerdo, el
sptimo paso prioriza las pretensiones-intereses-preocupaciones an no consensuadas.
Aqu son posibles tres reacciones: ver si las disensiones son resolubles o no y por qu
motivos, ver la posibilidad de llegar a un acuerdo de compromiso mnimo, aunque el

CAP. 5 METODOLOGAS DE EVALUACIN .

311

consenso no sea completo, centrarse en las pretensiones-intereses-preocupaciones de un


solo agente y tratar de avanzar a travs de ellas.
En el octavo paso, se aumenta la sofisticacin del anlisis por la informacin recogida y
en el noveno se prepara una agenda de negociacin.
En la negociacin final, no se prioriza de ningn modo las visiones, opiniones y
significados de las valoraciones del evaluador, sino que todo ello se negocia entre los
distintos agentes y se somete a consenso. En la preparacin de la agenda de
negociacin, el evaluador debe definir cada pretensin-inters-preocupacin de los
grupos de inters que surgieron; detectar y enunciar conclusiones problemticas que no
han logrado consenso en cualquiera de los tres niveles de anlisis, teniendo que quedar
claro por qu aparece en la agenda y cul es la dificultad o el desacuerdo; procurar la
mayor informacin posible que ilumine los desacuerdos y permita la sntesis fruto del
encuentro y mutuo compromiso, no favoreciendo la confrontacin; procurar tcnicas o
herramientas de acuerdo, como representacin de roles o cualquiera que facilite la
conexin e impida la confrontacin; verificar y consensuar previamente la propia
agenda con los involucrados, buscando siempre mantener el equilibrio del poder o la
representacin de los distintos intereses.
El momento dcimo es cuando se lleva a cabo la negociacin, mediante un nuevo
crculo hermenutico dialctico, compuesto por representantes elegidos de cada crculo
de agentes que ha participado en el proceso evaluativo anterior. Estos representantes
(negociando en nombre de los intereses de cada grupo, pero sin estar instruidos por
ellos, sino, con un espritu abierto y consensuador), llevarn a cabo la negociacin final
en la que el evaluador nunca est por encima de ellos, sino que es el facilitador de los
acuerdos, de los puntos de vista de los otros, de la informacin relevante que ilumine los
procesos dialcticos. El acuerdo final ser determinado y ratificado por los
representantes, para evitar que, en caso de que tuviera que ser ratificado por los grupos
originales, esto pudiera utilizarse como medida de fuerza en la negociacin, en el
sentido de que si no aparecieran sus intereses, el acuerdo final no sera ratificado por su
grupo, impidiendo avanzar la deliberacin.

312

CAP. 5 METODOLOGAS DE EVALUACIN .

La negociacin termina cuando se consumen los recursos o el tiempo disponible, o bien


cuando los logros alcanzados en materia de consenso son estimados suficientes,
teniendo en cuenta que, en la mentalidad de los autores, un proceso evaluador nunca
termina y que una buena evaluacin es la que ha logrado plantear cuestiones ms vivas
y profundas de las que se parta, que respuestas cerradas.
De cara a la accin caben tres posibilidades: si se logr el acuerdo, aquellos que
conlleven una accin podrn llevarse a trmino, y los que no implica una accin, sern
reconocidos como valores aprendidos fruto de la evaluacin; si se lleg a acuerdos
parciales o incompletos, pueden acordarse estudios posteriores que aporten nueva
informacin sobre los puntos conflictivos; y, si no hay acuerdo alguno, poco puede
hacerse, excepto continuar trabajando en el problema, o intentar una acomodacin que
permita una accin prctica. Esto es mejor que no tomar decisin alguna (evaluacin
totalmente intil) o tomarla arbitrariamente por cada agente, introduciendo un clima de
divisin y desconfianza entre quienes tratan de cooperar, literalmente hablando, en sus
acciones e intenciones.
El penltimo momento es la redaccin del informe final. Mientras que en las
evaluaciones tradicionales se incluyen una serie de conclusiones y recomendaciones, en
las evaluaciones de cuarta generacin el informe final toma la forma de un estudio de
caso, en el que se narran no slo los acuerdos logrados, sino cul fue el proceso hasta
lograrlos y qu significado tiene cada uno de ellos, dentro del contexto evaluativo que
se ha creado y vivido. Tienen as un formato ms prximo a la novela, con una sucesin
de escenas, dilogos y descripciones que permiten al lector ponerse en situacin
vicaria de la evaluacin y sacar sus propios aprendizajes, que al informe tcnico de
formato cerrado, riguroso, pero tremendamente aburrido y nada sugerente.
El ltimo paso consiste en recordar que las evaluaciones de cuarta generacin nunca
terminan, a lo sumo, paran durante un tiempo. Siempre surgen nuevas situaciones,
informaciones nuevas, nuevas pretensiones-intereses-preocupaciones en los distintos
agentes que hacen que el proceso sea iterativo y continuamente reconsiderado.

CAP. 5 METODOLOGAS DE EVALUACIN .

5.6.

313

RECAPITULACIN Y VALORACIN FINAL.

A lo largo de las pginas anteriores se han expuesto los rasgos bsicos de la evaluacin
segn el modelo naturalista o de cuarta generacin. Queremos terminar esta seccin
recapitulando estos contenidos y presentando nuestra personal valoracin como hemos
venido haciendo con los modelos anteriormente expuestos.
Al final de la obra Fourth Generation Evaluation, Guba y Lincoln facilitan una sntesis
de los principales rasgos diferenciadores de su modelo de evaluacin (Guba y Lincoln
1989:253-265). Basndonos en ella vamos a recapitular lo esencial de su pensamiento.
Los principios fundamentales del modelo naturalista son siete:

La evaluacin es un proceso sociopoltico.

La evaluacin es un proceso conjunto, comunitario y colaborativo de todos los


agentes involucrados en el proyecto.

La evaluacin es un proceso de continuo aprendizaje y enseanza por parte de


todos los que la ejecutan.

La evaluacin es un proceso continuo, recursivo y muy divergente. Nunca se


llega a la verdad, sino a un estado de mayor informacin y sofisticacin del
que se parta.

La evaluacin es un proceso creativo, emergente.

La evaluacin es un proceso de resultados impredecibles.

La evaluacin es un proceso que crea realidades38.

Como consecuencia de estos principios, el modelo naturalista relativiza el mundo y la


sociedad. Ya no se mueve en un escenario de una sola realidad, monocultural, que
realiza valoraciones uniformes, sino en un escenario plural y diverso.

CAP. 5 METODOLOGAS DE EVALUACIN .

314

Ahora, la responsabilidad del informe y las conclusiones de la evaluacin no ataen


nicamente al evaluador, sino que se ha creado una estructura corresponsable donde
todos comparten el valor y la calidad de lo realizado.
En este modelo no se fuerza a ningn agente a recoger datos y expresarlos a otros
agentes, bajo la amenaza de que posteriormente puedan ser utilizados en contra suya,
sino que toda la informacin es permanentemente sometida a control, por los propios
sujetos y agentes que estn interactuando y contrastando de forma continua sus
construcciones de la realidad en los diversos crculos hermenuticos dialcticos. Es
decir, la evaluacin capacita y aumenta el poder de todos los que participan en ella.
Adems la evaluacin es una experiencia educativa para todos, ya que comprenden y
aprecian por s mismos tanto los puntos acordados en consenso, como las divergencias
expuestas, mantenidas o superadas. Esto hace que la disposicin al cambio y ejecucin
de las conclusiones y recomendaciones acordadas por todos, sean puestas en prctica
con mayor diligencia. Se produce una catalizacin de los hallazgos obtenidos.
Adicionalmente a estas consecuencias generales, fruto de los principios sealados, se
produce un cambio importante en el papel que juega el evaluador (Guba y Lincoln,
1987:219-224 y Guba y Lincoln, 1989:259-262).
Si tradicionalmente el evaluador era un tcnico (evaluaciones de primera generacin), o
un descriptor (evaluaciones de segunda generacin), o un juez (evaluaciones de tercera
generacin), ahora estos papeles son incorporados, modificados y superados.
El evaluador sigue realizando un papel tcnico, midiendo resultados, empleando
tcnicas cuantitativas, pero sobre todo considerando al hombre como el principal
instrumento que le permite obtener informacin. Tambin sigue describiendo los
fenmenos que observa, pero ahora centrado en tratar de proporcionar a todos los
agentes (stakeholders) la mayor informacin posible de nueva creacin, y los puntos de
vista o construcciones de realidad obtenidos por otros agentes o crculos hermenuticos.

38

En Guba y Lincoln (1987:216-219) puede encontrarse una breve explicacin de cada uno de estos
principios. Tambin en Guba y Lincoln (1989:253-256).

CAP. 5 METODOLOGAS DE EVALUACIN .

315

El evaluador acta ms como un relator o narrador, en igualdad de poder con todos los
dems.
Y tambin acta como juez, al ser el mediador o procurador del proceso dialctico del
consenso y la negociacin final.
Pero adems de estos tres papeles tradicionales, el evaluador de cuarta generacin
tambin acta a travs de nuevos roles: como colaborador de los procesos dialcticos,
no como controlador de los procesos externos; como profesor y aprendiz, no como
investigador o experto; como participante y oferente de una porcin de realidad, que es
su propia construccin, pero en igualdad de consideracin que todas las dems; y, por
ltimo, tambin es agente de cambio, no por sus recomendaciones finales expuestas de
forma superior a los dems, sino como elaborador de una nueva realidad ms informada
y sofisticada, que genera en s misma, inmediatas consecuencias para el cambio.
Todas estas consideraciones podemos sintetizarlas en el Cuadro 5.11.
Una vez sintetizados los principios ms destacados de este modelo de evaluacin, slo
resta ofrecer nuestra valoracin personal, bajo el formato comn que hemos ofrecido en
los otros modelos expuestos anteriormente, que queda expuesta en el Cuadro 5.12.
Queremos resaltar, no obstante lo dicho en la nota a pie 35, que el principal punto dbil
del modelo es de orden ontolgico y epistemolgico, al considerar la realidad desde un
relativismo exagerado, con una escisin errnea entre lo que Kant llamara los
fenmenos (o los hechos en s) y los noumenos (o los hechos para m). Fruto de una
defensa contra los supuestos positivistas, Guba y Lincoln exageran su postura y niegan
el acceso humano a la realidad y, por tanto, una base objetiva de conocimiento.

CAP. 5 METODOLOGAS DE EVALUACIN .

316

Cuadro 5.11. Principios de evaluacin naturalista.

1.

La evaluacin es un proceso mediante el cual todos los agentes involucrados en un proyecto de


desarrollo, colaboran creativamente para lograr un consenso que valora dicho proyecto.
Corolario 1a: La evaluacin crea nuevas realidades.
Corolario 1b: La construccin valorativa consensuada, que es el producto de la evaluacin, es objeto
de permanente reconstruccin, cambio, refinamiento, revisin o -si fuera necesario- reemplazo.

2. La evaluacin es un proceso que subsume la recogida de datos y su valoracin o interpretacin en un


mismo conjunto. Son acciones inseparables y simultneas.
Corolario 2: Ninguna parte del proceso evaluativo puede ser considerada libre de valoracin, o realidad
objetiva en el sentido positivista.
3. La evaluacin es un proceso local. Sus resultados dependen del contexto en que se realiza, de los
agentes involucrados, o de los valores locales. Nunca puede generalizarse a otros lugares o contextos.
Corolario 3: Los datos obtenidos en otras evaluaciones no pueden ser aplicados a un nuevo contexto,
aunque puedan ser adaptados o servir de aprendizaje, como si fuera una experiencia vicaria.
4. La evaluacin es un proceso de enseanza y aprendizaje. Evaluadores, promotores, clientes (todos los
agentes de la cadena de cooperacin), aprenden unos de otros y ensean unos a otros.
5. La evaluacin es un proceso sociopoltico. Los aspectos sociales, culturales y polticos, lejos de
distorsionar o sesgar la evaluacin, son introducidos en ella al menos con tanta fuerza como los datos
tcnicos.
6. La evaluacin es un proceso continuo, recursivo y divergente, porque sus hallazgos son construcciones
sociales susceptibles de reconsideracin. La evaluacin debe estar reciclndose y ponindose al da
constantemente.
Corolario 6a: Una buena evaluacin proporciona ms preguntas que respuestas.
Corolario 6b: Una buena evaluacin no tiene un final natural, nunca se acaba.
7. La evaluacin es un proceso emergente. No puede ser diseada por adelantado, ya que su enfoque
depende de los intereses de cada grupo involucrado.
Corolario 7: La evaluacin es un proceso, en principio, de resultados impredecibles.

CAP. 5 METODOLOGAS DE EVALUACIN .

317

8.La evaluacin es un proceso de responsabilidad compartida, ms que de asignarla o de buscar


culpables.
9.La evaluacin es un proceso que involucra a todos los agentes y evaluadores en una relacin
hermenutica dialctica.
Corolario 9a: La evaluacin es un proceso conjunto, en el que se ofrecen y consideran todas las
construcciones y valoraciones de la realidad en igualdad de trato y nivel. Esto permite que todos sus
participantes vivan una experiencia educativa y enriquecedora.
Corolario 9b: La evaluacin es un proceso de mutua colaboracin, en la todos comparten el control
de la metodologa y las interpretaciones de las valoraciones que se expresan, as como de las
decisiones que se adoptan. De esta forma todos los agentes aumentan su capacitacin y poder
(empowerment).
Corolario 9c: La evaluacin as concebida elimina la distincin entre investigacin bsica o aplicada.
Ilumina a la vez la teora y la propuesta de accin.
Corolario 9d: La evaluacin naturalista debe realizarse sobre el terreno, en interacciones personales
cara a cara- entre los individuos de los agentes involucrados en el proyecto y los evaluadores.
10. Los evaluadores juegan muchos papeles a la vez, convencionales y no convencionales, en las
generaciones de evaluacin.
Corolario 10a: El evaluador mantiene el papel de tcnico (pero como instrumento humano y analista
de datos), de descriptor (pero como historiador o iluminador) y de juez (pero como orquestador del
proceso dialctico que se practica en los crculos hermenuticos).
Corolario 10b: El evaluador juega tambin un papel de colaborador poltico, ayudante del
administrador y agente de cambio, contribuyendo siempre a reforzar la corresponsabilidad de todos
los participantes.
11. Los evaluadores deben poseer no slo experiencia y conocimientos tcnicos, sino, sobre todo, altas
cualidades y habilidades personales. Entre otras, son fundamentales la paciencia, la humildad, la
apertura y accesibilidad, la adaptabilidad a situaciones nuevas y el sentido del humor.

Fuente: Elaboracin propia a partir de Guba y Lincoln (1989:263-264).

CAP. 5 METODOLOGAS DE EVALUACIN .

318

La consecuencia fundamental es que dejan a la evaluacin y a su propio crculo


hermenutico sin un criterio para progresar. Porque si todo se reduce a construcciones
mentales y no hay ninguna correspondencia objetiva, cul es el criterio que permite el
consenso? En realidad, nadie acta en la vida bajo un paradigma relativista. Nadie
cree y slo cree que el objeto silla slo exista en su mente, sino que sabe con
certeza que es una silla y que le sostendr cuando se siente en ella y le permita
descansar. Y eso mismo saben, y as actan, todos aquellos que han experimentado tal
realidad y la han compartido mediante el lenguaje, sea el verbal o el de los actos.
Superada esta limitacin ontolgico-epistemolgica, creemos que el modelo de Guba y
Lincoln presenta abundante material provechoso y prctico para la evaluacin de
proyectos de desarrollo como, por ejemplo, los que realizan las ONGD.
Ante todo, su concepcin abierta y participativa de todos los agentes involucrados es
algo logrado y que creemos mayoritariamente aceptado. El papel del evaluador tambin
es acertado, as como el enfoque de la distincin entre mrito y valor, que permite, junto
con la alternativa sumativa/formativa, obtener una tipologa de evaluaciones muy tiles
para ser aplicadas a la diversidad de proyectos que se disean y ejecutan.
Cuadro 5.12. Caracterizacin del modelo naturalista.

Evaluar es:

Un proceso hermenutico dialctico por el


que
se
generan
enseanzas
y
capacitaciones (empowerment) que incitan
a acciones inmediatas, basadas en el
consenso de todas las partes que
interactan en el proceso, y realizada en un
contexto determinado que no permite
generalizaciones.

Intereses predominantes:

Cada proyecto en su contexto y todos los


agentes involucrados (stakeholders) segn
sus
pretensiones,
intereses
y
preocupaciones propias.

Cuestiones principales:

Cul es la construccin de realidad que


determina el valor del proyecto ms

CAP. 5 METODOLOGAS DE EVALUACIN .

319

consensuada por todas las partes?


Debe decidirse un enfoque del mrito o del
valor.
Mtodos ms comunes:

El crculo hermenutico dialctico y el


consenso fruto de la negociacin.

Diseo de la evaluacin:

Impredecible, emergente y muy flexible.


Basado en los 10 pasos naturalistas.

Herramientas predominantes:

Cualitativas, pero sin despreciar las


cuantitativas. (Sobre todo entrevistas,
observacin, documentos y registros as
como lenguaje no verbal.)

Ventajas:

La combinacin de mrito/valor
evaluaciones sumativas/formativas.

La negociacin y el consenso como talante


permanente.
La superacin crtica del positivismo,
inaplicable a las ciencias sociales.
La acentuacin del principio de utilidad en
los resultados y la invitacin a la accin,
por encima del rigor encorsetador
positivista.
Educa y capacita a todos y, al implicar a
todos los agentes en la evaluacin, la
puesta en prctica de los hallazgos y
consensos tendr ms garanta.
La inclusin de las vctimas del proyecto,
como agentes a considerar.
La amplitud de papeles que debe jugar el
evaluador.
Inconvenientes:

Su relativismo epistemolgico
idealismo ontolgico.

el

La ausencia de la verdad, como criterio


para avanzar en el consenso.
Exige amplias habilidades humanas a los
evaluadores y un talante cooperativo a

320

CAP. 5 METODOLOGAS DE EVALUACIN .

todos los participantes.


Al exigir un constante y abierto dilogo
por parte de todos los agentes, el proceso
puede frustrase si alguno de ellos no sabe o
no quiere dialogar, buscando juntos la
verdad.
Muy dilatadas en el tiempo.
Fuente: Elaboracin propia.

CAP. 5 METODOLOGAS DE EVALUACIN .

6.

EL ENFOQUE ORIENTADO A LA UTILIZACIN.

6.1.

CONSIDERACIONES PREVIAS.

321

Cuando en los aos setenta el movimiento evaluador estuvo en auge, sobre todo en los
Estados Unidos, se daban por supuesto dos consideraciones:

Que los decisores o quienes encargaban las evaluaciones (Administracin


Pblica, polticos, gestores, empresas, etc.) estaban interesados en evaluar sus
programas, proyectos e intervenciones.

Que este inters se traduca inmediatamente en un deseo de aplicacin prctica


inmediata de los resultados arrojados por la evaluacin39.

Pero estas suposiciones resultaron no ser ciertas y surgieron nuevos modelos que
centraron su atencin sobre estos dos problemas: la participacin de los interesados y
decisores y la utilizacin de las evaluaciones.
Stake elabor su modelo de evaluacin respondente (responsive evaluation) centrado
en los intereses e interrogantes de los clientes, que eran quienes encargaban y
financiaban las evaluaciones. Las entrevistas en profundidad con todos los participantes
en los proyectos y programas (la audiencia de la evaluacin), generaba un acervo de
informacin que posteriormente se someta a consenso40. Ya hemos visto cmo Guba y
Lincoln desarrollan este modelo y crean el naturalista, cuya caracterstica fundamental,
en este sentido, es la negociacin y participacin de todos los agentes.
M.Q. Patton ser el encargado de responder a la segunda necesidad. Elaborar un modelo
que especficamente atienda o acente el que sus resultados sern utilizados. Es el

39

Alvira (1991:28).

40

Stake (1967; 1975a; 1975b; 1976). Stufflebeam y Shinkield (1993:235-291).

CAP. 5 METODOLOGAS DE EVALUACIN .

322

modelo conocido como centrado en la utilizacin (utilization-focused evaluation) que


vamos a describir a continuacin41.
Michael Quinn Patton es doctor en sociologa por la universidad de Wisconsin, donde se
especializ en investigaciones cuantitativas. Pronto abandon esta orientacin para
desarrollar una de las ms amplias y conocidas investigaciones sobre el trabajo con
mtodos cualitativos42. Su trabajo como investigador y docente se desarrolla en la
universidad de Minnesota donde ha adquirido una gran experiencia como evaluador en
todos los campos sociales y ha desempeado labores relevantes como director del
Minnesota Center for Social Research (1975-1980), director del Caribbean Agricultural
Extension Project (1980-1989), miembro del International Specialist in the Minnesota
Extension Service o profesor en el Hubert H. Humphrey Institute of Public Affairs. Ha
sido presidente de la American Evaluation Association (1988) y editor del Journal of
Extension (1988-1991). Sus cursos y programas de doctorado sobre mtodos de
evaluacin son mundialmente reconocidos.
El acercamiento de Patton parte de una experiencia constatada: la gran mayora de las
evaluaciones realizadas no se leen, no se utilizan, apenas sirven para cumplir algn
mandato formal externo o para autolegitimarse43. Por eso su acercamiento evaluativo va
a estar centrado en esta cualidad: crear evaluaciones tiles, que se usen.

41

Patton (1978; 19973). Esta tercera edicin es una reelaboracin bastante amplia respecto a la
primera, con nuevos desarrollos y mayor madurez y actualizacin en los planteamientos. Aunque
conserve el ttulo original, prcticamente es una nueva obra.

42

Patton (1987b; 1990).

43

En Patton (1978:275-281), el autor narra una entrevista en la que expone el caso de una evaluacin
de un centro educativo que apenas sirvi para su propia legitimacin y de la que ningn miembro
de la Administracin lleg a leer siquiera el informe ejecutivo completo. Una vez visto en el
sumario que la evaluacin era positiva en trminos generales, no se avanz ms. Esto mismo lo
pude escuchar en boca del Director de la Unidad de Evaluacin de los proyectos de desarrollo de
la Unin Europea (la entonces DG-VIII), Sean Doyle, quien en un seminario de la Universidad
Internacional Menndez Pelayo dedicado al tema, en julio de 1998- reconoci enviar anualmente
todos los informes de evaluacin programados y ejecutados por su unidad al Parlamento Europeo,
y nunca recibir comentario alguno, estando convencido que nadie los lea o los utilizaba.

CAP. 5 METODOLOGAS DE EVALUACIN .

6.2.

LA UTILIZACIN
EVALUACIN.

COMO

CRITERIO

323

PRINCIPAL

DE

LA

En efecto, en el acercamiento propuesto por Patton, cada decisin en el diseo y


ejecucin de la evaluacin est precedida por la pregunta acerca de las consecuencias
que tendr este paso que se va a dar. En todas las fases de la evaluacin, todo lo que se
decide es sometido a un proceso abierto de negociacin, adaptacin o seleccin, de
forma que lo decidido resulte realmente til a los potenciales usuarios de la evaluacin.
Existen dos requisitos fundamentales en este enfoque:

Los grupos interesados en la evaluacin (usuarios de la informacin, tomadores


de decisiones) deben estar en todo momento bien identificados y definidos.
Deben ser visibles, especficos, gente concreta con la que se ha tenido un
contacto previo y se han pronunciado claramente como interesados en el
ejercicio evaluador y dispuestos a participar en l bajo este enfoque.

Los evaluadores deben trabajar de forma activa-reactiva-adaptativa junto a estos


grupos de interesados, formando una comisin evaluativa que ser la nica que
pueda tomar decisiones negociadas sobre todos los aspectos del diseo de la
evaluacin, la obtencin e interpretacin de la informacin y su difusin
posterior.

Notemos que nos resistimos a denominar a este enfoque modelo, pues el mismo autor
as lo reconoce:
El enfoque (approach) de la evaluacin centrada en la utilizacin combina
estilo y sustancia, actividad y ciencia, perspectiva personal e informacin
sistemtica (Patton 1978:290).

De forma general, las etapas por las que se constituye un ejercicio de evaluacin
orientada en la utilizacin son las siguientes:

CAP. 5 METODOLOGAS DE EVALUACIN .

324

Se identifican todos los usuarios potenciales de la evaluacin44. Para ello deben fijarse
claramente criterios de identificacin y criterios de pertenencia a la comisin de trabajo
que llevar a cabo la evaluacin. La propia comisin determina sus particulares normas
de funcionamiento, pertenencia y proceso de toma de decisiones.
Se identifican y determinan las cuestiones ms relevantes de la evaluacin. Se estiman
las fortalezas y debilidades de los paradigmas y modelos evaluativos posibles y se
decide sobre el diseo final de evaluacin que desea realizarse, porque ser el ms til
para ser utilizado posteriormente, a juicio de la comisin de trabajo.
Se seleccionan los mtodos de generacin de la informacin: cuantitativos o
cualitativos, hipottico-deductivos u holstico-inductivos, ms objetivos o ms
subjetivos, ms centrados en la fidelidad a los datos o en la validez, diseos fijos o
flexibles y dinmicos. Consideradas las alternativas se toman las decisiones de diseo y
obtencin de medidas.
Anlisis de los datos e interpretacin de los mismos, separados en el tiempo y sobre
todo vigilando el no manipular la interpretacin bajo presin de los evaluadores.
Establecidos con anterioridad unos estndares de calidad del trabajo realizado en el
proyecto evaluado, se comparan ahora con esos estndares, obteniendo conclusiones
tiles para los usuarios de la informacin y desarrollando planes concretos de
aplicacin.
Los usuarios y los evaluadores cooperan en la difusin y puesta en prctica de los
hallazgos obtenidos, generando recomendaciones y controlando su implementacin.
Estas etapas permiten comprobar cmo el enfoque de Patton es una evaluacin
dinmica, no fijada por a prioris cientificistas, una evaluacin interactiva o de grupo,
al crearse la comisin de trabajo que negocia cada paso bajo el criterio de utilizacin, y

44

Patton nombra siempre a los tomadores de decisiones (decisionmakers), los usuarios de


informacin (information users) y los propios evaluadores. Creemos que son grupos anlogos a los
que en la literatura usual de cooperacin al desarrollo se identifican como los agentes
involucrados en un proyecto, que es la traduccin que estamos usando en este trabajo para el
trmino stakeholders.

CAP. 5 METODOLOGAS DE EVALUACIN .

325

una evaluacin iterativa, ya que si surgen nuevos grupos o agentes interesados, nuevas
cuestiones o nuevos intereses, deben reconsiderarse las opciones tomadas de forma que
siempre quede asegurada la utilizacin de los resultados.
6.3.

LA ORGANIZACIN
EVALUADOR.

DEL

PROCESO

EL

PAPEL

DEL

Patton est convencido de que el verdadero xito de las evaluaciones slo se produce si
se logra dinamizar los recursos internos de las personas para que lleven a cabo un
cambio. Formar parte de un grupo de trabajo como el que se forma en la comisin de
evaluacin orientada a la utilizacin ya es una capacitacin inmediata para sus
participantes y una induccin eficaz al cambio y a la responsabilidad. Al estar basada en
su utilizacin posterior, la evaluacin se hace muy realista y prctica, aumentando los
conocimientos y habilidades de los participantes, que terminan cada evaluacin
dispuestos para la accin.
De esta forma, el evaluador est lejos de ser un tcnico impersonal y lejano, ms sabio
y listo que el resto y que formula recomendaciones gracias a su supuesta sabidura
tcnica, pero que quedan muy alejadas de los intereses de quienes las reciben y por tanto
sern reacios a ejecutar los cambios recomendados. La participacin de todos los
agentes y usuarios en un proceso comunitario de accin, reflexin, reaccin ante las
dificultades y adaptacin a cada circunstancia concreta, perfila al evaluador ms cerca
de un animador de procesos comunitarios, como ya proponan Guba y Lincoln, que de
un analista cuantitativo muy observante de la validez y control de los procesos de
obtencin, anlisis e interpretacin de los datos. En palabras del propio Patton:
El evaluador no procura amoldar y manipular a los tomadores de decisin y
los usuarios de informacin para aceptar sus nociones preconcebidas acerca
de lo que se considera til o una investigacin de alta calidad, pero tampoco el
evaluador es un mero tcnico que se limita a realizar lo que los decisores
desean (Patton 1978:289).

6.4.

SNTESIS Y VALORACIN.

Anlogamente a los modelos anteriormente expuestos ofrecemos un cuadro sinttico


(Cuadro 5.13.), que incluye la valoracin personal sobre las principales ventajas e

CAP. 5 METODOLOGAS DE EVALUACIN .

326

inconvenientes que ofrece este enfoque para los proyectos de cooperacin al desarrollo
de las ONGD.
En sntesis, bajo el enfoque orientado a la utilizacin, se maximiza el rendimiento del
ejercicio evaluativo y no se emprenden evaluaciones que no vayan a seguir un riguroso
programa de retroalimentacin.
Bajo el enfoque de Patton, se cuidan de forma especial las tres finalidades que Gasper
reclama para la evaluacin:

Se enjuicia el diseo del proyecto, su calidad, pretendiendo descubrir la lgica


interna de la accin o la teora del programa puesto en prctica.

Los procesos son detectados, valorados y comprendidos, sean procesos que


condujeron al xito o al fracaso del proyecto.

Son identificados y enjuiciados todos los efectos provocados por el proyecto o


asociados a la accin ejecutada45.

45

Vase Gasper (1999:57).

CAP. 5 METODOLOGAS DE EVALUACIN .

327

Cuadro 4.13. Caracterizacin del enfoque orientado a la utilizacin.

Condiciones previas:

No realizar ninguna evaluacin que no


vaya a ser utilizada.

Evaluar es:

Un proceso dinmico, interactivo e


iterativo de valoracin integral de los
efectos generados por el proyecto.

Intereses predominantes:

Recoger los intereses de todos, para


maximizar su utilizacin.

Cuestiones principales:

Asegurar la representatividad de todos los


grupos.

Mtodos ms comunes:

Todos los posibles.

Diseo de evaluacin:

Determinado por la comisin de trabajo


para cada caso.

Herramientas predominantes:

Cualitativas,
cuantitativas.

Ventajas:

Mximo inters en asegurar su utilizacin.

sin

prejuicio

de

las

Participacin de todos los interesados.


Proceso dinmico, interactivo e iterativo.
Muy flexible.
Inconvenientes:

Lentitud del proceso, al negociar todos los


acuerdos.
No hay estndares de calidad asociados a
proyectos de desarrollo. Cada uno es un
caso particular. La IV etapa es de dudosa
aplicacin prctica en la cooperacin para
el desarrollo.

Fuente: Elaboracin propia.

CAP. 5 METODOLOGAS DE EVALUACIN .

328

7.

LOS MODELOS DE EVALUACIN PARTICIPATIVA.

7.1.

CONSIDERACIONES PRELIMINARES.

En esta seccin vamos a presentar los modelos de evaluacin participativa. Estos han
ido surgiendo desde los aos setenta y se han desarrollado con fecundidad y popularidad
entre los evaluadores de proyectos de desarrollo y entre las ONGD.
El problema de fondo que nos estamos encontrando permanentemente en la
presentacin de los diversos modelos que hemos ido realizando hasta ahora, es un
problema que tiene mucho de epistemologa, de qu es cientfico y vlido.
Como ha sealado Garca Ramos (1999:7), catedrtico de mtodos de investigacin y
evaluacin educativa:
En la actualidad, la evaluacin de programas se caracteriza por la falta de
acuerdo en lo que es, en cmo debe hacerse y para qu debe hacerse la propia
evaluacin. De hecho podramos... agrupar los grandes enfoques
metodolgicos alternativos... en dos principales: a) Esquema tradicionalobjetivista y bsicamente externo, y b) Modelo participativo-subjetivista-crtico
y bsicamente interno.

Nosotros hemos venido distinguiendo estos dos polos como el racionalista-positivistacuantitativo-sumativo y el pluralista-naturalista-cualitativo-formativo. La cuestin
clave ser estudiar si estos modelos se consideran alternativos e irreconciliables, o son
de alguna manera complementarios y compatibles, huyendo de una postura eclctica
que slo revele comodidad. El criterio de verdad ser la clave bsica para distinguir
las posiciones extremas del continuo y ofrecer un criterio racional y vlido a las
organizaciones de que trabajan en el campo de la cooperacin al desarrollo que las
permita disear, en cada caso, una evaluacin de su proyecto o programa bajo un
modelo evaluativo distinto.
En el apartado 5.3. presentamos el extremo racional-positivista en forma de la
evaluacin por objetivos. Ahora presentamos el polo opuesto bajo los modelos o
enfoques participativos. Si el primero se fundamenta en el principio de causalidad, al
tratar de asignar funcionalmente causa-efecto, mientras valora por comparacin la
situacin antes del proyecto con la de despus, atendiendo a los objetivos previamente

CAP. 5 METODOLOGAS DE EVALUACIN .

329

marcados en el diseo de la accin, en los modelos participativos se asumen las


aportaciones y crticas que ya hemos recorrido insertas en el modelo libre de objetivos,
en el naturalista y en el enfoque orientado a la utilizacin. Pero ahora, adems, el nfasis
va a estar en dos claves: construir evaluaciones de forma rpida y eficiente y hacerlo
centradas en procurar la participacin de los propios beneficiarios o usuarios del
proyecto. Veamos sus principales aportaciones con cierto detenimiento.
7.2.

RAPID RURAL APPRAISAL (RRA) Y PARTICIPATORY RURAL


APPRAISAL (PRA). ORGENES, DIFERENCIAS Y PRINCIPIOS.

El Diagnstico Rural Rpido (RRA en sus siglas inglesas) y el Diagnstico Rural


Participativo (PRA) son dos de los enfoques participativos ms conocidos. El RRA se
desarroll a lo largo de la dcada de los ochenta y de l ha surgido por evolucin y
perfeccionamiento el PRA, durante los noventa.
Robert Chambers, uno de los principales investigadores y divulgadores del PRA lo
define en estos trminos:
El trmino PRA describe un creciente grupo de enfoques y mtodos que
permiten participar a la gente local, analizar e incrementar el conocimiento de
sus condiciones de vida, y planificar y actuar [en consecuencia] 46.

Pero veamos cmo se lleg a este modelo participativo y cules fueron sus
antecedentes.
a) Orgenes.
Siguiendo a Chambers, reconocemos cinco antecedentes o fuentes del PRA47:

La investigacin participativa activista, inspirada en la contribucin de Paulo


Freire en Pedagoga de la opresin de 1968 y los desarrollos de programas

46

Chambers (1992:I y 1); Chambers (1994a:953). El contenido del documento de trabajo de 1992
fue posteriormente editado en los tres artculos de la revista World Development a los que hace
referencia Chambers (1994a,b y c). Har referencia principalmente al de 1992 por su originalidad.
En estos materiales se ofrece una amplia bibliografa sobre los enfoques tratados, actualizada
ltimamente en Chambers (1997:255-283) y Chambers (2005).

CAP. 5 METODOLOGAS DE EVALUACIN .

330

educativos para adultos implantados con esta pedagoga en numerosos pases


del Sur. Adems en el campo de la industria y agricultura se llevaron a cabo
investigaciones participativas conocidas como Investigacin de la Accin
Participativa (Participatory Action Research) y divulgadas por Whyte (1991).
De estas investigaciones se asumen las siguientes convicciones tan relevantes
para los modelos participativos:
La gente pobre es capaz y creativa y puede hacer mucho ms de lo que se
piensa en el terreno de su propia investigacin, anlisis y planificacin de
actividades que les ayuden a salir de su situacin de precariedad.
Los trabajadores externos a la comunidad beneficiada (outsiders) deben
tener un papel de facilitadores y catalizadores de los procesos creados por
los beneficiarios o gente de la propia comunidad (insiders).
La debilidad debe ser superada, capacitada (empowered).

Los anlisis, desarrollados por Conway en la segunda mitad de los ochenta, en


el mbito agrcola y conocidos como agro-eco-sistemas. De esta lnea
investigadora van a recoger sus herramientas metodolgicas visuales y grficas:
los trazados de caminos mediante observacin, los mapas informales, varios
tipos de diagramas o evaluaciones innovadoras. Todas ellas tienen en comn el
estar centradas en la informacin que puede proporcionar la gente local y no
expertos externos.

La antropologa aplicada centrada en el conocimiento de las personas locales a


travs de herramientas de investigacin cualitativa que insisten en escuchar y
aprender la sabidura local, en respetar y valorar las formas de vida de la gente
rural, su tica, sus valores, su cosmovisin... Los trabajos y mtodos de
antropologa aplicada se extendieron a los campos de la agricultura, con un
destacado proyecto llevado a cabo en el Per por R. Rhoades, al de la salud y
nutricin, o al de la etnografa.

47

Chambers (1992:1-9). Otros trabajos relevantes y pioneros han sido los de Bryk (1983), Salmen
(1987) y Feuerstein (1990).

CAP. 5 METODOLOGAS DE EVALUACIN .

331

Las principales contribuciones de la antropologa aplicada recogidas por el PRA


son:
La idea de aprender sobre el terreno, entendida como un arte flexible ms
que como un ejercicio de ciencia rgida.
El valor insustituible de estar viviendo con la gente, en su terreno, sin huir
de la observacin participante o las conversaciones con aquella.
La importancia de las actitudes, conductas y costumbres en todo lo que
afecta a las relaciones humanas.
La distincin entre lo mico y lo tico. Lo mico expresa y prioriza los
puntos de vista, conceptos, categoras y valores de la gente de dentro de la
comunidad (los insiders); mientras que lo tico prioriza esas mismas
categoras, pero de los externos u observadores de la comunidad (los
outsiders).
La validez de los conocimientos tcnicos indgenas.

La investigacin aplicada de sistemas agrcolas. En esta rama de investigacin


confluyen aportaciones de antroplogos sociales, gegrafos, economistas
agrarios y bilogos, que centran sus posturas en la conviccin de que los
campesinos son innovadores, al ser los ms interesados en su propia actividad y
destino. Los trabajos de estos investigadores han contribuido a valorar y
apreciar:
La complejidad, diversidad y aversin al riesgo de muchos sistemas
agrarios.
El conocimiento, profesionalidad y racionalidad de los pobres y pequeos
campesinos.
Sus comportamientos y conductas.
Su habilidad para conducir sus propios anlisis y toma de decisiones.

El ltimo antecedente prximo al sistema PRA ha sido el propio RRA. El Rapid


Rural Appraisal se desarroll desde finales de los aos setenta en las
investigaciones realizadas por el Instituto de Estudios sobre Desarrollo de la

CAP. 5 METODOLOGAS DE EVALUACIN .

332

Universidad de Sussex (IDS) y que fueron recogidas y divulgadas por el Banco


Mundial48.
Chambers (1992:7) detecta tres orgenes para este enfoque:
Una profunda insatisfaccin por los prejuicios o sesgos anti-pobreza que se
producan en los proyectos de desarrollo de turismo rural con visitas muy
breves a las zonas rurales por parte de profesionales formados en zonas
urbanas. Pronto se tom conciencia de que no se priorizaban las necesidades
de los ms pobres.
Un segundo origen fue el desencanto de los investigadores con los
procedimientos usuales de trabajar con cuestionarios cerrados y los pobres
resultados que estos ofrecan. Resultaban largos, tediosos, poco prcticos y
poco realistas en la obtencin de informacin. Generaban informes
excesivamente amplios, atrasados, aburridos, intiles y que, en verdad,
terminaban siendo ignorados.
El tercer origen fue el descubrimiento de mtodos de aprendizaje de menor
coste-eficacia, bautizados en el IDS como los conocimientos tcnicos
indgenas, que reflejaban que la gente despertaba su inters y aprenda de
forma eficiente aquello que detectaba que afectaba directamente a la calidad
de sus vidas.
Tras estos antecedentes, los mtodos de analizar la realidad del RRA tuvieron un fuerte
impulso y desarrollo a lo largo de los ochenta, destacando las investigaciones y
aportaciones de la Universidad de Khon Kaen en Tailandia, que convoc una
Conferencia Internacional sobre el RRA en 1985 y public y difundi sus actas dos aos
ms tarde. Desde 1988 se crea una publicacin informal, RRA Notes, que sirve de
instrumento divulgador, y desde ese ao comienzan actividades formativas en la
metodologa del RRA y se llevan a cabo varios proyectos bajo este enfoque, sobre todo
por parte de ONGs. Las diferentes lneas de investigacin abiertas a principios de los
ochenta confluyeron en cuatro clases de diagnstico RRA: participativo, explorativo,
tpico y de seguimiento.

48

El IDS se ha especializado en la investigacin de esta metodologa. Ofrece una amplsima


bibliografa en libros, documentos de trabajo o de discusin, en su pgina web
(http://www.ids.ac.uk/eldis/pra/pra_bib.html). Una primera recopilacin de ms de 800 entradas la
ofrece Stewart et al. (1995). Esta fuente es insustituible para la profundizacin de estos
diagnsticos participativos, en los cuales no podemos profundizar por alejarse del objetivo central
de esta investigacin.

CAP. 5 METODOLOGAS DE EVALUACIN .

333

Expuestos los orgenes de estas formas de diagnstico (appraisal), pasamos a comentar


sus principales diferencias.
b) Diferencias.
La metodologa RRA sirvi de base al enfoque participativo PRA, si bien este supera el
acento en el evaluador o investigador que establece el RRA, que sonsaca o extrae la
informacin de los beneficiarios de los proyectos para ofrecer una oportunidad de
aprender junto al evaluador. El PRA, sin embargo, intenta hacer participar a la gente
local en su propio anlisis, planificacin y accin, compartiendo (no sonsacando) la
informacin relevante, siendo el evaluador ms un facilitador de procesos que un
investigador puro, y ejerciendo as procesos de empoderamiento de los agentes
locales, al tiempo que se realiza la evaluacin o diagnstico.
Chambers ofrece un clarificador cuadro comparativo entre el RRA y el PRA. (Cuadro
5.14.)
Es importante insistir en que las principales diferencias entre el RRA y el PRA
consisten en que, en el RRA, el evaluador trabaja junto al personal local para sonsacar o
extraer la informacin que l necesita para su apreciacin como investigador, pero la
propiedad, anlisis y uso de dicha informacin sigue estando preferentemente en los
agentes externos, no en los propios beneficiados por el proyecto. En cambio, en el PRA,
la informacin se comparte y sirve para capacitar o empoderar al personal local y el
evaluador acta como facilitador de procesos de toma de decisiones internas a cargo de
los propios interesados.

CAP. 5 METODOLOGAS DE EVALUACIN .

334

Cuadro 5.14. Comparacin entre el RRA y el PRA.

RRA

PRA

Periodo de mayor desarrollo:

ltimos de los 70 y 80.

ltimos de los 80 y 90.

Innovaciones procedentes de:

Universidades.

ONGs.

Principales usuarios:

Principal recurso puesto de


relieve:
Principal innovacin:

Agencias de ayuda y
Universidades.

ONGs y Organizaciones del


gobierno operantes sobre el
terreno.

El conocimiento de la gente local. Las capacidades de la gente local.

Mtodos.

Conductas.

Extractivo, sonsacante.

Facilitador, participante.

Objetivos ideales:

Aprender con agentes externos.

Empoderar al personal local.

Resultados a largo plazo:

Planes, proyectos, publicaciones.

Modo predominante de obtener


informacin:

Apoyar y sostener las acciones e


instituciones locales.

Fuente: Basado en Chambers (1992:11).

La agencia norteamericana de cooperacin al desarrollo, USAID, sintetiz las


principales diferencias entre una evaluacin tradicional y una participativa como puede
verse en el Cuadro 5.15.
Una vez vistos los orgenes de ambos enfoques y sus principales diferencias, pasamos a
exponer brevemente sus principios ms significativos49.

49

Otro desarrollo complementario sobre las diferencias entre evaluacin e investigacin participativa
y tradicional puede encontrarse en Cornwall y Jewkes (1995:1668-1669).

CAP. 5 METODOLOGAS DE EVALUACIN .

335

Cuadro 5.15. Diferencias entre la evaluacin tradicional y la participativa.

EVALUACIN TRADICIONAL.

EVALUACIN PARTICIPATIVA.

El donante determina el enfoque y propiedad de la

La propiedad de la evaluacin y su enfoque

evaluacin.

pertenecen a los participantes en ella.

Los beneficiarios no suelen participar.

El aspecto central es asignar responsabilidades.

Amplio margen de participacin de los


beneficiarios.
El centro de todo es enfocar la evaluacin como un
aprendizaje.

Diseo predeterminado.

Diseo flexible.

Mtodos formales.

Mtodos propios del diagnstico rpido.

El personal externo son los evaluadores.

El personal externo acta como facilitador del


proceso evaluativo que se realiza entre todos.

Fuente: Basado en USAID (1996).

c) Principios.
Siguiendo a Chambers, hay una serie de principios de funcionamiento que son
compartidos tanto por el RRA como por el PRA50. Son los siguientes:

Aprender de la gente, directamente y sobre el terreno en conversaciones cara a


cara.

Aprender rpida y progresivamente. Trabajar con flexibilidad, oportunidad,


capacidad de improvisacin, iteracin, cruce de informacin, capacidad de
adaptacin.

50

Chambers (1992:13-15). Tambin en Chambers (1994b:1254-1255).

CAP. 5 METODOLOGAS DE EVALUACIN .

336

Evitar sesgos, siendo flexible y no rgido con un formato predefinido de


evaluacin, escuchando a la gente, no leyendo en despachos alejados, probando
soluciones en vez de pasar al siguiente tema, no siendo impositivos ni los
protagonistas, buscando a la gente ms pobre y a la mujer, aprendiendo junto a
ellos sus conocimientos, habilidades y prioridades.

Optimizar el tiempo y coste del aprendizaje, buscando siempre la verdad,


aplicando el principio de ignorancia ptima y el de imprecisin adecuada51.

Triangular la informacin disponible como medio de validacin interna.

Diversificar, buscar el mayor nmero de opiniones y puntos de vista en vez de


usar medias o tendencias centrales, maximizar la diversidad y riqueza de la
informacin y buscar contradicciones, anomalas o diferencias en los datos
recogidos.

Adems de estos principios comunes a ambos enfoques, el PRA ha desarrollado algunos


principios adicionales que le caracterizan. Son los siguientes:

Facilitar al mximo que las tareas sean realizadas por los propios beneficiarios
locales. Que ellos analicen, investiguen, aprendan, propongan y decidan.

Desarrollar en los evaluadores externos una conciencia autocrtica y


responsable que, actuando como facilitadores de las decisiones, les someta a
procesos continuos de mejora, donde el error es visto como oportunidad de
aprender y crecer.

Que todo el proceso evaluativo est presidido por la constancia en el compartir


la informacin e ideas con la gente; que tanto el proyecto de desarrollo como su
evaluacin sea una tarea de todos.

51

El Principio de ignorancia ptima busca no saber lo que no merece la pena ser sabido, y el
Principio de imprecisin adecuada, lleva a no medir ms de lo necesario para hacer un buen
juicio.

CAP. 5 METODOLOGAS DE EVALUACIN .

337

Como seala el propio Chambers, es interesante notar que los principios compartidos
son de corte ms epistemolgico, mientras que las aportaciones propias del PRA versan
ms sobre conductas y procesos psicolgicos personales.
Una vez expuestos los principios de funcionamiento de estos enfoques, pasamos a
describir sus principales herramientas o mtodos de trabajo.
7.3.

HERRAMIENTAS Y MTODOS DE TRABAJO EN EL PRA.

Si algo caracteriza prioritariamente el mtodo de trabajo del modelo evaluativo


participativo es la variedad y creatividad de sus herramientas. El predominio de las de
carcter cualitativo es muy significativo, como puede apreciarse en esta serie de rasgos
que enumera Chambers (1992:15-19): el utilizar fuentes secundarias de informacin,
favorecer el hgalo usted mismo, apoyarse en informadores clave, entrevistas
semiestructuradas, toda clase de trabajo en grupos, las cadenas de entrevistas, los mapas
y modelos participativos, fotografas areas (para identificar tipos de suelo, cualidades
de la tierra, fertilidad, etc.), organizar paseos en los que se informa, charla, escucha y
observa espontneamente, diseo de instrumentos grficos como lneas de tiempo,
cronogramas, anlisis de tendencias, diagramas de estaciones, diagramas de
participaciones, el uso de historias, relatos etno-biogrficos, estudios de caso, pero
tambin instrumentos cuantitativos como anlisis de medios de vida, ranking de
bienestar o riqueza, anlisis de diferencias entre gnero o grupos sociales, utilizar
estimaciones,

cuantificaciones,

indicadores

clave,

presupuestos

participativos,

cuestionarios simples, sociodramas, brainstorming u otras tcnicas participativas


creadas ad hoc. Cada evaluacin participativa es nica, distinta y original52.
Esta tremenda variedad y libertad en el uso de herramientas informativas ha permitido a
los investigadores y evaluadores de los modelos RRA y PRA, acentuar las capacidades
y conocimientos de la gente local, trabajar bajo relaciones relajadas de gran confianza
mutua, servirse de los medios grficos y diagramas visuales ms que de los nmeros y
estadsticos, crear secuencias y series de datos por repeticin de una misma tcnica a lo

52

Una sntesis de los principales de estos mtodos se ofrece en USAID (1996:4); Guijt (1998);
Abbot y Guijt (1998); Gallego (1999); Mayoux y Chambers (2005).

CAP. 5 METODOLOGAS DE EVALUACIN .

338

largo del tiempo y que va ganando sucesivamente en detalle, ampliar la formacin y


orientacin de los evaluadores externos, as como compartir y difundir de forma amplia
el propio modelo RRA o PRA.
En definitiva, los tres fundamentos bsicos que ofrecen estos enfoques son:

Una variedad y creatividad enorme en los mtodos y herramientas de trabajo,


que fue lo que se consider ms caracterstico e importante en sus orgenes.

El acentuar las conductas y actitudes como claves en la evaluacin. Trabajar sin


imposiciones dando el mximo protagonismo al personal local. Esto pas a ser
lo ms importante en un segundo momento.

Pero en un tercer momento histrico, ha sido el acentuar todo lo que se refiere


al compartir, como talante de trabajo y condicin indispensable para una
evaluacin til, participativa y participada. Sin esto ltimo, no podramos
considerar que un ejercicio evaluativo realizado bajo este modelo pudiera ser
calificado como tal con el mnimo de rigor y honestidad.

De este modo y con estos fundamentos, evaluar de forma participativa supone


preguntarse ltimamente qu realidad es la que verdaderamente cuenta, la de los
beneficiarios con sus intereses, saberes o cultura, o la realidad calculada, medible o
interesada de agentes externos.
La tarea de evaluar bajo el paradigma participativo supone cambios profundos en los
modos habituales de trabajo: de trabajar con instrumentos cerrados a hacerlo con
abiertos, del predominio de lo individual al grupal, de lo verbal o lo visual, del medir al
comparar.
Pero tambin cambios en el modo de concebir y practicar las relaciones: de extraer
informacin para mi experimento o diseo evaluativo preconcebido a empoderar,
educar y capacitar a lo largo del ejercicio evaluativo (Fetterman 2001). Por eso, slo
puede evaluarse de forma participativa, estando sobre el terreno y de forma grupal.
Y, por ltimo, supone tambin cambios en las acciones a realizar: del uso privado de
los informes y conclusiones a la difusin transparente y participada, de los informes

CAP. 5 METODOLOGAS DE EVALUACIN .

339

tediosos e intiles, poco operativos, al humor y animacin constante hacia la mejora


continua.
7.4.

SNTESIS Y VALORACIN.

La evaluacin bajo herramientas participativas est siendo objeto de numerosas


publicaciones y juicios contrapuestos. Su cercana implantacin hace que este modelo
evaluativo sea acrticamente aceptado y alabado, maximizando adems la facilidad de
uso de algunas de sus herramientas o, por el contrario, sea objeto de fuertes crticas, ante
todo por los partidarios de la evaluacin ms tradicional, formal y cuantitativa, que la
desprecian en conjunto, sin salvar aspectos que pueden ser positivos53.
Siguiendo la presentacin del modelo que ofrece la USAID (1996), podemos sintetizar
los pasos a realizar para evaluar de forma participativa en los siguientes:

Decidir si el enfoque participativo es el apropiado para esta evaluacin. En


el caso de que se requiera una especial informacin sobre cuestiones de
implementacin del proyecto o el acento est puesto en el uso de la evaluacin
por parte de los beneficiarios y no existan excesivas presiones de tiempo, la
evaluacin participativa puede resultar adecuada. En el caso de requerir una
evaluacin que priorice un juicio externo independiente, o requiera captar y
analizar informacin muy especializada y tcnica, no se disponga de mucho
tiempo o existan serios e insalvables desacuerdos entre los agentes participantes
en el proyecto y sus intereses y enfoques, ser ms recomendable utilizar otra
metodologa que la participativa.

Decidir el grado de participacin. Qu grupos participarn y qu roles


ejecutar cada agente participante? Interesa que cada grupo participante en la
evaluacin explicite sus particulares intereses en el ejercicio evaluativo. La
participacin de los grupos puede ser variable en cada momento de la
evaluacin.

CAP. 5 METODOLOGAS DE EVALUACIN .

340

Preparar el alcance del trabajo. Aqu es necesario determinar los


procedimientos y agentes encargados de la recogida de datos necesarios para
elaborar indicadores.

Realizar una reunin del equipo evaluador para planificar el ejercicio. Se


trata de alcanzar un consenso bsico sobre el propsito de la evaluacin, definir
responsabilidades, clarificar roles, preparar todo lo relativo a logstica y
elaborar una agenda aproximada de trabajo. Ayudados por el facilitador
responsable, los agentes que van a participar reciben capacitacin bsica en las
tareas asignadas (recogida de datos, funcionamiento de las reuniones de grupo,
etc.) y se deciden las cuestiones que se desean responder en la evaluacin.

Ejecutar la evaluacin. Utilizando las tcnicas de diagnstico rpidas se llega


a recoger toda la informacin necesaria para realizar la valoracin.

Analizar la informacin y lograr un consenso basado en los resultados. Los


agentes participantes, ayudados por el facilitador, tratan de llegar a un consenso
bsico sobre los resultados del proyecto. Los desacuerdos se someten a
procesos de negociacin en los que se valora el mutuo aprendizaje por parte de
todos los intervinientes. Logradas unas conclusiones basadas en evidencia
emprica, se preparan las recomendaciones finales.

Elaborar un plan de accin. Se compone un plan de accin que maximice la


utilidad de la evaluacin, basado en un diagnstico realista sobre los puntos
fuertes y dbiles de cada agente representado. El proceso desea convertir la
evaluacin en un impulso comunitario, basado en lo aprendido al ejecutar la
evaluacin, y que tenga efectos visibles dentro de las comunidades
representadas.

Presentados de forma sinttica estos pasos, procedemos a nuestra valoracin personal.

53

La propia Metodologa de Evaluacin del MAE, recoge estos enfoques y la valoracin que de ellos
hace el CAD: MAE (1998a:92-94). Otras valoraciones del modelo participativo en: Lawrence
(1989); USAID (1996).

CAP. 5 METODOLOGAS DE EVALUACIN .

341

Coincidimos con Alvira (1991:30) en que hay cuatro supuestos bsicos en las tcnicas
participativas54:
1. Que puedan identificarse a todas las partes interesadas en la evaluacin. Si no es
as, el deseo de que sean los propios actores internos los protagonistas del ejercicio
evaluativo queda mermado. No es fcil integrar a todas las partes, pues hay
beneficiarios y perjudicados indirectos que pueden permanecer muy ajenos al proyecto
durante la ejecucin, y sin embargo verse sus intereses afectados en gran medida.
2. Que las partes quieran y/o puedan participar en la evaluacin. Esta observacin
parece obviada en la descripcin de los modelos participativos y bien merece tenerse en
cuenta, sobre todo en los proyectos en los que los beneficiarios no han tenido un papel
muy importante en su diseo y formulacin.
3. Que la participacin en la evaluacin les motivar a aplicar los resultados y
recomendaciones obtenidas. Aqu se supone gratuitamente que participar en una
evaluacin es motivante de por s, lo cual puede no ser cierto. Participar en una
evaluacin supone interrumpir las tareas cotidianas de trabajo, a veces insustituibles
para el sustento de sus protagonistas y su familia, y la evaluacin puede suponer una
carga adicional de esfuerzo. De hecho, uno de los factores que conviene tener en cuenta
a la hora de disear la programacin y el calendario de la evaluacin es la carga de
trabajo extraordinaria que supone para los agentes internos.
4. Que usarn los resultados. De participar en una evaluacin -que puede afectar ms
o menos al trabajo, costumbres o valores de los participantes- a asumir y aplicar los
cambios y recomendaciones ofrecidas por el informe evaluativo, hay un salto que debe
tenerse en cuenta y analizarse, y no obviar gratuitamente. De cualquier modo, habr que
probar que las recomendaciones ofrecidas por las evaluaciones participativas son
puestas en prctica en mayor medida que las recomendadas por otras metodologas55.

54

Cornwall y Jewkes (1995:1673) tambin detectan y comentan estas dificultades.

55

No tenemos constancia de que haya todava ningn estudio al respecto.

CAP. 5 METODOLOGAS DE EVALUACIN .

342

Comentados estos supuestos, ofrecemos nuestra propia valoracin segn el formato que
hemos venido manteniendo en la exposicin de los distintos modelos evaluativos.
(Cuadro 5.16.)
En definitiva, como bien sealan Cornwall y Jewkes, quiz lo ms caracterstico y
diferencial de la evaluacin e investigacin participativa no sean los mtodos o el
predominio de herramientas cualitativas, sino el centrar el poder que toda evaluacin
significa en los beneficiarios, en los agentes internos (insiders) en vez de en los
conocimientos y formalidades cientficas de agentes externos, cualquiera que sea su
metodologa y las herramientas que utilice56.
De todos modos, a pesar del creciente inters hacia estas herramientas por parte de
ONGD y organizaciones locales, la sospecha de un exceso de subjetividad, terminando
la evaluacin en simples y valiosas- puestas en comn, no termina de eliminarse. Una
buena combinacin de herramientas cuantitativas que permitan ofrecer evidencia
emprica y medidas -normalmente ejecutadas y analizadas por su complejidad por
personal externo- y que sirvan de base a los significados que se adopten -eso s por
consenso participativo-, creemos que no deben faltar. En el arco cuantitativo-cualitativo
caben muchas combinaciones posibles, pero la tendencia al equilibrio es mejor que la
polarizacin sobre un solo grupo de sujetos, intereses o herramientas, sean los insiders o
el personal investigador externo o outsiders. La buena relacin es la de complemento
mutuo, no de oposicin y tampoco hay que negar la dimensin de control de la

56

Cornwall y Jewkes (1995:1667-1668). All mismo hacen referencia a la distincin de Biggs


(1989) de cuatro grados de participacin: contractual (la gente es contratada para participar en el
proyecto o investigacin), consultiva (se pregunta a la gente su opinin antes de ejecutar la
accin), colaborativa (los evaluadores y la gente trabajan juntos en la ejecucin de un proyecto
identificado y formulado por los investigadores), colegial (evaluadores-investigadores y el
personal local trabajan juntos como colegas, en un proceso de mutuo aprendizaje y cada cual
segn sus respectivas habilidades, teniendo los locales el control del proceso). A lo largo de su
artculo, identifican nueve variantes de enfoques participativos: de tendencia ms contractual,
Rapid Epidemiological Assessment (REA), Rapid Ethnographic Assessment, Rapid Rural
Appraisal (RRA) y Rapid Assessment Procedures (RAP). Con una tendencia ms colaborativa o
colegial y desarrollados posteriormente: Participatory Rural Appraisal (PRA), Participatory
Action Research (PAR), Participatory Research (PR), Development Leadership Teams in Action
(DELTA) y Theatre for Development. Sirva esta referencia como presentacin de la amplitud de
vas de investigacin que incluye esta familia participativa.

CAP. 5 METODOLOGAS DE EVALUACIN .

343

evaluacin, aunque prime la de obtener juntos aprendizajes sobre las buenas prcticas
contenidas en el proyecto.
Cuadro 5.16. Caracterizacin del modelo participativo.

Condiciones previas:

Asegurarse de que el proyecto ofrece las


condiciones adecuadas para ser evaluado
de forma participativa.

Evaluar es:

Facilitar el proceso de autoaprendizaje de


los beneficiarios sobre los puntos fuertes y
dbiles con que se ha trabajado a lo largo
de la ejecucin del proyecto y obtener
recomendaciones tiles para su mejora.

Intereses predominantes:

Aunque puedan estar representados todos


los agentes, el protagonismo debe recaer
sobre los agentes internos (insiders) o
beneficiarios.

Cuestiones principales:

Asegurar la representatividad de todas las


partes y consensuar los intereses.

Mtodos ms comunes:

Los propios inventados por este enfoque.

Diseo de la evaluacin:

Flexible e informal.

Herramientas predominantes:

Claramente cualitativas.

Ventajas:

Los trminos de referencia e intereses de la


evaluacin son puestos en comn y
consensuados con los beneficiarios. No se
impone una evaluacin externa.
La comunicacin entre
participantes es continua.

todos

los

La informacin generada se adapta a los


conocimientos y necesidades de los
beneficiarios.
La evaluacin es un aprendizaje, no una
amenaza ni un control. Es un medio ms de
capacitacin, interno al propio proyecto.
Se evita una valoracin acultural y
descontextualizada
de
los
propios

344

CAP. 5 METODOLOGAS DE EVALUACIN .

beneficiarios.
El trabajo en equipo puede fomentar la
cohesin comunitaria y los liderazgos.
Inconvenientes:

Se vuelca excesivamente el peso sobre la


subjetividad de los actores.
Es difcil determinar cuando un agente
externo facilita o manipula el proceso.
Pierde las referencias cuantitativas y la
utilidad de los aspectos altamente tcnicos.
Requiere mucho tiempo y motivacin en
los agentes (internos y externos).
Puede ser una carga adicional de trabajo
para los agentes, que aminore la
productividad
de
sus
actividades
cotidianas.
Posible aparicin de sesgos favorables
hacia los intereses y opiniones de los
cofinanciadores,
para
asegurar
la
continuidad de la cooperacin.
El proceso de seleccin de los
representantes de los beneficiarios puede
ser problemtico.
Con
diseos
tan
flexibles
e
individualizados a cada caso, se impiden
evaluaciones sumativas que permitan
anlisis comparativos de eficiencia.

Fuente: Elaboracin propia.

CAP. 5 METODOLOGAS DE EVALUACIN .

8.

345

CONCLUSIONES.

El objetivo de este captulo era la presentacin y valoracin de los principales modelos


de evaluacin de proyectos que se han ido desarrollando a lo largo del tiempo, sin
pretensin de exhaustividad57.
Como se deduce del formato empleado para la valoracin de cada modelo, la principal
conclusin a la que llegamos es que no hay una sola metodologa vlida, superior a las
dems, sino que cada una ofrece un conjunto de ventajas e inconvenientes, porque
entiende la evaluacin de una forma propia. Todas son tiles y pueden ser objeto de
complementacin mutua. Variables como el tipo de proyecto ejecutado, el inters
primordial en cada ejercicio de evaluacin, el dominio por parte del agente que
encargue o realice la evaluacin y sus intereses particulares, la composicin del equipo
evaluador, la existencia o no de una buena planificacin del proyecto, con objetivos
claros y una lnea de datos de base lo suficientemente fiable, son slo algunas de las
ms relevantes a la hora de optar por un modelo u otro. En la riqueza de las opciones
reside un potencial de flexibilidad y adaptacin para cada caso, que no creemos deba
eliminarse optando por un solo modelo evaluativo.
El Anlisis Coste-Beneficio (ACB) presenta un enorme potencial para la toma de
decisiones ex ante o los estudios de viabilidad previos, as como un anlisis del criterio
de eficacia. Pero es ms dbil en los dems criterios y presenta numerosas
complejidades tcnicas, lo que le hace reservado para especialistas y alejado de las
capacidades comunes de los participantes o socios locales. La valoracin de intangibles,

57

Otros modelos en actual proceso de investigacin y desarrollo son la propuesta de la


sistematizacin (Rodriguez-Carmona, 1999); el mtodo GRAAP (Groupe de Recerche et
dAppui pour lAutopromotion Paysanne / Grupo de Apoyo para la Autopromocin de la
poblacin Rural) desarrollado desde Burkina Faso y basado en los principios ver-reflexionar o
juzgar-actuar; el mtodo DELTA (Development Education and Leadership Training for Action)
que se centra en la capacitacin de animadores que acompaen a la propia poblacin meta a
reconocer sus problemas, analizarlos y encontrar en su propio acervo cultural soluciones
apropiadas y que se practica en Sierra Leona, Kenia, Nigeria y Zimbabue; el enfoque del grupo
ENDA-GRAF (ENDA es una ONG internacional; GRAF = Groupe Recherche Action Formation)
que se desarrolla en Senegal y que trata de fusionar la investigacin-accin-educacin o
capacitacin en un conjunto integrado dentro del proyecto de desarrollo. Estos modelos tienen en
comn el ser participativos y flexibles. Una presentacin breve con bibliografa para su ampliacin
puede consultarse en MISEREOR y AGKED (1991).

CAP. 5 METODOLOGAS DE EVALUACIN .

346

la determinacin de precios sombra y costes de oportunidad, la valoracin de la vida


humana, son algunas de las principales dificultades que ofrece. La prctica realizada
hasta ahora confirma lo poco utilizado que es por parte de las ONGD. Quiz sea en los
proyectos de salud o en los de emergencia y ayuda humanitaria en situaciones de
catstrofe donde se haga una cierta aplicacin de la filosofa del ACB58.
La evaluacin segn la metodologa del Marco Lgico (EML) ofrece la oportunidad de
aprovechar la definicin obligada de objetivos general y especfico, para hacer una
evaluacin por objetivos. Su rigor formal y la generalizacin de este formato en la
inmensa mayora de los diseos de proyectos ejecutados por las ONGD lo hacen
atractivo a sus posibilidades e intereses. Adems, la obligatoriedad de presentar
informes bajo este modelo a las agencias cofinanciadoras, presenta una externalidad
positiva aadida. Pero sigue centrando su anlisis en la eficacia del proyecto (se
cumplen o no los objetivos) y de una forma negativa al dirigir su intencionalidad a la
captacin de problemas surgidos en la ejecucin del proyecto, y no en las capacidades y
oportunidades que este ofreci a los socios beneficiarios.
Creemos que la evaluacin bajo el Marco Lgico provee los elementos necesarios pero
no suficientes para una verdadera evaluacin de impacto ex post. Aporta la definicin
previa de objetivos bajo hiptesis y, sobre todo, determina indicadores cuantitativos
objetivamente verificables, lo que permite la planificacin previa de la recogida de
datos y el anlisis estadstico y economtrico de los datos. Pero resulta incompleto a la
hora de interpretar los significados de esos datos, y su homogeneizacin le hace rgido
frente a los innumerables avatares y cambios imprevistos e imprevisibles con los que
suele encontrarse un proyecto de cooperacin al desarrollo59.

58

Para las peculiaridades de la evaluacin de la ayuda de emergencia vase Gasper (1999), CAD
(1999), Hidalgo (2007), AA.VV. (2008).

59

Gasper (1999:77) sintetiza las debilidades del EML como instrumento evaluador en estas cuatro:
simplificacin excesiva, negacin de aspectos fundamentales no cuantificables, rigidez y olvido de
los efectos no deseados. Este mismo autor, citando un documento elaborado por el Active Learning
Network on Accountability and Performance in Humanitarian Assistance (ALNAP), seala
lcidamente que como cualquier herramienta, las dificultades asociadas con el marco lgico
pueden tener ms que ver con la manera en que es utilizado que con problemas inherentes a la
propia tcnica, ALNAP (1998:13).

CAP. 5 METODOLOGAS DE EVALUACIN .

347

De todas formas, una deseable generalizacin de evaluaciones formativas bajo este


modelo puede ser una puerta de acceso a evaluaciones sumativas que permitan la
comparacin mutua de proyectos similares ejecutados por distintas ONGD y por ayuda
oficial, para establecer anlisis de eficiencia comparada, hoy por hoy imposibles de
ejecutar ante la ausencia de datos.
La evaluacin libre de objetivos de Scriven, participa de estas mismas limitaciones
sealadas arriba, aunque presenta dos acentos muy deseables de recoger: la
determinacin, ya desde la definicin, de los trminos de referencia de la evaluacin, de
si sta ser formativa o sumativa, y la preocupacin por recoger y estudiar todos los
efectos provocados por la accin ejecutada, tanto los previstos o deseados, como los
imprevistos o indeseados.
De modo general, no recomendamos ejecutar evaluaciones ignorando positivamente los
objetivos definidos en el proyecto. Aunque conviene estar vigilantes para no centrarse
nicamente en ellos, stos deben ser la gua por la que avance el diseo de la
evaluacin.
La evaluacin naturalista de Guba y Lincoln ha iniciado todo un conjunto de nuevas
posibilidades creativas, flexibles y participativas en la prctica evaluativa. Su
fundamentado alejamiento del paradigma positivista ha dado entrada a las tcnicas
cualitativas de investigacin social en el campo de la evaluacin. Su talante negociador,
su espritu interdisciplinar, la distincin aguda entre mrito y valor han hecho avanzar
significativamente las posibilidades y potencialidades contenidas en un ejercicio
evaluador. Su modelo permite evaluar incluso cuando no haya una lnea de datos de
base bien construida, porque no se defini sta en la formulacin o porque no se
pudieron recoger los datos necesarios a lo largo de la ejecucin y seguimiento del
proyecto.
Guba y Lincoln han trasladado el centro de la evaluacin de lo acadmico-formalcuantitativo utilizado en la investigacin de las ciencias naturales, a la importancia de
las actitudes y valores, las capacidades, intereses y aprendizajes de los procesos
humanos en los que trabajan las ciencias sociales.

348

CAP. 5 METODOLOGAS DE EVALUACIN .

El enfoque orientado a la utilizacin desarrollado por Patton nos invita a considerar


todo el ciclo de la evaluacin y a cerrarlo para hacer de ella un proceso continuo y til.
Los ahorros que se derivan de este enfoque no son pocos, pues renuncia a lo idealformal a favor de lo posible-til. No hacer lo que no vaya a ser utilizado posteriormente
es acentuar la eficiencia interna de la evaluacin. Patton invita a introducir las
evaluaciones en el mundo de lo posible, dados recursos escasos, y centra la evaluacin
orientndola como una inversin para la agencia de ayuda u ONGD, no como un gasto
prescindible o no prioritario.
Quiz el mismo acento que Patton reclama para las fases o etapas ms postreras del
ciclo evaluativo, habra que considerarlo en las primeras fases. Sin un verdadero
convencimiento por parte de las entidades que se dedican a la cooperacin, de la
utilidad y necesidad de realizar evaluaciones y de ejecutar posteriormente las
recomendaciones recibidas, los esfuerzos emprendidos en este terreno resultarn
bastante ineficientes.
Se corre el riesgo, como en tantos procesos humanos, de que la evaluacin no sea ms
que una moda pasajera o una declaracin de deseos por parte de la entidad financiadora
o la ONGD, pero sin un compromiso serio y constante por su implantacin sistemtica y
por la ejecucin de conclusiones y procesos de mejora. Una sana obsesin por la calidad
de sus servicios la consideramos necesaria y recomendable. El riesgo de burocratizar
tambin la evaluacin, coleccionando informes de seguimiento, finales y de impacto
(que se guardan y archivan sin que nadie los lea o tenga tiempo y medios para
difundirlos y poner en prctica sus recomendaciones), existe y debe ser tan vigilado y
combatido en las ONGD, con la misma fuerza con que ellas mismas critican estos vicios
de otras instituciones.
Por ltimo las, muy en boga, evaluaciones participativas ofrecen todo un vasto temario
de debate e investigacin. Con la frescura de lo nuevo y la base crtica que impulsa a
superar lo antiguo, ofrecen un conjunto de prcticas y nuevas herramientas donde los
intereses, cultura y capacidades de los beneficiarios son el centro. Trasladan el poder a
las bases y gente del Sur y alejan la racionalidad y sesgos hacia los resultados
(econmicos, preferentemente) que dominan los eslabones primeros de la cadena de

CAP. 5 METODOLOGAS DE EVALUACIN .

349

cooperacin, con las agencias donantes, las organizaciones no gubernamentales, o los


organismos multilaterales de ayuda como agentes dominantes.
Para sus estudiosos y practicantes, la realidad que cuenta es la de los pobres y
beneficiarios del proyecto60.
Nosotros hemos sealado algunas de las debilidades que pueden presentar estas
evaluaciones. Si la evaluacin positivista y cuantitativa tiene como fortaleza el que los
nmeros cantan y busca la evidencia emprica para establecer sus conclusiones y
recomendaciones, las evaluaciones participativas pueden asentarse en una excesiva
carga de subjetivismo si no ejecuta sus mecanismos de control de forma rigurosa (sobre
todo la triangulacin que es donde basan este control).
En fin, Alvira ha aportado cuatro avisos o presupuestos que consideramos acertados:
para realizar una evaluacin participativa debemos asegurar que los socios beneficiarios
quieren evaluar y aprender, que pueden hacerlo, por mnima capacitacin y tiempo, que
estn honestamente interesados en el ejercicio y que su participacin les motivar a
cumplir las conclusiones y recomendaciones a las que juntos lleguen.
Al exponer diferentes modelos evaluativos y no optar por ninguna en concreto ni
aportar una nueva metodologa, se quiere hacer explcita la postura de que su valor es
relativo y de que cada modelo es susceptible de ser utilizado en una evaluacin, segn
tipo de proyecto, informacin disponible y circunstancias que modifican cada
evaluacin y la hacen una accin nica.
Garca Ramos (1992:468) completa con acierto esta misma idea:

60

Este es ncleo de la relevante obra de Chambers (1997): Whose reality counts? se pregunta en el
ttulo. La respuesta la ofrece en el subttulo: Putting the first last. La realidad de los que l
denomina los lowers frente a la realidad dominadora de los uppers es la que debe contar. Una
realidad que l define como local, compleja, diversa, dinmica e impredecible. Chambers (1999:
58, 78-87, 100-101, 162-188). Vase tambin Lugrs (2008).

350

CAP. 5 METODOLOGAS DE EVALUACIN .

El valor de los modelos se encuentra en su idoneidad para ayudarnos a


pensar, a proveer fuentes de nuevas ideas y tcnicas, para servir como un
esquema mental de cosas que deberamos considerar, o recordar, o sobre las
que preguntarnos. Su valor como lneas prescriptivas para hacer estudios
evaluativos parece mucho menor.

CAP. 5 METODOLOGAS DE EVALUACIN .

351

APNDICE.
Por su alto inters, incluyo un resumen del texto del The Joint Comittee on Standards
Evaluation, en el que se describen los estndares para evaluaciones de programas,
proyectos y materiales educativos, que son muy aplicables al contexto de evaluacin de
intervenciones de desarrollo.
NORMAS DE CALIDAD DE UNA EVALUACIN.
NORMAS DE UTILIDAD.
Las normas de utilidad estn concebidas para asegurar que una evaluacin proporcione las informaciones
prcticas que necesita una audiencia determinada. Estas normas son:
A1. Descripcin de la audiencia.
La audiencia relacionada con la evaluacin o afectada por ella debe ser descrita con el fin de que todas
sus necesidades puedan ser satisfechas.
A2. Credibilidad del evaluador.
Las personas que dirigen la evaluacin deben ser honradas y a la vez competentes para poder llevarla a
cabo, con el fin de que sus conclusiones alcancen el mximo de credibilidad y aceptacin.
A3. Alcance y seleccin de la informacin.
La informacin recopilada debe tener suficiente alcance y haber sido seleccionada de tal manera como
para incluir en s misma las cuestiones pertinentes acerca del objeto de la evaluacin y responder a las
necesidades e intereses de las audiencias concretas.
A4. Interpretacin valorativa.
Las perspectivas, procedimientos y bases lgicas utilizadas para interpretar los resultados deben ser
cuidadosamente descritas, con el fin de que queden claras las bases para el juicio valorativo.
A5. Claridad del informe.
El informe de la evaluacin debe describir el objeto que se est evaluando y su contexto, a la vez que los
propsitos, procedimientos y resultados de la evaluacin, con el fin de que las audiencias comprendan en
seguida qu se ha hecho, cmo se ha hecho, qu tipo de informacin se ha obtenido, qu conclusiones se
han sacado y qu recomendaciones se hacen.

352

CAP. 5 METODOLOGAS DE EVALUACIN .

NORMAS DE CALIDAD DE UNA EVALUACIN.


A6. Difusin del informe.
Los resultados de la evaluacin deben ser dados a conocer a los clientes y a otras audiencias interesadas o
adecuadas, para que puedan valorar y utilizar las conclusiones.
A7. Oportunidad del informe.
La difusin de los informes debe ser oportuna, con el fin de que las audiencias puedan hacer el mejor uso
posible de la informacin recopilada.
A8. Impacto de la evaluacin.
Las evaluaciones deben ser planificadas y dirigidas de manera que animen a la audiencia a continuar
investigando por s misma.
B. NORMAS DE VIABILIDAD.
Las normas de viabilidad estn concebidas para asegurar que una evaluacin sea realista, prudente,
diplomtica y moderada. Son stas:
B1. Procedimientos prcticos.
Los procedimientos evaluativos deben ser prcticos, para que los problemas sean mnimos y pueda
obtenerse la informacin necesaria.
B2. Viabilidad poltica.
La evaluacin debe ser planificada y dirigida conociendo las distintas posturas de los diferentes grupos de
inters, con el fin de obtener su cooperacin, y para que cualquier posible intento, por parte de alguno de
estos grupos, de abreviar las operaciones evaluativas o de influir en los resultados o utilizarlos, pueda ser
prevenido o contrarrestado.
B3. Eficacia de los costes.
La evaluacin debe producir informacin con el valor suficiente como para justificar lo que ha costado.
C. NORMAS DE HONRADEZ.
Las normas de honradez estn concebidas para asegurar que una evaluacin sea realizada legal y
ticamente y, a la vez, con el debido respecto por el bienestar de todos los que intervienen en ella, as

CAP. 5 METODOLOGAS DE EVALUACIN .

353

NORMAS DE CALIDAD DE UNA EVALUACIN.


como de aquellos que estn interesados en las conclusiones.
C1. Obligacin formal.
Las obligaciones de las partes formales de una evaluacin (qu hay que hacer, cmo hacerlo, quin debe
hacerlo y cundo) deben ser plasmadas en un compromiso escrito, con el fin de que estas partes estn
obligadas a cumplir todas las condiciones del compromiso o a renegociarlo formalmente.
C2. El conflicto de intereses.
El conflicto de intereses, frecuentemente inevitable, debe ser afrontado abierta y honestamente, con el fin
de que no interfiera en el proceso evaluativo y sus resultados.
C3. Informes completos y claros.
Los informes orales o escritos de una evaluacin deben ser francos, directos y honestos en la revelacin
de las conclusiones pertinentes, incluyendo las limitaciones de la evaluacin.
C4. El derecho del pblico a saber.
Las partes formales de una evaluacin deben respetar y asegurar el derecho del pblico a saber, dentro de
los lmites de unos principios y estatutos determinados, como por ejemplo la seguridad del pblico y el
derecho a la intimidad.
C5. Los derechos humanos.
Las evaluaciones deben ser preparadas y dirigidas de tal manera que sean respetados y protegidos los
derechos y el bienestar de los seres humanos.
C6. Relaciones humanas.
Los evaluadores deben respetar la dignidad y la integridad humanas en su trato con otras personas
relacionadas con la evaluacin.
C7. Informacin equilibrada.
La evaluacin debe ser completa y honrada en la presentacin de las virtudes y defectos del objeto de la
investigacin, para que las virtudes puedan ser mejoradas y los problemas solucionados.
C8. Responsabilidad fiscal.

354

CAP. 5 METODOLOGAS DE EVALUACIN .

NORMAS DE CALIDAD DE UNA EVALUACIN.


La cuota del evaluador y los gastos efectuados deben reflejar los procedimientos econmicos del trabajo
y, por otra parte, ser prudentes y ticamente responsables.
D. NORMAS DE PRECISIN.
Las normas de precisin estn concebidas para asegurar que una evaluacin revele y transmita una
informacin tcnicamente exacta acerca de las caractersticas del objeto que est siendo estudiado, para
poder determinar su valor o su mrito. Estas normas son:
D1. Identificacin del objeto.
El objeto de la evaluacin (programa, proyecto o material) debe ser examinado en profundidad, de
manera que su estructura pueda ser claramente identificada.
D2. Anlisis del contexto.
El contexto en el que estincluido el programa, proyecto o material debe ser examinado en su ms
mnimo detalle, con el fin de identificar sus posibles influencias sobre el objeto.
D3. Descripcin de intenciones y procedimientos.
Las intenciones y los procedimientos de la evaluacin deben ser concebidos y descritos con todo detalle,
de manera que puedan ser identificados y valorados.
D4. Fuentes de informacin fiables.
Las fuentes de informacin deben ser descritas con todo detalle, para que pueda valorarse si la
informacin es suficiente.
D5. Determinar la validez.
Los instrumentos y procedimientos para la recopilacin de informacin deben ser escogidos o creados y
luego utilizados de manera que aseguren que la interpretacin final es vlida para su uso.
D6. Determinar la exactitud.
Los instrumentos y procedimientos para la recopilacin de informacin deben ser escogidos o creados y
luego utilizados de manera que aseguren que la informacin obtenida es lo suficientemente exacta para
ser utilizada debidamente.

CAP. 5 METODOLOGAS DE EVALUACIN .

355

NORMAS DE CALIDAD DE UNA EVALUACIN.


D7. Control sistemtico de los datos.
Los datos recopilados, sistematizados y finalmente presentados en una evaluacin deben ser revisados y
corregidos, con el fin de que los resultados de la evaluacin no sean inexactos.
D8. Anlisis de la informacin cuantitativa.
La informacin cuantitativa de una evaluacin debe ser adecuada y sistemticamente analizada con el fin
de asegurar que las interpretaciones sean fidedignas.
D9. Anlisis de la informacin cualitativa.
La informacin cualitativa de una evaluacin debe ser adecuada y sistemticamente analizada con el fin
de asegurar que las interpretaciones sean fidedignas.
D10. Conclusiones justificadas.
Las conclusiones a las que se llegue en una evaluacin deben ser explcitamente justificadas, para que las
audiencias puedan valorarlas.
D11. Objetividad del informe.
Los procedimientos de las evaluaciones deben proporcionar las garantas suficientes para proteger los
resultados y los informes de la evaluacin contra la distorsin de los sentimientos e inclinaciones
personales de cualquiera de las partes formales.
Fuente: The Joint Comitee on Standards for Educational Evaluation (1981). Traduccin y cita de
Stufflebeam y Shinkfield (1993:27-31).

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 364

CAPTULO 6. LA EFICACIA Y EVALUACIN DE LA AYUDA EN LA


POLTICA ESPAOLA DE DESARROLLO.
1.

INTRODUCCIN

Comenzamos este libro preguntndonos si la ayuda al desarrollo reduce la pobreza.


Hemos visto cmo la pregunta es extremadamente compleja de responder, ya que la
pobreza

es

multidimensional

difcil

de

medir

de

forma

comparable

internacionalmente. La ayuda, por su parte, est sujeta al marco de poltica exterior de


los pases donantes y no es un instrumento que en la prctica- se focalice de forma
exclusiva y rigurosa hacia la eliminacin de la pobreza. La difcil y, a veces imposible,
armonizacin de intereses entre donantes y receptores, hace que su asignacin
geogrfica y sectorial sea ineficiente.
Si bien hemos analizado el concepto y la medicin de la pobreza, hemos eludido la
pregunta quiz ms honda: sus causas. Por qu hay pobreza? Por qu el siglo XXI,
con sus avances tcnicos, medios de comunicacin y reflexin antropolgica, no es
capaz de generar un sistema econmico capaz de evitar la muerte de cientos de miles de
personas por hambre o enfermedades derivadas de privaciones bsicas que, para los
habitantes del primer mundo son tan cotidianas que cuesta creer?
De nuevo la respuesta por las causas ltimas de la pobreza son esquivas. Quiz incluso
sea ms difcil para los economistas. La capacidad productiva del planeta es
actualmente capaz de alimentar a todos. Y todos es una poblacin mundial creciente. No
existe, por el momento, una crisis mundial de capacidad de generar alimentos. No es un
problema tecnolgico. Es un problema de reparto. Probablemente polticos y socilogos
tengan mayor ventaja comparativa a la hora de responder por las causas ltimas de la
pobreza. En un pas bajo una hambruna, no todos sufren la desnutricin crnica. El
presidente, sus familiares y si clan prximo, las elites polticas y comerciales, no sufren
desnutricin. A.K. Sen muestra cmo las hambrunas han coincidido con exportaciones
de alimentos por parte de los pases hambrientos. El problema es de informacin, de
mercados capaces de sobre-poner el acceso bsico de alimentos para los ciudadanos al
poder, la ambicin, el lucro a toda costa. Politlogos y socilogos o abogados pueden
tener ventaja comparativa cognitiva para explicar por qu hay pases frgiles,
fracasados, con alto riesgo de estrs (under stress). Por qu hay sistemas de
gobierno claramente malos (mala gobernanza) capaces de reproducir la desigualdad

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 365

mortal entre sus ciudadanos, la impunidad jurdica ms descarada, la corrupcin


sistmica, la falta de informacin y de voz y rendicin de cuentas de manera que los
propios ciudadanos no sean escuchados, ni empoderados. No puedan influir de ninguna
manera sobre aquellas decisiones que ms afectan a sus propias vidas. Por qu es tan
fcil para un gobernante y la administracin de un Estado democrtico, negar el
pasaporte de salida o el visado de entrada a trabajadores cuya cualificacin ms seera
es su necesidad de trabajar duro para sacara adelante su propia subsistencia y la de su
familia.
Yo, desde luego, no tengo una respuesta clara y distinta a las causas de la pobreza. Si
tengo claridad en que la pobreza multidimensional no tiene una razn monocausal. No
me convencen las respuestas simplistas de la conspiracin internacional, los
diagnsticos que explican la pobreza mundial echando la culpa al sistema, el
capitalismo salvaje, las conductas depredadoras de las multinacionales, la inoperancia
de las Naciones Unidas o la malfica doctrina econmica de Milton Friedman y su
Escuela de Chicago (Klein 2007). Aunque tengo claro que todas ellas puedan ser piezas
clave de este gran puzzle que es la pobreza mundial. Quiz son las piezas de borde
plano que ayudan a enmarcar el puzzle y que son las primeras que tienden a colocarse
antes de empezar a dar forma y color al interior. Pero el marco no es el cuadro. El borde
no contiene el dibujo interior del puzzle. Por qu hay pases menos capitalistas o de
peor calidad institucional y menos libertades que crecen muy rpido y reducen ms
pobreza (China, Vietnam) que otros ms abiertos y libres como los latinoamericanos?
Por qu ha sido tan complejo crear sistemas polticos y econmicos de mercado
eficientes en los pases en transicin tras la cada del muro de Berln? Por qu el
principio internacional de no ingerencia en los asuntos nacionales de un pas es aplicado
con mltiples varas de medir? Por qu ha declinado tan tempranamente la lucha contra
el terrorismo financiero? Por qu seguimos admitiendo deudas externas odiosas,
ilegtimas y secretos bancarios de cuentas corrientes de tiranos?
Estas preguntas tienen muy escaso recorrido para economa, terica o aplicada. Pero son
las que ms se hace la gente corriente, la ciudadana, los pagadores de impuestos y,
espero que tambin, los pobres.
Volviendo la mirada a la ayuda internacional, hay literatura que muestra cmo sta parte
del problema y cmplice de los males arriba descritos. Financiar a tiranos, prestar sin
un adecuado anlisis de riesgo, condicionalidad de polticas econmicas sin anlisis
estructural del pas receptor, basadas en las recetas que, en muchos casos, slo haban

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 366

dado resultado en pases con un desarrollo institucional y legal de larga tradicin, donde
existe cierta independencia del poder judicial y cierto nivel de meritocracia y
competencia administrativa. El incumplimiento de las amenazas por falta de resultados
o de la propia condicionalidad, ha alimentado el riesgo moral de los receptores de
ayuda, a la vez que ha hecho crecer la facturacin de bancos multilaterales y de agencias
de desarrollo. El altruismo o la buena voluntad, el destino a una buena causa ha
hecho que el sistema no se dote de evaluacin de resultados y la inercia o el inters
poltico sean variables altamente explicativas del origen y destino de flujos de ayuda.
Los estudios de asignacin de la ayuda han tratado de conciliar las necesidades del pas
receptor con las del donante (McKinley & Little 1979, Maizels & Nissanke 1984,
Neumayer 2003). Los resultados publicados muestran el predominio de variables
relativas al donante. Ser antigua colonia, o ser pas democrtico atrae ayuda
internacional (Alesina y Dollar 2000), votar en la misma direccin que el donante
explica recibir ms ayuda (Bobba & Powell 2007), ser corrupto no es obstculo para
recibir ayuda (Alesina & Weder 2002). El predominio del altruismo de los donantes
en las localizaciones geogrficas de la ayuda es tal que la fragmentacin de donantes (el
nmero de donantes y la probabilidad de que existiendo ya un donante, exista otro ms)
es una variable explicativa significativa tanto para atraer ayuda (Bobba y Powell 2007b)
como aumentar la corrupcin en el pas receptor (Djankov et al. 2006b). Sin embargo,
variables como el respeto a los derechos humanos, la calidad institucional, la estabilidad
poltica o el capital social del pas receptor no son variables que hayan aparecido como
estadsticamente significativas en los modelos retrospectivos de asignacin de la ayuda
(Neumayer 2003, McGillivray 2003a,b 2004, Hout 2002, Knowles 2002). Los recientes
modelos de selectividad estn dando cada vez ms importancia a los aspectos de
gobernanza de los pases receptores, si se quiere que la ayuda sea ms eficaz (Burnside
y Dollar 2004, Amprou et al. 2005, Dollar & Levin 2006, Radelet 2006, Cogneau &
Naudet 2007, Subramanian 2007). Otros modelos resaltan la importancia de la calidad
institucional del propio donante para una mayor eficiencia de la ayuda (Djankov et al
2006 a, b, Powell & Bobba 2006). Los donantes tienden a concentrarse geogrficamente
en sus decisiones de ayuda. Que exista un donante, aumenta la probabilidad de que
acudan ms quiz a complementarse. Estas economas de aglomeracin de la ayuda
hacen que se hable de pases amigos y de pases hurfanos de ayuda. De nuevo la
contradiccin de la eficiencia econmica de la ayuda. Para maximizar la eficiencia
econmica de los flujos de ayuda, habra que emplear una selectividad previa que hara

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 367

que los ms necesitados (pobres, mal gobernados con dbiles instituciones y muy
corruptos) sean olvidados por todos los donantes. Slo as el pas escuchara los
incentivos suficientes para abandonar las malas prcticas y pasar a las buenas a fin de
hacerse merecedor de ayuda. Pero ya hemos visto que la eficiencia econmica, en la
prctica, no pasa de ser una variable normativa (debera ser, pero no es).
Este panorama ha sido en gran medida reconocido como certero en los Encuentros de
Alto Nivel (High Level Forum) de los representantes polticos de donantes y receptores
convocados por la OCDE. Un primer encuentro importante tuvo lugar en Roma en 2003
(DAC 2003) para reafirmar la necesidad de armonizacin, coordinacin y
complementariedad de la ayuda entre los donantes. Posteriormente, en 2004, hubo un
segundo Foro de Alto Nivel en Marraquech en torno a la gestin hacia resultados. A ese
encuentro sigui otro en Pars en marzo de 2005. A su trmino, la mayora de donantes
y pases receptores ha ido ratificando lo que se conoce como la Declaracin de Pars
sobre la eficacia de la ayuda1 (CAD 2005, Larr 2005). Los firmantes se comprometen a
impulsar un sistema de ayuda basado en cinco criterios: la apropiacin o liderazgo
poltico del pas receptor, el alineamiento de sistemas y formatos de licitacin, control,
seguimiento y evaluacin a los existentes en los pases receptores, la armonizacin de la
ayuda entre los diversos donantes potenciando el apoyo presupuestario y evitando la
fragmentacin, la orientacin hacia resultados y la mutua rendicin de cuentas. El
proceso de armonizacin iniciado en Pars ha elaborado indicadores de seguimiento
para analizar su avance (DAC 2005) y una lnea de base de la situacin de esos
indicadores en 2006 (OECD 2008) para 34 pases receptores y todos los donantes
firmantes de la Declaracin. Entre el 2-4 de septiembre de 2008 tendr lugar en Accra
(Ghana), un nuevo Foro de Alto Nivel entre las partes para evaluar su cumplimiento2.
Sobre esta base de los principios de la Declaracin de Pars, voy a hacer un diagnstico
de la cooperacin espaola de cooperacin para el desarrollo, centrndome en los
aspectos evaluativos y de eficacia de la ayuda. Es lo que contiene la siguiente seccin.

Vase Hhttp://www.aidharmonisation.org/H En 2008, 116 pases y 26 organizaciones internacionales

haban firmado la Declaracin:


2

El sitio web para este Foro es: Hhttp://www.accrahlf.netH La OCDE dispone de una web para los

preparativos de dicho Foro: Hhttp://www.oecd.org/document/47/0,3343,en_2649_3236398_39448751_1_1_1_1,00.htmlH .


La preparacin previa y la Hoja de Ruta para Accra por parte de la cooperacin espaola puede
consultarse en el PACI 2008 (MAEC 2008:38-43).

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 368

2.

LA EFICACIA DE LA AYUDA EN LA COOPERACIN ESPAOLA.

La eficacia y calidad de la ayuda se ha convertido en la piedra angular del discurso


sobre la normatividad de la cooperacin espaola. Una expresin muy clara de ello se
encuentra en el Plan Director de la Cooperacin Internacional para el Desarrollo 20052008, cap.7 dedicado a presentar los principales mecanismos de implementacin para
aumentar la calidad de la ayuda espaola. Junto al incremento de recursos con el
objetivo intermedio de alcanzar el 05% de la Renta Nacional Bruta (RNB) espaola
destinada a ayuda internacional y la meta de alcanzar el 07% RNB en 2012, Espaa ha
ido dando cada vez ms importancia a tratar de hacer una cooperacin internacional de
calidad. Quiz el eslogan que mejor lo pueda representar es ese deseo que expresa el
Plan Director de pasar de una poltica de ayudas a una poltica pblica de desarrollo,
que entiende este de forma integral.
El marco internacional que ido evolucionando de forma clara hacia enfatizar la
necesidad de una cooperacin internacional para el desarrollo de calidad. Ya en 1996, el
CAD elabor un documento estratgico (CAD 1996) que pona la calidad de la ayuda en
el centro de la ayuda del siglo XXI. A ese documento siguieron la Declaracin del
Milenio de la Asamblea de Naciones Unidas en 2000, la seleccin y difusin de los
Objetivos de Desarrollo del Milenio ya incubados en el propio documento del CAD
1996, el Marco Integral de Desarrollo elaborado por J. Wolfelson, entonces presidente
del Banco Mundial planteando una enfoque articulado de las 16 reas ms importantes
que podran constituir el desarrollo de un pas, el relanzamiento en la cumbre del G-8 de
Colonia de la iniciativa internacional para el tratamiento de la deuda externa en los
Pases Pobres Altamente Endeudados a travs del refuerzo de la HIPC-II; las cumbres
internacionales convocadas por Naciones Unidas de Monterrey para el financiamiento
del desarrollo y del desarrollo sostenible en Johannesburgo, ambas en 2002; el impulso
otorgado al desarrollo de frica por parte de la Comisin para frica del Reino Unido
en 2005, junto a la cumbre del G-8 de Gleenagles (Escocia) tambin en 2005. Todas
stas iniciativas tienen en comn el reconocimiento de la importancia de la ayuda al
desarrollo para luchar contra la pobreza mundial, tanto en la dimensin de su calidad
como de la necesidad del aumento de su cuanta (duplicarla). Este reconocimiento ha
sido enfatizado por la publicacin del informe elaborado por Jefrey Sachs en 2005 para
Naciones Unidas y publicado en su libro El fin de la pobreza (Sachs 2005). En l se
defiende la necesidad de duplicar la cuanta de la ayuda internacional para salvar las
trampas de la pobreza en la que se encuentran los pases ms atrasados.

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 369

Todo este recorrido de hitos internacionales est basado en un supuesto no probado


como hemos tratado de mostrar a lo largo del libro: la ayuda reduce la pobreza. Por
tanto, para que haya menos pobreza, debe haber ms ayuda (el doble).
3.

HACIA

UN

SISTEMA

DE

GESTIN

ORIENTADA

HACIA

RESULTADOS: RETOS PARA ESPAA.


Espaa se ha ido adhiriendo a esta corriente internacional, quiz con ms nfasis y
conviccin a partir de 2004. Aunque Espaa no tiene una presencia destacada en el Foro
de Alto Nivel de Pars, sea en personal asistente o en iniciativas o propuestas propias, se
adhiere a la Declaracin de Pars desde el momento fundacional y comienza a realizar
un esfuerzo significativo por tratar de irla implementando y difundiendo entre los
agentes nacionales de cooperacin internacional para el desarrollo.
Como puede desprenderse del Plan Anual de Cooperacin Internacional (PACI) 2008,
los aos transcurridos desde 2005 slo han puesto las bases para poder realizar una
ayuda de calidad basada en los principios de eficacia fijados en Pars. La reforma
institucional (con la creacin de la Direccin General de Planificacin y Evaluacin de
Polticas para el Desarrollo3 DGPOLDE, y de la Agencia Espaola de Cooperacin
Internacional para el Desarrollo4 -AECID) debe permitir la elaboracin, ejecucin y
difusin de una poltica de desarrollo internacional de calidad.
Con esta finalidad, el PACI 2008 establece como directriz IV una ayuda eficaz que
siente sus bases en el aprendizaje continuo y su adaptacin, orientada a conseguir
cambios en las condiciones de vida de las personas. En la Meta IV.1 se describe el plan
para implementar la Declaracin de Pars, a travs de la participacin activa en las 9
mesas temticas de Accra y en las encuestas de seguimiento sobre la propia Declaracin
que realiza el CAD de la OCDE. Ya se ha llevado a cabo la primera a modo de lnea de
base (OECD 2007) en la que han participado 34 pases receptores y todos los donantes.
A lo largo de 2008 se lleva a cabo la segunda. Estas encuestas se centran en el
seguimiento de los 12 indicadores establecidos en la Declaracin para hacer operativos
los cinco criterios fijados como concrecin de lo que es una ayuda eficaz.
Por lo expuesto en el PACI 2008, Espaa poniendo un especial acento en los dos
ltimos criterios de la Declaracin: la orientacin hacia resultados y la rendicin de

Real Decreto 755/2005 de 24 de junio (BOE 151 de 25 de junio), art.16.

Real Decreto 1403/2007 de 26 de octubre (BOE 283 de 26 de noviembre).

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 370

cuentas. No es que sobre los otros tres criterios (apropiacin, alineamiento y


armonizacin) tenga desinters o haya avanzado comparativamente ms. De hecho,
Espaa no obtiene altas puntuaciones en ninguno de los tems medidos en la encuesta de
lnea de base (OECD 2007). Pero la meta IV.2 es clara al priorizar el cuarto criterio de
la Declaracin de Pars al establecer un sistema integrado de Gestin para conseguir
Resultados de Desarrollo en la Cooperacin Espaola. Sean cuales sean las razones
ltimas de esta eleccin, el caso es que el criterio en torno a la gestin para resultados e
el que ms directamente se relaciona con el tema de este libro, de ah que le dediquemos
una atencin especial.
Como reconoce el PACI 2008, la construccin acadmica y doctrinal en el seno del
CAD del concepto de Gestin para Resultados de Desarrollo se encuentra en pleno
proceso, no estando exento de discusin, interpretaciones y debate entre los diferentes
agentes de desarrollo. El CAD de la OECD ha celebrado dos mesas redondas para
avanzar en este tema, con pocos resultados concretos y operativos an5.
La posicin que se desprende del PACI 2008 es la de adoptar el sistema de gestin
hacia resultados como un aspecto transversal del sistema de ayuda espaol. Su
implementacin ser facilitada por la incorporacin de cinco elementos: una
metodologa de planificacin y direccin estratgica en los pases socios, una
metodologa de seguimiento de la ayuda en cada pas, otra de gestin de las
intervenciones para los resultados, la actualizacin de la metodologa de evaluacin para
conseguir detectar los resultados, y un sistema a desarrollar- que logre capturar la
contribucin especfica de la cooperacin espaola con cada intervencin a los
Objetivos del Milenio.
La adopcin de metodologas, nos parece claramente insuficiente para poder alcanzar el
objetivo de medir y gestionar segn resultados. En lo que s estoy totalmente de acuerdo
con el PACI 2008 es que esto supone un profundo cambio metodolgico pero, ante
todo, cultural (p.45). Sobre todo porque el sistema de gestin actual ha sido
establecido para controlar los gastos y medir los insumos. Cmo pasar de un sistema
5

Vanse las notas finales de la reunin de Marrakech (OECD 2004) y de Hanoi (OECD 2007b). Sobre la

materia, pueden consultarse el sistema de indicadores para resultados de IDA (2004) para la gestin de los
instrumentos de este organismo internacional perteneciente al Banco Mundial, el documento del World
Bank (2007), o las aportaciones de Kusek et al. (2005) sobre los medidores de los Objetivos del Milenio o
Wiesner (2002) para una descripcin terica de lo que un sistema de gestin hacia resultados debera
incorporar.

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 371

que se ha centrado en los flujos de los donantes a uno que se centre en los resultados de
los pases receptores en trminos de cambios sostenibles en su desarrollo? No tengo una
respuesta completa a esta amplia cuestin, pero creo que hay tres aspectos bsicos que
pueden enriquecer y que describo a continuacin.
Los tres elementos bsicos de un sistema integral de gestin hacia resultados pueden
ser: i) un marco cuantitativo de suficiente calidad que permita le medicin de los
cambios en trminos de resultados; ii) un sistema de incentivos suficientemente potente
para que este sistema sea efectivamente adoptado y no se quede en la retrica; iii) el
manejo de un lenguaje comn que site a los resultados de forma clara frente a las
necesidades y los procesos. Comento cada uno de ellos de forma un poco ms extensa.

Tres componentes de un sistema operativo de gestin hacia resultados.

1. Indicadores y fuentes de verificacin debidamente formulados.


No hay posibilidad de orientar la ayuda de forma previa a resultados si no hay
informacin. Lo que, al menos los estadsticos y econmetras, nos solicitan para poder
realizar cualquier tipo de prediccin es disponer de informacin cuantitativa suficiente
como para poder introducirla en sus modelos predictivos y as fijar resultados a priori.
Una vez ejecutadas las intervenciones y levantada la informacin durante la ejecucin,
se pueden medir y comparar los resultados ex post con los previstos.
Aunque aparentemente esto ya se incorpora en los diseos y formulaciones de las
intervenciones actuales, al emplear la metodologa de Marco Lgico (recuerde el lector
lo ya hemos visto en el captulo 4, que es un sistema de evaluacin por resultados en
sus siglas alemanas de ZOPP), la realidad es muy distinta.
Tengamos en cuenta una primera clarificacin conceptual. Aunque los manuales y
formularios de Marco Lgico denominan resultados a los productos (outputs) que
surgen de los insumos y actividades realizadas en los proyectos y programas, el sentido
de resultados dado por la Declaracin de Pars y el PACI 2008, es el de efectos
(outcomes): cambios positivos en las condiciones de vida de las personas sostenibles a
largo plazo (p.47). Dejando aparte la reduccin, supongo no intencionada, de que los
cambios puedan ser slo positivos y no negativos, lo esencial del trmino es que se
desliga de un mecanicismo fruto de los insumos y actividades previstas en las
formulaciones de proyectos y programas.

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 372

Hasta ahora, la lgica de las intervenciones subyacente al Marco Lgico y los sistemas
de gestin de la mayora de las administraciones publicas espaolas que financian
intervenciones de desarrollo es exigir un sistema de informacin que justifique los
insumos empleados. Los financieros en trminos de copia de todas las facturas de todos
los gastos realizados y justificacin detallada del presupuesto. Los tcnicos o no
financieros, en trminos de variadas fuentes de verificacin que prueben las actividades
realizadas. Por ejemplo, listas de asistentes a sesiones de capacitacin, actas de
reuniones mantenidas, listas de materiales entregados, fotografas de los actos
realizados, copia de acuerdos o contratos establecidos con otras instituciones con las
que se ha cooperado (municipios, empresas, universidades, etc.). Todo esto da lugar, en
una sntesis apretada, al informe final escrito por la entidad ejecutora (a menudo una
ONG del Sur o la ONGD espaola con la que se ha mantenido el acuerdo de
cofinanciacin).
Este sistema se basa, en el fondo, en la desconfianza. Para solventar el problema
principal-agente, por el que la Administracin espaola (principal) libra fondos a
agentes que la representan pero a los que no puede controlar, sea porque las acciones se
realizan a distancia, por el alto coste del seguimiento, o por el simple mandato legal de
tener que justificar todos los fondos pblicos gestionados y ponerlos a disposicin del
cuerpo de interventores con las debidas competencias (sea Administracin central,
autonmica o municipal), el caso es que el grueso del sistema actual de gestin, tanto en
trminos de tiempo como de recursos humanos y financieros empleado, est centrado en
el insumo y el producto generado por l. El sistema evita cualquier rendicin de cuentas
hacia los beneficiarios (o perjudicados) finales y del Sur, sea gobierno del pas receptor,
contraparte local de la ONGD o entidad intermedia como una municipalidad con la que
un ayuntamiento tenga formado un hermanamiento.
El sistema informa de la lgica horizontal cuyo argumento correra de la siguiente
forma simplificada: a partir de dinero y actividades previstas a realizar en el Sur,
logramos controlar dnde ha ido cada unidad monetaria pblica otorgada y los
productos o actividades realmente ejecutados, ya que ello es lo que se describe en el
informe final. El sistema puede an establecer un doble control. Algunas intervenciones
son auditadas (de forma programada y externalizadas a alguna empresa de auditoria) y
se realizan algunas visitas por parte del personal tcnico o cargo pblico para verificar
que se est haciendo lo que se describi en el documento de formulacin del proyecto o
programa.

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 373

Cuando la intervencin no es muy compleja o no parece crear demasiados problemas


tcnicos o humanos, el sistema fluye relativamente bien pero con altos costes de
transaccin. Cuando el proyecto o programa incurre en problemas tcnicos o
administrativos graves, el sistema se alarma, pero no dispone de mecanismos flexibles y
rpidos de reaccin. No se hacen visitas evaluativas aleatorias y sin avisar, las ONGD
deben pedir cambios sustanciales en partidas de gasto presupuestado o cambios en los
productos previstos, que llevan mucho tiempo, burocracia y pueden generar mala
fama para la organizacin o la intervencin. Los incentivos son a ocultar o negar la
realidad del Sur para mantener el sistema de control y seguimiento burocrtico lo ms
limpio posible.
Pero el sistema genera varias consecuencias negativas graves. En primer lugar, la carga
del sistema se pone sobre los eslabones finales de la cadena de cooperacin
estableciendo un sistema vertical ascendente de rendicin de cuentas. Si el xito es
cumplir con unos gastos previstos y unos productos (outcomes) planificados, los
incentivos se sitan en que las organizaciones locales describan y muestren mediante
facturas que se ha hecho lo planificado, aunque la vida de las personas a las que se han
dirigido las intervenciones siga igual, haya empeorado o mejorado. Ninguna de esas
posibilidades de resultados se prueba.
En segundo lugar, esta carga de la prueba de gasto y actividades, consume tantos
recursos humanos en tiempo, que impide (o al menos limita gravemente) el aprendizaje
de las instituciones. No aprende ni la administracin, ni la ONGD, ni la contraparte, ni
los beneficiarios. No se conocen las causas de los cambios, ni a quin atriburselos, ni
siquiera cmo se contribuy o no a reduccin de la pobreza, siendo este el objetivo
general global o fin de toda la cooperacin para el desarrollo.
Por el contrario, un sistema que quiere apreciar resultados, se sita en otra lgica, que
podramos denominar vertical6. Ahora las intervenciones son juzgadas como xitos slo
si producen cambios (efectos, resultados o outcomes), sostenibles en la vida de las
personas a las que se ha dirigido la ayuda.
Para poder conocer estos cambios necesitamos un sistema de informacin
completamente diferente al que se ha implementado hasta ahora. El Marco Lgico sigue
siendo vlido (con sus limitaciones) para planificar y dar seguimiento y control. Pero

Estas mismas ideas aparecen en Larr (2005) y el Plan General de Cooperacin para el Desarrollo de la

Comunidad de Madrid, al que pude contribuir como redactor.

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 374

para medir y conocer las contribuciones a los resultados necesitamos dos nuevas
herramientas. La primera es un subsistema de informacin cuantitativa que est basado
en indicadores y fuentes de verificacin bien formulados. La segunda es un subsistema
de recogida evaluativa de testimonios, sean orales o grficos. Desarrollo un poco ms
ambos subsistemas.
La teora de los indicadores bien formulados sostiene que deben ser SPICED7. Esta
teora puede concretarse en que un objetivo bien formulado debe incorporar las
siguientes dimensiones: una lnea de base con cantidad, calidad, personas destinatarias y
lugar de intervencin ms lnea proyectada con el tiempo e incremento a producir, sea
en trminos absolutos (volumen) y/o relativos (porcentajes). Por ejemplo, un indicador
SPICED bien formulado ser: de las 60 mujeres beneficiarias de acciones en turismo
rural en la comunidad XXX cuyos ingresos de partida son YYY unidades monetarias
locales (lnea de base que contiene sujetos, lugar y cantidades), un 50% (30 mujeres)
(impacto cuantitativo) encuentran empleo en turismo rural (impacto cualitativo) y
obtienen unos ingresos adicionales de ZZZ unidades monetarias locales (impacto
cuantitativo) tras un periodo de cinco aos (tiempo)8.
Desde mi limitada experiencia como evaluador, creo que esta calidad de formulacin de
los IOV en los proyectos y programas an no est presente de forma generalizada. Se
siguen cometiendo muchos errores en la formulacin de indicadores y en la inmensa
mayora de las intervenciones no se dispone de lnea de base que permita una
comparacin entre la situacin antes y despus que acerque a lo que es un resultado.
Incluso en los programas que empiezan a exigir elaborar lneas de base ms exhaustivas,
el resultado encontrado con ms frecuencia es que se elabora un diagnstico del entrono
ms profundo pero no hay, por ejemplo, un cuestionario validado y homogneo que se
pase cada seis meses o un ao a la misma poblacin, tanto beneficiaria como no
beneficiaria a modo de grupo de comparacin9.

El acrnimo responde a las siglas inglesas de especfico, inequvoco, sensible, pertinente y de duracin

limitada.
8

He desarrollado esta misma idea en Larr (2007). Un desarrollo complementario es el de Alcalde (2007)

o Gmez Galn y Sainz Ollero (2003:78-79 y 170-174), Gmez Galn y Cmara (2003:33-36).
9

Vase el informe de sntesis de las evaluaciones realizadas dentro de los programas cofinanciados por la

Comunidad de Madrid en la convocatoria de 2002 y realizadas durante 2006-2007, publicado por Larr
(2007b).

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 375

Un juicio similar podra hacerse de muchas de las fuentes de verificacin empleadas en


las formulaciones. Suelen ser vagas e imprecisas (encuestas, testimonios, reporte
fotogrfico), y no suelen precisar qu actividad exacta hay que realizar, quin la
realizar, con qu frecuencia y qu medios tiene para ello, sean materiales o
financieros10.
Un corolario de lo expuesto hasta aqu es que un sistema de seguimiento orientado a
resultados no debe centrarse en IOV y FV de las actividades, sino en los del objetivo
especfico. El problema administrativo se forma de la confrontacin entre la necesidad
de mantener un control riguroso de cuentas pblicas (exigir las facturas y un informe
final de actividades), que exige un seguimiento de multitud de IOVs y levantamiento de
mucha informacin primaria sobre las actividades, con un sistema de aprendizaje sobre
resultados que se centra en los indicadores del objetivo especfico.
En trminos ms aplicados. En la actualidad, un programa de tres aos que pretende
como objetivo especfico reducir la desnutricin infantil, se formula sobre una matriz de
Marco Lgico que llega a tener ms de 70 indicadores de actividades (formacin a
padres y madres, actividades productivas como biohuertos o entrega de animales para su
cultivo y alimentacin ms enriquecida en protenas ricas, construccin de sistemas de
saneamiento y trada de agua tratada y entubada a los hogares, etc). Lo que el sistema
actual os permite conocer es el gasto realizado y las actividades finalmente llevadas a
cabo. Pero no conocemos nada de si realmente los nios quedaron menos desnutridos y
por qu. Disear indicadores de desnutricin no es problema (existen bateras de
indicadores antropomtricos). Pero levantar series temporales locales que permitan
predecir con cierta exactitud cunta desnutricin se lograr a partir de unos insumos
previstos, determinar el tiempo necesario para medirla, o en sentido contrariodeterminar la cantidad de insumos necesarios para alcanzar reducir la desnutricin en
cada ecosistema y comunidad en la que se actuar, es una informacin que parece
simple pero que hoy es casi desconocida. Las formulaciones y predicciones se basan en
10

Siguiendo el ejemplo de IOV arriba propuesto una fuente de verificacin bien formulada podra ser:

una encuesta semestral durante cinco aos a las 60 mujeres beneficiarias sobre sus ingresos; si
culturalmente es posible, nminas de ingresos; contratos de nuevo empleo; encuesta o registro de
ingresos de 60 mujeres no beneficiarias lo ms parecidas a las beneficiarias (edad, lugar de residencia,
formacin, etc.). Recogidas por el director del programa con ayuda de estudiantes en turismo.
Presupuesto: XXX unidades monetarias.

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 376

la experiencia o creencia que los tcnicos de terreno, de la ONGD o de la


administracin ejecutora puede sospechar, pero no hay una base emprica potente
detrs de esta formulacin.
Lo peor del sistema actual, es que no genera tiempo ni incentivos suficientes para que la
situacin cambie. El trabajo se centra en la gestin administrativa y de control de gasto.
Pero no sabr nunca por qu o por qu no los nios quedaron ms o menos desnutridos,
cunto cost, si en situaciones similares es mejor utilizar enriquecimiento protenico o
de sales minerales, de hierro, etc. Si estos programas funcionan slo en el altiplano o en
la sabana africana. Cul de las alternativas es ms coste-eficiente. En definitiva, el
sistema basado en el control financiero-administrativo actual, no permite aprender.
Y las malas prcticas se perpetan con facilidad, porque existe sesgo de publicaciones
que las editen y porque el sistema tiende a ocultar los errores. Con el actual sistema, los
indicadores y fuentes de verificacin MAL formulados que no aportan informacin
objetiva relevante, pasan muchos filtros: quiz el de la propia ONGD si la
formulacin ha sido realizada directamente por la contraparte local, el de administracin
que cofinancia, sea su cuerpo tcnico o poltico, el de la empresa consultora que asesora
o realiza la baremacin previa de todas las propuestas presentadas a cofinanciacin, el
seguimiento a lo largo de las ejecuciones, el control ex post por parte de los
interventores. Hay muchos agentes involucrados en el control, pero apenas se aprende.
Hay un riguroso sistema de fotocopiar facturas, pero no hay respuestas para las buenas
preguntas y, espero equivocarme, muchas veces apenas hay preguntas relevantes, bajo
este sistema burocrtico.
Quiz una excusa pueda ponerse en que el sistema se adopt en la fase de juventud de la
cooperacin espaola. Pero no puede perpetuarse. De hecho, algunos cambios se van
produciendo a raz de la implantacin del sistema de convenios entre la AECID y
algunas ONGD que han sido previamente acreditadas.

2. Un sistema de incentivos para adoptar el sistema orientado hacia resultados.


La gente responde a incentivos, todo lo dems son comentarios. Esta afirmacin
resuma todo el volumen de Easterly (2001:xii) sobre la relativa ignorancia que se tiene
en torno al crecimiento econmico en los pases en desarrollo y cmo la ayuda
internacional ha podido ser una panacea ms que ha fracasado a menudo por no tener en
cuenta esta estructura de incentivos de los agentes involucrados. En nuestro contexto, la
pregunta sera: qu incentivos pueden tener los agentes de la cooperacin espaola

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 377

para cambiar de un sistema orientado al control burocrtico-financiero a otro orientado


hacia resultados?
Todo cambio genera resistencias. Primero porque supone abandonar una inercia que se
conoce para abrazar una incertidumbre cuya eficiencia se desconoce. Creo que no ser
fcil convencer a los numerosos agentes involucrados en el sistema nacional (e
internacional) de ayuda al desarrollo, abandonar las prcticas actuales para pasar a
trabajar bajo sistemas orientados a resultados. Las empresas dicen trabajar y hasta
remunerar bajo sistemas orientados por resultados. Pero, adems de mayor tradicin,
conocimiento y competencia, tienen una diferencia radical en su funcionamiento frente
a las entidades que trabajan en la cooperacin para el desarrollo: tienen mercado. Es
decir, tienen un sistema de retroalimentacin permanente en el que pueden valorar lo
que se demanda, lo que se ofrece, el precio al que se ajustan oferta y demanda, la
evolucin de los gustos de los consumidores, etc. Y tienen incentivos para innovar, ser
productivos y competitivos. Segn exista mayor o menor informacin y poder de
mercado, el mercado concreto se alejar ms o menos de las condiciones tericas de la
competencia perfecta. Pero, como ha descrito Easterly (2006), la ayuda no dispone de
este sistema de retroalimentacin. La ayuda se parece ms a un crtel de buenas
intenciones mantenidas por los donantes que a un mercado eficiente (Easterly 2002).
Todas estas resistencias son las que trata de cambiar la Declaracin de Pars y muchas
de sus limitaciones prcticas estn apareciendo por ignorar los incentivos polticos (ms
que por cuestiones tcnicas) de los pases y agentes donantes y socio-receptores.
Analizar la estructura de los incentivos es una tarea muy compleja, pues hay
proliferacin de agentes y los incentivos para ayudar pueden ser muy variados:
psicolgicos, ticos, comerciales, polticos... Se ayuda por solidaridad, por altruismo,
por egosmo, por propio negocio e inters, por compasin, para hacer un mundo ms
justo o ms seguro para los ricos. La estructura de incentivos no es institucional, sino
personal. Dentro de cada institucin dedicada a la ayuda, hay personas con diferentes
incentivos para actuar y, por tanto, ser ms proclive o menos a acoger un sistema
orientado hacia resultados.
Tratando de salvar un extremo individualista de incentivos, es posible que el
aprendizaje sea un incentivo positivo para todos los agentes. Aprender a hacerlo mejor y
conocer si el trabajo realizado por cada sujeto es bueno o malo (o eficiente o ineficiente,
produce resultados positivos en trminos de desarrollo o no), es muy posible que sea un
incentivo compartido. La necesidad de sentirse y ser reconocido en un trabajo bien

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 378

hecho, es un hecho que me parece ampliamente generalizable. Ms complicado me


parece generar un sistema que asocie de forma equitativa una retribucin para unos
resultados a menudo abiertos y poco comparables11.
Una posible buena prctica que estimule esta orientacin hacia resultados es premiar la
ejecucin de evaluaciones de calidad. No digo premiar a aquellas instituciones que
presenten informes de evaluacin con resultados positivos. Sino a aquellas evaluaciones
que por su buena ejecucin, son capaces de presentar aprendizajes fundamentados, sea
de intervenciones que han dado lugar a xitos o avances o a fracasos y ensean errores
que no deben ser repetidos.
Un peligro de las evaluaciones que estn comenzando a realizar en Espaa es que
apenas tienen consecuencias, con lo que los incentivos para esforzarse en las siguientes
disminuyen. Organizaciones que apenas se han involucrado en la evaluacin, la han
tomado como un requisito formal adicional por parte del financiador, no presentan
resultados sino que vuelven a detectar actividades completadas, no sufren ninguna
penalizacin en, por ejemplo, siguientes convocatorias pblicas de cofinanciacin. Y al
contrario, organizaciones responsables con los procesos de evaluacin, que presentan
informes de calidad, que se cien a resultados y no slo a productos, que presentan
recomendaciones concretas y un plan de mejora claro y preciso, no obtienen mayor
reconocimiento que el conseguido en ese mismo proceso.
Creo que, salvando las debidas normas de igualdad de oportunidades y de concurrencia
justa, pueden idearse sistemas de premios (mejor que de penalizaciones) que incentiven
a que las evaluaciones sean realmente procesos de aprendizaje activo y que haya
incentivos para que su calidad prctica sea elevada. Si no, todo lo escrito en los
informes se quedar en literatura. Sern comentarios que no cambien nada como
resuma Easterly.

3.Un lenguaje comn para resultados, junto a necesidades y procesos.


El tercer componente para crear un sistema operativo de gestin orientada a resultados,
bien podra ser el primero en el orden lgico-temporal. Se trata de clarificar qu se
entiende por resultados, y de situarlos en la perspectiva del anlisis de necesidades y de
procesos.

11

Estas cuestiones aparecen expuestas en Alonso (2004 y 2006).

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 379

La terminologa al uso del Marco Lgico, denomina resultados (esperados) a las


actividades realmente realizadas. A partir de insumos, se realizan actividades que al
lograse producen resultados. Estos hacen avanzar el objetivo especfico y ste, a su vez,
el general (Figura 6.1). El aprendizaje actual consiste en saber si las actividades
previstas se hicieron o no (a travs de la descripcin del informe final). La mayora de
las evaluaciones no realizan una justificacin profunda de cmo las actividades
realizadas hacen avanzar el objetivo especfico (es decir, estricta y honestamente no se
evala el impacto).
Figura 6.1. Aclaracin terminolgica: de resultados en el Marco Lgico a
Resultados en un sistema de gestin orientada hacia resultados.
Formato de Marco Lgico

Objetivo General

Objetivo Especfico

Resultados esperados
/Productos (outputs)

Insumos necesarios

Enfoque de resultados ex

Enfoque de resultados ex

ante

post

Informacin previa para


predecir

Resultados o efectos
(outcomes) logrados (positivos
y negativos)

Resultados o efectos
(outcomes) a lograr

Actividades a realizar

Insumos necesarios

Sostenibilidad

Contribucin al desarrollo
Impactos

Atribucin
Medios de Desarrollo
(crecimiento y equidad)

Objetivos de Desarrollo
(reduccin de pobreza)
Fuente: Elaboracin propia.

Frente a esta terminologa al uso, conviene distinguir la que emplea resultados no en el


sentido de actividades completas o logradas, sino de cambios en las vidas de las
personas meta. Mientras que el sistema del Marco Lgico permite conocer qu se ha
hecho con la ayuda, el sistema orientado hacia resultados debe permitir conocer para
qu ha servido la ayuda otorgada. Como muestra la Figura 1 en sus columnas de la
derecha, el sistema de gestin hacia resultados exige informacin previa para poder fijar

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 380

los resultados esperados, al menos en trminos de probabilidad y error esperado, as


como los resultados realmente acontecidos tras la intervencin, gracias al sistema de
informacin levantado para cada intervencin.
Los resultados ex ante, deben satisfacer los diagnsticos de evaluacin de las
necesidades estudiadas junto con la poblacin meta (las tradicional fase de
identificacin, pero realizada de forma realmente participativa y cuantitativa mediante
una lnea de base que satisface todas las variables influyentes en la hiptesis de trabajo
formulada en el objetivo especfico).
La informacin generada durante la ejecucin de la intervencin, permite realizar las
evaluaciones de procesos que acentan las dimensiones formativas y tendrn un
componente preferentemente cualitativo o descriptivo de las razones de xito o fracaso
de la intervencin.
Por ltimo, las evaluaciones de resultados permiten conocer de forma emprica y
cualitativa los cambios que se han producido en las vidas y contextos de las poblaciones
meta. Es decir, logramos conocer las contribuciones realizadas al proceso de desarrollo
de la comunidad y zona de intervencin. Cuando somos capaces de aislar los efectos y
atribuir los cambios de forma exclusiva a la intervencin realizada, estamos en
disposicin de realizar una evaluacin de impacto.
La figura 6.2, expresa de forma grfica cmo se interrelacionan estos tipo de evaluacin
y cmo los resultados son inseparables de las necesidades y, sobre todo, de los procesos.
Las tres dimensiones se retroalimentan. Las necesidades inician los procesos y exigen el
clculo previo de los resultados esperados. Los procesos informan sobre la marcha de
los resultados y pueden modificar el anlisis de las necesidades, si cambia el contexto o
las prioridades locales, por ejemplo. Los resultados se nutren de la evaluacin de
procesos, miden su logro consecucin y explican las razones del xito o fracaso. Esa
informacin se utiliza para un nuevo anlisis de necesidades y de procesos, en un
permanente proceso de aprendizaje dinmico.

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 381

Figura 6.2. Mutua interrelacin entre necesidades, procesos y resultados.

NECESIDADES

PROCESOS

RESULTADOS

Fuente: Elaboracin propia.

En resumen, a partir de un lenguaje comn en el que todos los agentes espaoles saben
diferenciar entre resultados (outcomes) y actividades realizadas (outputs), el sistema de
gestin orientada hacia resultados debe permitir articular evaluaciones de necesidades,
de procesos y de resultados de forma que se generen aprendizajes de forma continua y
retroalimentada. Para generar este conocimiento hace falta crear incentivos positivos
que premien las evaluaciones de calidad, con independencia de que los resultados
concretos hayan sido positivos o no. Se aprende tanto o ms de los errores a evitar como
de los xitos y a menudo, los errores pueden ser ms generalizables que los factores de
xito. El sistema no puede empezar a funcionar si no se es muy exigente con el diseo
de indicadores y fuentes de verificacin que permiten levantar la informacin rigurosa
necesaria para realizar tanto las futuras predicciones de resultados como la medicin y
recogida de testimonios que expresen de forma cuantitativa y cualitativa los resultados
acontecidos durante y al finalizar las intervenciones.

Vemos que no es posible separar un sistema de gestin orientada hacia resultados


de un sistema de evaluaciones que permita medir y aprender de los resultados
obtenidos. En la siguiente seccin analizamos de forma ms extensa los realizado
por Espaa en materia de evaluaciones en los ltimos aos as como los principales
retos que siguen pendientes.

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 364

4.

LAS EVALUACIONES EN EL SISTEMA DE LA COOPERACIN:


RETOS PARA ESPAA.

La Ley 23/1998, de 7 de julio, de Cooperacin Internacional para el Desarrollo, en su


artculo 19.4, estableci que le corresponda a la Secretara de Estado de Cooperacin
Internacional (SECI) la misin de evaluar la poltica de cooperacin para el desarrollo,
los programas y proyectos financiados con fondos del Estado en curso de ejecucin y
los finalizados, desde su concepcin y definicin hasta sus resultados. La evaluacin
tendr en cuenta la pertinencia de los objetivos y su grado de consecucin, as como la
eficiencia y eficacia alcanzada, el impacto logrado y la viabilidad comprobada en los
programas y proyectos ya finalizados.
Puede establecerse como inicio de la historia de las evaluaciones de la ayuda en Espaa
el verano de 1998, cuando en un curso de la Universidad Internacional Menndez
Pelayo en Santander se present la Metodologa de Evaluacin de la Cooperacin
Espaola (MAE 1998). Segn la estructura orgnica de aqul tiempo, corresponda
realizar las evaluaciones a la Oficina de Planificacin y Evaluacin (OPE), dependiente
de la SECIPI. El director de la Oficina era Francisco Montalbn quien encarg las
primeras cuatro evaluaciones externas de la cooperacin espaola (vase la Tabla 6.1).
La tendencia a promover cuatro evaluaciones por ao se ha mantenido hasta la
actualidad, si bien la rotacin de los directores hace que esta tendencia no se cumpla.
Las evaluaciones de la etapa 1998-2004, son , por lo general, de programas e
intermedias y preferentemente sumativas, con una orientacin de revisin del
funcionamiento de algunos programas e instrumentos. Las recomendaciones recibidas
no se traducen en ejercicios de retroalimentacin ni existen planes de mejora concretos
y a dar seguimiento. Predomin probablemente un enfoque de cierta rendicin pblica
de cuentas de algunos de los instrumentos ms emblemticos y exitosos de la
cooperacin espaola.
En 2001, se procedi a la revisin y actualizacin de la Metodologa de Cooperacin,
editndose un nuevo texto (MAE 2001), que resuma el anterior en una primera parte,
acortando los aspectos organizativos que haba extendido la primera edicin, y
aadiendo una segunda parte en la que se daban pautas para evaluar algunos
instrumentos especficos: la ayuda humanitaria (cap.6), el Fondo de Ayuda al Desarrollo

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 365

(FAD) (cap.7), los microcrditos (cap.8), y la evaluacin bajo enfoque de gnero


(cap.9)12.
Con el inicio de una nueva legislatura en 2004 y nuevo partido en el poder, se modific
la estructura y el nombre del Ministerio de Asuntos Exteriores, al que ahora se le aada
y de Cooperacin (MAEC). En junio de 2005, dentro de la reordenacin del MAEC,
se cre la Direccin General de Planificacin y Evaluacin de Polticas de Desarrollo
(DGPOLDE) en sustitucin de la antigua OPE, siendo desde entonces su Divisin de
Evaluaciones la encarga de dirigir la realizacin de las evaluaciones en el marco de las
competencias asignadas en el artculo 16.1 g), h) del Real Decreto 755/2005, de 24 de
junio13.
Se inicia as una nueva etapa en la Cooperacin Espaola que va a tener su reflejo en la
poltica de evaluaciones. Las evaluaciones comienzan aparecer en los discursos
polticos como un componente esencial ligado a la calidad y eficacia de la ayuda14. Los
Trminos de Referencia se hacen ms pblicos, transparentes y amplios. Se lleva a cabo
un esfuerzo para aumentar la transparencia y la utilidad de las evaluaciones llevadas a
cabo, licitando por concurso pblico las ofertas y generando un proceso participativo.
Se crean Comits de Seguimiento que permiten profundizar en la difusin y calidad

12

La evaluacin bajo enfoque de gnero ha sido ms ampliamente desarrollada en MAE (2004). Sobre

este tema puede consultarse Espinosa (2007).


13

Las principales funciones de la DGPOLDE en evaluacin son las siguientes: programacin anual de

los ejercicios de evaluacin a realizar (temticas, geogrficas, sectoriales, de instrumentos, programas y


proyectos); la coordinacin y seguimiento de las evaluaciones, en colaboracin con los distintos actores
de las intervenciones a evaluar; la emisin de recomendaciones para la mejora de las intervenciones a sus
responsables; la difusin de los resultados de las evaluaciones actividades de devolucin de resultados,
publicacin de informes de evaluacin, seminarios de intercambio de enseanzas obtenidas; la
elaboracin de herramientas metodolgicas para la evaluacin de la cooperacin espaola; la
participacin en la Red de Evaluacin del CAD; la coordinacin e intercambio de informacin sobre
evaluacin de la cooperacin internacional con los organismos de la Cooperacin Espaola,
especialmente con Comunidades Autnomas y Entidades Locales; el fortalecimiento del sistema de
evaluacin de la cooperacin espaola y fomento del conocimiento y la cultura de evaluacin entre los
distintos actores de la cooperacin espaola a travs de cursos, seminarios, talleres y otros mecanismos de
difusin y formacin.
14

Las intervenciones del Ministro de Asuntos Exteriores y de la Secretaria de Estado de Cooperacin

Internacional en la Comisin del Congreso de los Diputados, tienen referencias por primera vez- a los
aspectos de la evaluacin.

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 366

tcnica de los informes de evaluacin, as como ampliar la participacin de los agentes


involucrados15.
Aunque el nmero de evaluaciones no crece, la complejidad de los ejercicios
evaluativos aumenta, as como la extensin y detalle de los informes publicados.
Otro aspecto a destacar es que se comienzan a realizar presentaciones pblicas de los
informes de evaluacin16.

15

Aunque esto suponga tambin una menor eficiencia temporal pues los intereses de los agentes no son

siempre coincidentes y las preguntas evaluativas han tendido a ampliarse demasiado. Vase la experiencia
de la evaluacin en Marruecos en Arredondo (2008). Tambin este tema es desarrollado por S. White
(2002).
16

La primera, para las evaluaciones 2004-05 tuvo lugar en Madrid el 20 de abril de 2006 y una segunda el

14 de febrero de 2008 para las evaluaciones del plan 2006 (Araucaria, Marruecos y Microcrditos).

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO.

367

Tabla 6.1. EVALUACIONES REALIZADAS POR LA OPE/DG DE PLANIFICACIN Y EVALUACIN DE POLTICAS DE DESARROLLO
1998-2006
Director de la
OPE
Francisco
Montalbn

Informe Ao
N

1998

Evaluacin

El sector del cacao en


Guinea Ecuatorial

Sector
Reactivacin del sector del
cacao Desarrollo rural y
agropecuario

Pas

Guinea Ecuatorial
(Africa)

Tipo de

Empresa

evaluacin

consultora

De proyecto /
Conjunta / de
fin de fase

Instituto Universitario
de Desarrollo y
Cooperacin, UCM /
Comisin Europea

Dotacin de servicios de
tratamiento de residuos,
2

1998

Fortalecimiento Municipal

saneamiento de agua,

Guatemala

De proyecto /

en Flores, Guatemala

capacitacin municipal y

(Centroamrica)

de fin de fase

turstica Desarrollo

DMAS

Consultora,

S.A.

municipal
Escuelas Taller en

1998

Las Escuelas Taller en


Iberoamrica

Iberoamrica para la

Colombia, Cuba,

preservacin del patrimonio Bolivia (Amrica


cultural Formacin

Latina, AL)

De
instrumento

GPI Consultores

profesional
El Fondo de Ayuda al
4

1998 Equipamiento en
Iberoamrica

Manuel

1999 Programa de Cooperacin

Equipamiento del sector


productivo, Fondo de

Costa Rica, Per

De

Agroconsulting

Contravalor Sectores

(AL)

instrumento

Internacional

Per (AL)

De programa

Instituto Universitario

productivos
Programa bilateral de

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO.

Montobbio

Hispano-Peruano

cooperacin

El Programa de
6

1999 Erradicacin del Trabajo

Trabajo Infantil

Infantil en Iberoamrica

1999

Fernndez

Rica, Paraguay y

Intermedia

Repblica Dominicana y

Luis Tejada

de Adultos PAEBA

10

2001

El Programa SAIL en la
Isla de Camigun, Filipinas

2001 Integral Dri Cotachi 1998-

Procedimientos de gestin

Hait, Repblica

De

e instrumentos de las

Dominicana (AL) y

instrumento /

ONGD

Filipinas (Asia)

Intermedia

2002

Proyecto de Reforma
Judicial en la Repblica de

Techassist
Consultores

De programa /
Alfabetizacin y educacin

El Salvador,

intermedia,

bsica de adultos

Nicaragua (AL)

expost y fin de

GPI Consultores

fase
Desarrollo integral

Filipinas (Asia)
Provincia de

Desarrollo integral

Imbabura, Ecuador
(AL)

2001
12

GPI Consultores

Per (AL)

El Proyecto de Desarrollo
11

Internacional / OIT

Intermedia

universitaria

y ayudas a ONGD en Hait,

Agroconsulting

Conjunta /

Interuniversitaria en

2000 Alfabetizacin y Educacin

Mazarambroz

De programa /

De programa /

El Programa de
9

Cooperacin, UCM

Colombia, Costa

Honduras
Antonio

Intermedia

Formacin y educacin

Programa de subvenciones
1999

de Desarrollo y

Cooperacin

Iberoamrica

Colombia (AL)

pas /

Argentina, Brasil,

El Programa de
7

Costa Rica, Per y

368

Reforma Judicial

Bolivia

Agroconsulting

De programa

Internacional

De proyecto /

DARA Consultores

Intermedia
De proyecto /
Conjunta

SEINTEX

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO.

Final

Bolivia
Programa de Cooperacin
13

2002 Hispano-Peruano (19992000)


Programa de Patrimonio

14

2003 Cultural de la Cooperacin


Espaola

15

2003

369

Programa

bilateral

de

cooperacin
Conservacin

Per

del Per,

patrimonio cultural
Programa de cooperacin

Hispano Boliviano

bilateral

Waterhouse

Coopers

Repblica De programa / Agroconsulting

Dominicana, Egipto

Programa de Cooperacin

Price

De programa

intermedia
De

Bolivia

Internacional

programa

pas

Intermedia

Instituto Internacional
de Gobernabilidad

Programa para la
recuperacin del
16

2004

Patrimonio Histrico-

Programa de recuperacin

Arquitectnico y para el

del patrimonio histrico

Cabo Verde

De Programa /
de fin de fase

OTYPSA

Desarrollo Turstico y
Agrcola de Cidade-Velha
Fondo Fiduciario Espaa
PNUD para el
**

2004 Fortalecimiento de la
Gobernabilidad en

Fortalecimiento del sistema Guatemala


judicial

Nicaragua

y De programa
fondo / final

Fundacin
Universidad

de

Salamanca

Centroamrica
Jos

A.

Gonzlez
Mancebo

17
/

2005

Polo de desarrollo integral

Desarrollo

de Tiguent

artesanal

integral

pesca

Mauritania

De proyecto /
intermedia

Canaest Consultores

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO.

370

Milagros
Hernando*
18

2005

Cooperacin Espaola en
el mbito sanitario
Programa de Alfabetizacin

19

2005 y Educacin Bsica para


Adultos

Salud

Mozambique

Alfabetizacin y educacin Honduras


bsica de adultos

Sectorial
y De programa /

Nicaragua

final

Programa de
20

2005

Fortalecimiento Municipal y Fortalecimiento


Desarrollo Local

municipios

y descentralizacin

De programa /

Honduras

de fin de fase

(PRODEMHON)
21

2006 Programa ARAUCARIA

22

2006

Medio Ambiente

Cooperacin Espaola con

Programa de cooperacin

Marruecos

bilateral

Fondo de Concesin de
23

2006

Microcrditos para
Proyectos de Desarrollo
Social Bsico en el Exterior

GPI Consultores

Unin
Iberoamericana

De programa

PETISA Int.

Marruecos

De pas

ECOTEC

Honduras
Marruecos

De
instrumento

de

Municipalistas (UIM)

Amrica Latina

Casos en Ecuador,
Microcrditos

HLSP Consulting

INYPSA

Fuente: Elaboracin propia a partir de los datos de la OPE y DGPOLDE. * En 2005, el RD 755 de 24 de junio, crea la DGPOLDE. Dentro de ella se crea la Divisin de
Evaluaciones, encargada de promoverlas desde entonces. ** Evaluacin no publicada.

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 371

En la dimensin formativa y de difusin de la cultura de la evaluacin, se realizan


cursos para el personal de la administracin descentralizada en la que se difunde la
publicacin del Manual de Gestin de Evaluaciones de la Cooperacin Espaola
(MAEC 2007). Se traducen documentos del CAD relativos a la evaluacin (estndares
sobre las evaluaciones, gua para las evaluaciones conjuntas, DGPOLDE 2007 a,b).
Se encuentran en fase de preparacin una nueva revisin de la Metodologa de
Evaluacin, con el propsito de actualizarla al nuevo contexto internacional, sobre todo
el surgido tras la Declaracin de Paris de 2005.
El Recuadro 6.1, muestra cmo ha ido evolucionando la planificacin de las acciones de
evaluacin desde el PACI 2006 hasta el de 2008, dando as cobertura temtica anual a lo
contenido en la captulo 7 del Plan Director 2005-2008 sobre la calidad de la ayuda. La
presencia del mbito de evaluacin en los PACIs antes del de 2006, era nula.
Recuadro 6.1. Evolucin de la Evaluacin en los PACI 2006-2008.
PACI 2006.
Directriz VIII. Fortalecer el sistema de seguimiento y evaluacin de la Cooperacin
Espaola
Meta VIII.4. Desarrollar un procedimiento de evaluacin armonizado y coordinado para
los distintos actores de la Cooperacin espaola.
En el proceso de revisin de la metodologa de evaluacin de la Cooperacin espaola, se
actualizarn las herramientas existentes al actual proceso de planificacin y seguimiento,
contemplando los principios derivados de la Declaracin sobre Eficacia de la Ayuda, as como
las actuales herramientas de planificacin.
Del mismo modo, se desarrollar un protocolo de actuacin para la realizacin de las
evaluaciones de la Cooperacin espaola que incluya criterios comunes y que permita a los
distintos actores del sistema Administracin General del Estado, Administracin autonmica y
local, ONGD, as como OTCs realizar evaluaciones armonizadas y coordinadas.
Meta VIII.5. Promover la coordinacin, formacin y capacitacin sobre evaluacin entre
los actores de la Cooperacin espaola.
Desde la DG POLDE se impulsarn actividades de difusin, intercambio y formacin en materia
de evaluacin para los distintos actores de la Cooperacin espaola, con especial nfasis en la
administracin autonmica y local. Estas actividades tendrn el doble objetivo de capacitar a la
administracin pblica en la gestin y realizacin de evaluaciones, as como contribuir a una
mayor coordinacin en este campo.
Meta VIII.6. Fortalecer los mecanismos para la utilizacin e incorporacin de los
resultados de la evaluacin en las actuaciones evaluadas.
Las evaluaciones de la Cooperacin espaola se componen de tres fases, conformando un
ciclo: I. Preparacin de la Evaluacin; II. Realizacin de la Evaluacin; III. Comunicacin de
resultados y seguimiento de conclusiones.
Durante el 2006 se reforzar especialmente la tercera fase, por medio de la realizacin de
publicaciones, la celebracin de actividades de presentacin de resultados y la elaboracin de
recomendaciones administrativas a los responsables de cada intervencin para la elaboracin
de un Plan de actuacin que las incorpore, con la incorporacin de indicadores medibles de
realizacin.
PACI 2007
2.8. Directriz de eficacia de la ayuda (VII)

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 372

Meta VII.1. Revisar, actualizar y difundir la metodologa de formulacin, seguimiento y


evaluacin con especial incidencia en la aplicacin de la programacin operativa y de la
gestin orientada a resultados.
Para mejorar la calidad e impacto de las actuaciones de la Cooperacin Espaola, durante el
ao 2007 se revisarn los modelos de formulacin y seguimiento de las intervenciones, se
completar la actualizacin de la metodologa de evaluacin iniciada en el 2006 y se aplicar la
programacin operativa de modo que la planificacin estratgica pueda tener una traslacin a
nivel de resultados. Igualmente se difundir entre todos los actores de la Cooperacin
Espaola el proceso integral de planificacin, seguimiento y evaluacin que est guiando la
puesta en marcha del Plan Director 2005-2008.
Meta VII.3. Extender el modelo de evaluacin de la Cooperacin Espaola entre los
actores del sistema, garantizando la retroalimentacin en las fases de planificacin y
gestin.
En el proceso de actualizacin de la metodologa de evaluacin, incluidas las orientaciones del
CAD, ser necesario avanzar en la difusin y apropiacin de dicha metodologa entre los
actores de la CE y las orientaciones tcnicas que faciliten el desempeo de las funciones de
gestor de evaluacin, especialmente entre la cooperacin descentralizada.
Respondiendo a la necesidad de un aporte tcnico para los gestores que tienen asignadas
dichas funciones, se realizarn cursos de formacin, algunos de ellos en el marco del plan de
formacin impulsado por el grupo de trabajo de evaluacin de la Comisin Interterritorial de
cooperacin al desarrollo.
En este proceso de extensin de la cultura de evaluacin, la DG POLDE prestar asesora y
apoyo tcnico para el desarrollo de evaluaciones que garanticen la incorporacin de lecciones
aprendidas en las sucesivas fases de planificacin a nivel estratgico y a nivel operativo,
garantizando as la coherencia del sistema.
Meta VII.4. Puesta en marcha del Plan de Accin de la Declaracin sobre la eficacia de la
ayuda.
Los compromisos adquiridos tras la firma de la Declaracin de Pars por los pases donantes y
los pases socios estn recogidos en forma de metas e indicadores en la propia declaracin.
Estas metas requieren la modificacin y el ajuste de prcticas en formas de planificar, gestionar
y evaluar la ayuda para el desarrollo desde el punto de vista de los donantes. Con este fin los
principales donantes se han dotado de un plan de accin que aglutina los esfuerzos de todos
los agentes para lograr los cambios necesarios. Dichos cambios deberan permitir pasar de
sistemas de cooperacin al desarrollo basados en la condicionalidad como premisa a pasar a
sistemas basados
en la mutua responsabilidad.
Teniendo en cuenta este contexto y las caractersticas singulares de la Cooperacin Espaola,
sobre todo en relacin a la pluralidad de actores, se necesita poner en marcha un Plan de
Accin realizado de manera consensuada para implementar los compromisos derivados de la
Declaracin de Pars, cuyas actividades fundamentales se centrarn en la realizacin de un
programa de sensibilizacin a los actores de la Cooperacin Espaola sobre los contenidos de
la misma, la elaboracin de indicadores que permitan el seguimiento de la Declaracin, y el
establecimiento de un sistema de incentivos positivos y negativos para garantizar su aplicacin.

PACI 2008
Directriz III: Una poltica pblica que garantice la coherencia entre todas las otras
polticas para contribuir de forma sinrgica al desarrollo.
Meta III.3. Impulsar la evaluacin y seguimiento de la CPD sobre el terreno, la
transparencia y comunicacin sobre decisiones en otras polticas de desarrollo
siguiendo las recomendaciones del Comit de Ayuda al Desarrollo
...
En este sentido, la implementacin de Evaluaciones de Impacto sobre la pobreza y el
Desarrollo de cualquier poltica o intervencin, desde una perspectiva de evaluacin
estratgica, debera ser un imperativo para todos los actores pblicos o privados (tal como
ocurre en mbitos domsticos con, por ejemplo, el impacto ambiental). La reflexin al respecto

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 373

se avanzar durante 2008, basndose en los avances y propuestas realizadas en el CAD y en


el seno de la UE, para su posible incorporacin en el III Plan Director.
Directriz IV. Una ayuda eficaz que siente sus bases en el aprendizaje continuo y su
adaptacin, orientada a conseguir cambios en las condiciones de vida de las
personas.
Espaa debera priorizar urgentemente la introduccin de la gestin para resultados de
desarrollo, apoyada por un sistema y cultura de evaluacin ms fortalecidos.
(Recomendaciones del Examen de Pares del CAD, Noviembre 2007)
Meta IV.2. Establecer sistema integrado de Gestin para conseguir resultados de
desarrollo en la Cooperacin Espaola.
c) Actualizacin de la Metodologa de evaluacin de la CE orientada al aprendizaje para
conseguir resultados de desarrollo
Directriz V. Una ayuda gestionada con calidad por todos los actores involucrados.
Espaa debera priorizar urgentemente la introduccin de la gestin para resultados de
desarrollo, apoyada por un sistema y cultura de evaluacin ms fortalecidos.
A pesar de los avances realizados, el Examen del CAD recomienda que la Cooperacin
Espaola debe disear e implementar un sistema de gestin para resultados de desarrollo
apoyado en un sistema y cultura de evaluacin arraigados. La calidad en la gestin es, de esta
manera, condicin imprescindible para una ayuda eficaz.
Meta V.4. Reforzar el seguimiento y la evaluacin como bases fundamentales para la
toma de decisiones y los procesos de planificacin.
Para avanzar hacia el objetivo de mayor calidad de la cooperacin establecido en el PD 20052008, la Poltica de evaluacin de la Cooperacin Espaola incorpora las orientaciones de
evaluacin del CAD, y se basa en los siguientes principios: participacin, aprendizaje e
incorporacin de lecciones de la experiencia, utilidad, y transparencia.
Desde la entrada en vigencia del actual Plan Director, se ha establecido como prioridad el
fortalecimiento de la cultura de evaluacin en el sistema y de la generacin de ciclos de
evaluacin orientados al aprendizaje, la participacin y la calidad. Para ello se han fortalecido
las capacidades estratgicas de evaluacin en la actual Direccin General de Planificacin y
Evaluacin de Polticas de Desarrollo, teniendo los distintos organismos gestores del sistema
tienen la responsabilidad de programar y realizar evaluaciones de sus actuaciones, siguiendo
las directrices de calidad definidas por la DGPOLDE.
Por otro lado, se est procediendo a la revisin y actualizacin de las metodologas y
procedimientos de seguimiento y evaluacin de la Cooperacin Espaola. En particular se ha
elaborado y publicado un Manual para la Gestin de Evaluaciones de la Cooperacin
Espaola ; se han elaborado protocolos para el seguimiento de las estrategias (mbito pas y
sectorial) de la Cooperacin Espaola; y se han elaborado pautas para el seguimiento y la
evaluacin de los Convenios de ONGD y de los Fondos y Convenios multilaterales firmados
con distintos organismos.
Se ha tratado, de igual modo, de impulsar el Grupo de Trabajo de Evaluacin de la Comisin
Interterritorial de Cooperacin al Desarrollo, a travs del diagnstico de las evaluaciones
realizadas por las Comunidades Autnomas y el inicio del plan de formacin, habiendo dado
comienzo el proceso de control de calidad y de asesoramiento en los procesos de evaluacin
de otros actores de la Cooperacin Espaola (OTC, ONGD, cooperacin descentralizada).
Por otro lado, se ha dado impulso de la evaluacin a nivel multilateral. Espaa, a travs de la
DGPOLDE, participa activamente en el Grupo de Eficacia de la Ayuda del CAD, y juega un
papel destacado en la Red de Evaluacin del CAD. Este impulso se une al esfuerzo para
colaborar con el Banco Mundial y la UE, en la realizacin de evaluaciones conjuntas o el
establecimiento de fondos especficos para la evaluacin de impacto u otras tendencias
innovadoras en materia de evaluacin.
En el esquema de planificacin de la Poltica de Cooperacin Espaola se intentan incorporar
de modo sistemtico las pautas para el seguimiento y la evaluacin de las acciones de manera
que consiga dotarle de una dinmica cclica de aprendizaje continuo y de rendicin de cuentas.
Este esquema es el sugerido para dotar al sistema de Cooperacin Espaola de una lgica
integrada, cclica, de mejora continua y que permita que la gestin responda a una visin

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 374

estratgica y se inserte en un escenario de previsibilidad, sostenibilidad y coherencia de las


actuaciones de la cooperacin al desarrollo en el largo plazo.
Durante el 2008 el Plan de Evaluacin contempla la terminacin de las evaluaciones pas de
Mxico y Angola, ya comenzadas en este ejercicio, la evaluacin de Las Intervenciones sobre
el recurso agua en la Cooperacin Espaola . Asimismo, se prev el comienzo de dos
evaluaciones pas, se intentar que al menos una de ellas se realice conjuntamente con
nuestros socios europeos, y una evaluacin de un programa clave del sector salud.
Se continuar extendiendo la cultura de evaluacin mediante la mejora de los conocimientos y
capacidades en evaluacin de los actores de la Cooperacin Espaola, y la prestacin de
asesora y apoyo tcnico desde la DGPOLDE para el desarrollo de evaluaciones estratgicas.
Para fortalecer los conocimientos y capacidades de los actores, se elaborar y pondr en
marcha en 2008 un Plan de Formacin basado en el Manual de Gestin de Evaluaciones, as
como se realizarn cursos tanto en el marco del plan de formacin impulsado por el grupo de
trabajo de evaluacin de la Comisin Interterritorial de Cooperacin al Desarrollo como con la
AECID.
Adems, tal y como ha sido sealado en la meta relativa a la gestin para resultados, se
continuar en 2008 la revisin de la Metodologa de Evaluacin de la Cooperacin Espaola ,
para adecuarla a las tendencias internacionales en materia de evaluacin, las necesidades de
un sistema de planificacin y gestin para resultados orientado al aprendizaje, los cambios en
el paradigma de evaluacin de la Cooperacin Espaola (estrechamente vinculada con la
planificacin y la gestin), y la generacin de aprendizajes en el marco del ciclo de una poltica
pblica de desarrollo.

Reconociendo todos estos avances, la Cooperacin Espaola mantiene fuertes retos en


materia de evaluacin para que su sistema sea realmente influyente y produzca los
frutos de calidad que los documentos programticos o planificadores desean. Sealo a
continuacin los que me parecen ms relevantes.
El primer reto es ampliar la cobertura de las evaluaciones. Continuar con la inercia de
cuatro misiones evaluativas anuales tras 10 aos de experiencia, no est justificado. Las
necesidades de aprendizaje son mucho ms amplias y la seleccin de oportunidades
evaluativas, polticamente compleja y arriesgada, no debera ser un obstculo
insalvable.
El segundo reto es promover evaluaciones con un perfil ms realista. Es decir, con unos
trminos de referencia ms ajustados y no tan ambiciosos. En el lmite, cada evaluacin
debera considerar una sola pregunta estratgica para que los evaluadores dejen de lado
todos los aspectos colaterales y se centren en poderla responder en profundidad. La
inflacin de preguntas evaluativas, de casos concretos a revisar, la mutiplicidad de
enfoques (evaluacin del diseo, de resultados, de coherencia entre agentes...) se vuelve
a menudo en contra de la calidad de los informes publicados. Este defecto se acenta
cuando no hay alta correlacin entre lo que se pide, el presupuesto y el tiempo
ofrecidos. La propia Divisin de Evaluaciones experimenta dificultades para convocar y

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 375

resolver las licitaciones a tiempo, as como recibir los productos dentro de los ejercicios
fiscales anuales17.
En tercer lugar, es importante que el criterio de seleccin de evaluaciones no sea el
tamao presupuestario, ni evaluar slo grandes intervenciones (sectores en pases,
instrumentos o programas), sino que el criterio fundamental sea el potencial
aprendizaje. Eso incluye proyectos piloto, nuevas zonas o pases de intervencin,
proyectos sectoriales que marquen diferencias entre agentes (por ejemplo, una muestra
de proyectos de salud que compare la eficiencia tcnica y econmica entre los
promovidos por la AECID y por las ONGD dara fundamento a aumentar los fondos de
ayuda a las ONGD o canalizarlos a travs de la AECID). Hay que abandonar la
evaluacin como un simple ejercicio de difusin pblica de algunos resultados positivos
de intervenciones. Hay que ser valientes y atreverse tambin a evaluar potenciales
fracasos en los que los errores sean altamente pedaggicos.
En cuarto lugar hay que abordar dos instrumentos que hasta la fecha han quedado
sistemticamente excluidos de las evaluaciones: el FAD y las intervenciones de accin
humanitaria18.
En quinto lugar, es importante en coherencia con lo desarrollado en la seccin anterior
sobre la dimensin cuantitativa de los resultados- mejorar los sistemas de aprobacin y
seguimiento de indicadores cuantitativos, que permitan trabajar con herramientas que
midan dichos resultados. A menudo, los juicios evaluativos de criterios como la
eficiencia y el impacto, son meras opiniones cualitativas del equipo evaluador, pues no
dispone de ningn aparato cuantitativo que le soporte. Como muestra la Tabla 6.2, el
predominio de herramientas cualitativas en las evaluaciones llevadas a cabo hasta la

17

Por ejemplo, mientras escribo esto, abril de 2008, no estn publicadas en papel dos de las 3

evaluaciones del Plan 2006, una del Plan 2007 ha quedado desierta en la primera ronda de licitaciones
(Angola) y slo han aparecido los trminos de referencia de una de las del Plan 2008.
18

En Caete y Salazar (2003) se ofreci una revisin de una muestra de crditos FAD al que se le dio el

ttulo de primera evaluacin de impacto. Desde luego no se ajusta al contenido y, que sepamos, no ha
vuelto a haber nada parecido. Gonzlez y Larr (2004) hicieron una investigacin que probaba el efecto
positivo de los FAD en las exportaciones espaolas, pero quedaba en el aire su efecto sobre la pobreza de
los pases receptores. En cuanto a la evaluacin en ayuda humanitaria, hay una extensa experiencia
internacional y Espaa dispone de consultoras especializadas en este mbito. Un estado de la cuestin se
ofrece en Hidalgo (2007).

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 376

fecha es abrumador. Sin restar nada de valor a su aportacin, conviene reconocer que el
complemento cuantitativo es un claro reto pendiente.
En sexto lugar, la misma tabla 6.2. muestra la proliferacin de recomendaciones de los
informes. Esta inflacin de cambios pedidos es perjudicial para las evaluaciones. Si las
recomendaciones no son realistas, no se dirigen a un agente concreto, no proponen
medios concretos ni plazos oportunos para lograr introducir esas mejoras, se quedan en
simples expresiones de deseos o en juicios tan generales que apenas aportan. Una vez
que las recomendaciones estn ajustadas, merece la pena elaborar planes de mejora en
los que a cada recomendacin, pueda alegarse por el interesado sus comentarios y esa
misma ficha contradictoria en trminos de lo que emplea la Unin Europea- sea
objeto de seguimiento anual y se publique de forma electrnica. Este compromiso har
que las recomendaciones y la retroalimentacin en general, sea fructfero y podamos
medir las evaluaciones por los cambios y mejoras concretas provocadas, en un
interesante ejercicio de meta-evaluacin19. Se estar pasando de evaluar las
evaluaciones por el nmero de misiones, presupuesto destinado y dems insumos a
evaluar las evaluaciones por sus resultados o efectos, en coherencia con lo mantenido
para los flujos de AOD en este libro.
En sptimo lugar, hay mucho margen de crecimiento para la cooperacin entre las
administraciones central y descentralizadas en materia de evaluacin de intervenciones
de ayuda. La cooperacin descentralizada represent en 2007 ms de un 14% del total
de la AOD espaola. El liderazgo en materia de evaluacin le corresponde a la
DGPOLDE y est en funcionamiento un grupo de trabajo dedicado a las evaluaciones
dentro de la Comisin Interterritorial de Cooperacin Internacional (CICI). Un fruto de
este grupo ha sido una primera identificacin de qu CC.AA. estaban haciendo
evaluaciones (Tabla 6.3). La informacin obtenida muestra cierto dinamismo, aunque
hasta la fecha son escasas las evaluaciones pblicas y publicadas, no se dispone de un
portal comn donde poder obtener esa informacin y me temo que muchas de las
evaluaciones sean realmente informes finales. Pero la oportunidad es real y muchos

19

Un ejemplo de buena prctica en este sentido ha sido el documento elaborado como Anexo al PACI

2008, en el que se concretan cmo se han abordado en dicho PACI las recomendaciones obtenidas de la
evaluacin entre pares (peer review) del CAD en 2007. Si a partir de este ejemplo, se concretan sujetos,
plazos y medios para abordar cada recomendacin estratgica recibida en las evaluaciones, su eficacia y
eficiencia sern mucho ms altas.

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 377

de los Planes Generales autonmicos de Cooperacin Internacional introducen la


evaluacin de intervenciones en su planificacin, as como un evaluacin intermedia del
propio Plan General20.
Tabla 6.3. Evaluaciones realizadas por CC.AA.
COMUNIDAD AUTNOMA

NUMERO DE EVALUACIONES

Aragn

17 (internas)

Asturias

55

Baleares

36

Catalua

25

Extremadura

Galicia
Madrid

180*
2001: 13 intermedias y 23 ex post
2007: 12 programas

Fuente: Elaboracin propia con datos de la CICI (2007). Son externas a no ser que se indique lo contrario.
* Este dato creemos que se refiere a informes finales ms que evaluaciones ex post externas.

En octavo lugar, es importante prestar atencin a las ONGD, sus contrapartes y los
beneficiarios. Hasta ahora, las evaluaciones espaolas han estado centradas en los
intereses de los financiadores. Incorporar los intereses de los agentes sobre el terreno y
los propios beneficiarios es un reto de calado que supone manejar cambios importantes
en los diseos de la evaluacin (vase Touza 2007), en las herramientas a utilizar
(preferentemente participativas, vase Larr 2007a y Lugris 2003, 2008). Espaa
canaliza aproximadamente un tercio de su ayuda bilateral a travs de las ONGD. La
normativa sobre los convenios firmados con la AECID obliga a una evaluacin externa
intermedia, lo que va a suponer un importante insumo de conocimiento prctico, si estas
evaluaciones se gestionan con la suficiente calidad y orientacin al aprendizaje. Pero,
como ya hemos insistido, nadie aprende de preguntas ajenas. Si no se internalizan las
recomendaciones de esas evaluaciones y se reducen a un control adicional, sern un
nuevo papel abandonado en las estanteras. Por eso es esencial incorporar los intereses
de las ONGD y sus contrapartes y potenciar los procesos participativos. Pero eso es una
condicin necesaria y no suficiente para el aprendizaje evaluativo. Espritu de
autocrtica, reflexin interna, formacin y liderazgo, estabilidad de los recursos
20

Gonzlez Parada y Garca Cebolla (2004) han abordado la evaluacin en la cooperacin

descentralizada. En Larr (2004) se describen los datos de las primeras evaluaciones en la Comunidad de
Madrid en 2001 y Larr (2007b) es un informe de sntesis de las evaluaciones externas de resultados que
debieron realizar las ONGD que recibieron financiacin para programas en 2002.

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO. 378

humanos, son entre muchos otros- factores que contribuyen a hacer de las evaluaciones
instrumentos eficientes de cambios21.

21

Para un anlisis de las resistencias a aprender que tienen las ONGD y el propio sistema de cooperacin,

vase Rodrguez Carmona (1999, 2002 a,b,c) y Stock (2002, 2005).

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO.

379

Tabla 6.2. Datos bsicos de los informes de evaluacin 1998-2005.


Evaluacin

Fecha

Tipo

El sector del cacao en


Guinea Ecuatorial

Fortalecimiento municipal en
Flores, Guatemala

Las Escuelas-Taller en
Iberoamrica

1998 formativa,
intermedia

El Fondo de Ayuda al
Equipamiento en
Iberaomrica
Programa de Cooperacin
Hispano-Peruano
El Programa de Erradicacin
del Trabajo Infantil en
Iberoamrica
El Programa de Cooperacin
Interunivarsitaria en
Iberoamrica
Programa de subvenciones a
ayudas a ONGD en Hait,
Rep. Dominicana y Filipinas
El Programa de
Alfabetizacin y Educacin
Basica de Adultos PAEBA
El Programa SAIL en la isla
de Camiguin, Filipinas

1998 formativa,
intermedia

5
6
7
8
9
10

1998 formativa y
sumativa
1998 sumativa

2,5 encuestas
informales
2,5 elaboracion
de
indicadores
3 sondeos
informales

40

N
N
conclusiones recomendaciones
16

17

si

3 DMAS Consultora

39

24

si

3 GPI Consultores

32

12

si

3 Agroconsulting Int.

31

14

13

si

4 IUDC y dos peruanos

46

30

24

1999 intermedia,
mixta

5 no

si

4 Agroconsulting, OIT,
peruano; 2 mujeres

50

21

2000 intermedia

5 cuestionario

si

3 GPI y dos expertos

46

40

30

si

4 Techassist

59

29

20

2000 sumativa,
ex post

no

2000/01 formativa,
intermedia

cuestionario e si
indicadores

2 GPI

70

15

15

2000/01 formativa y
sumativa
2002 formativa
intermedia
2003 sumativa,
ex post

no

si

53

29

18

no

si

48

14

no

si

3 Agroconsulting Int; 2
mujeres
2 DARA con 3 mas en
terreno
no se seala

44

11

14

3 no

si

69

30

21

no

si,

102

31

36

12

Evaluacin del Proyecto de


Reforma Judicial en la Rep.
De Bolivia
Evaluacin del Programa de
Cooperacion Hispano-Peruano 19992000
Programa de Patrimonio
Cultural de la Cooperacin

meses Cuantitativas Cualitativas


3,5 no
si
4 IUDC y TRANSTEC

Paginas

3 encuesta

Evaluacin del Proyecto DRI


Cotacachi, 1998-2001

14

Evaluadores

1999 sumativa

11

13

Tiempo Herramientas

sumativa

2003 formativa,

4
PriceWaterhouseCoopers;
2 mujeres
4 Agroconsulting, + 6

CAP. 6. EFICACIA Y EVALUACIN DE LA AYUDA EN LA POLTICA ESPAOLA DE DESARROLLO.

Espaola

intermedia
2003 formativa,
intermedia

15

Programa de Cooperacin
Hispano-Boliviano

16

Programa para la recuperacin del


Patrimonio Histrico-Arquitectnico y
para el Desarrollo Turstico y Agrcola de
Cidade-Velha
Evaluacin intermedia del
feb 2005 Intermedia,
Proyecto Polo de Desarrollo DGPOLDE formativa,
Integral en el Litoral de
sectorial
Tiguent, Mauritania

17

18
19

Evaluacin de la
Cooperacin Espaola en
Salud en Mozambique
Programa de Alfabetizacin y
Educacin Bsica de Adultos
en Honduras y Nicaragua

6 no

2,5
segn
TdR

no, pero
cuantifican

2005 Final,
sectorial

3 no

2005 Final, de
programa

3 no

380

entrevistas
si,
entrevistas

expertos en terreno
4 Instituto Internacional de
Gobernabilidad

si, entrevistas
informales y
estructuradas y
taller
participativo

Canaest Consultores

113 5 pgs

10 pgs

si,
entrevistas

4 HLSP; 3 mujeres

108 12 pags

4 pags

133 22 pags

3 pags

114 11 pags,
ordenadas
por criterios

6 pags por criterios

si,
3 GPI; 0 mujeres
entrevistas
estructuradas
20 Evaluacin ex -post del Programa de
Final, de
3 cuestionario si,
3 UIM; 1 mujer
Desarrollo Local y Fortalecimiento
programa
entrevistas,
Municipal en Honduras
focus group
Fuente: Elaboracin propia a partir de los informes de evaluacin correspondientes.

95

62 sobre 19 temas

CAPTULO 7. CONCLUSIONES. CMO HACER QUE LA AOD LLEGUE A


SER HISTORIA.
Como hemos podido ir descubriendo a lo largo de los primeros captulos de este libro,
la ayuda oficial al desarrollo no est exenta de estudios que la pongan bajo sospecha,
especialmente los de mbito acadmico y en trminos macroeconmicos. La revisin de
la literatura realizada en el captulo tercero mostr fuertes interrogantes acerca de la
capacidad que existe hoy en da para poder afirmar de forma generalizada que la ayuda
oficial est siendo capaz de promover el crecimiento econmico y el desarrollo humano.
Las dificultades que se aaden en trminos de capacidad para medir la pobreza (sobre
todo la de ingresos), tal como se mostr en el captulo primero, hacen que el juicio
sobre la eficacia de la ayuda se mantenga todava en vilo.
Si analizamos las series temporales de ayuda oficial recibida por las seis regiones
geogrficas en las que el Banco Mundial divide el mundo, observamos resultados de
alto inters. Si relacionamos el volumen de ayuda neta recibida por cada regin con su
produccin por habitante en trminos de evolucin proporcional (esto es, en escala
logartmica)1, en cuatro regiones obtenemos una asociacin estadstica positiva y
significativa, mientras que en frica Subsahariana y en Europa no lo es (Tabla 1 y
Grficos 1-6).
Tabla 1. Elasticidades entre la renta per capita la AOD por regiones. 1960-2005.
Coef. correlacin
error estndar
estadstico t
2
R
Test F valor
Test F p-valor
Observaciones

SSA
0,000
0,000
0,361
0,0029
0,1305
0,720
46

E ASIA
0,090***
0,008
10,300
0,7084
106,9000
0,000
46

EUR
-0,025
0,019
-1,290
0,0999
1,6660
0,216
46

LAC
0,215***
0,022
9,670
0,6798
93,4500
0,000
46

S ASIA
0,038***
0,004
8,410
0,6167
70,8100
0,000
46

MENA
0,034***
0,006
5,670
0,4518
32,1400
0,000
46

Nota: SSA = frica Subsahariana; E Asia = Este de Asia; EUR = Europa; LAC = Amrica Latina y el
Caribe; S Asia = Sur de Asia; MENA = Oriente Medio y Norte de Africa. Las *** significan un nivel de
confianza del 99%. Fuente: clculos propios con datos procedentes del Banco Mundial, World
Development Indicators.

La comparacin en trminos logartmicos es ms apropiada ya que se comparan dlares de ayuda


recibida con dlares por habitante de cada regin, con lo que la escala natural entre ambas es muy amplia.
En la escala logartmica, los espacios iguales en el eje de ordenadas vertical- corresponden a diferencias
proporcionales iguales entre los sucesivos valores de la variable graficada. Esto es, la diferencia vertical
entre la AOD=1 y AOD=10 es igual que la diferencia vertical entre AOD=10 y AOD=100. En la escala
logartmica, cuando una cantidad crece a una tasa constante a lo largo del tiempo, se genera una lnea
recta. Adems, la regresin de dos variables en trminos logartmicos la comparacin de sus
proporciones de crecimiento- coincide con el concepto econmico de elasticidad.

Figura 1. Grficos de AOD y PIBpc por regiones. 1960-2005.

frica Subsahariana
100.000,0

10.000,0

1.000,0

100,0

10,0

19
90

19
92

19
94

19
96

19
98

20
00

20
02

20
04

19
92

19
94

19
96

19
98

20
00

20
02

20
04

19
88

19
90

M_AID_SSA

19
86

19
84

19
82

19
80

19
78

19
76

19
74

19
72

19
70

19
68

19
66

19
64

19
62

19
60

1,0

GDPpcSSA

Este de Asia
10.000,0

1.000,0

100,0

10,0

M_AID_Easia

19
88

19
86

19
84

19
82

19
80

19
78

19
76

19
74

19
72

19
70

19
68

19
66

19
64

19
62

19
60

1,0

GDPpcEAsia

Europa
100.000,0

10.000,0

1.000,0

100,0

10,0

1,0
1989

1990

1991

1992

1993

1994

1995

1996

1997

M_AID_Eur

1998

1999

2000

2001

2002

2003

2004

2005

GDPpcEur

Amrica Latina y el Caribe


10.000,0

1.000,0

100,0

10,0

M_AID_LAC

GDPpcLAC

20
04

20
02

20
00

19
98

19
96

19
94

19
92

19
90

19
88

19
86

19
84

19
82

19
80

19
78

19
76

19
74

19
72

19
70

19
68

19
66

19
64

19
62

19
60

1,0

Sur de Asia
10.000,0

1.000,0

100,0

10,0

19
94

19
96

19
98

20
00

20
02

20
04

19
96

19
98

20
00

20
02

20
04

19
92

19
90

19
88

19
94

M_AID_Sasia

19
86

19
84

19
82

19
80

19
78

19
76

19
74

19
72

19
70

19
68

19
66

19
64

19
62

19
60

1,0

GDPpcSAsia

Oriente Medio y Norte de frica


100.000,0

10.000,0

1.000,0

100,0

10,0

M_AID_MENA

19
92

19
90

19
88

19
86

19
84

19
82

19
80

19
78

19
76

19
74

19
72

19
70

19
68

19
66

19
64

19
62

19
60

1,0

GDPpcMENA

Fuente: elaboracin propia con datos del Banco Mundial (WDI). Datos en dlares corrientes. Los de
AOD en millones.

El resultado ms preocupante de este anlisis es notar cmo frica Subsahariana


mantiene su bajo nivel de renta per capita a lo largo de los aos a pesar de la proporcin
creciente de ayuda que recibe. En efecto, frica Subsahariana es la regin ms
dependiente de la ayuda externa en lo que se refiere a su financiacin internacional. El
63% de su capital externo para potenciar su crecimiento econmico es ayuda, siendo la
regin que recibe proporcionalmente menos remesas de los emigrantes y el volumen de
inversin directa extranjera es tambin bajo (Tabla 2). Los datos de la tabla confirman
una de las conclusiones del captulo segundo: la ayuda no es la fuente principal de
financiacin externa del proceso de desarrollo en el mundo. Lo es la inversin directa de
las empresas, seguida del ahorro de los emigrantes enviados a sus familias en forma de
remesas. La AOD, por su cuanta, debe aspirar a ser un complemento especialmente
focalizado a combatir la pobreza extrema en cada uno de los pases receptores.
Es de lamentar que la regin ms dependiente de la ayuda y sobre la que se claman
mayores incrementos de AOD, frica Subsahariana, sea la ms estancada. Pero ya
hemos visto en el captulo tercero que la falta de correlacin estadstica no puede
traducirse como ausencia de causalidad y que es un error afirmar categricamente que
toda la ayuda otorgada hasta ahora a frica haya sido completamente intil o incluso
perjudicial. Esto no puede decidirlo un estudio macro-economtrico, sino que deben ser
las evaluaciones de impacto rigurosas las que nos ofrezcan un juicio sobre lo que ha
funcionado y fracasado en frica.
Tabla 2. Flujos de financiacin externa por regiones. 1970-2006. Porcentajes.
Inversin
Capital
AOD
Remesas
Bonos
Directa
riesgo
Extranjera
20
24
43
11
2

Europa
Amrica
10
Latina y
Caribe
Oriente Medio
38
y Norte de
frica
Asia del Sur y
31
Central
frica
63
Subsahariana
Resto Asia y
16
Oceana
Pases en
29
Desarrollo
Fuente: Frot y Santiso (2008:13).

52

22

16

42

17

42

19

11

52

20

35

25

Considerada de forma global, la ayuda oficial al desarrollo afronta en la actualidad


numerosos retos de eficacia en su nivel macroeconmico. La literatura acadmica est

poniendo de relieve la necesidad de vigilar la presin al alza que la llegada de las


divisas en forma de AOD ejercen sobre el tipo de cambio del pas receptor (fenmeno
conocido como la enfermedad holandesa)2; los efectos negativos que sobre los costes
de gestin y administracin ejerce la creciente fragmentacin y proliferacin de los
donantes3, aumentando los costes de transaccin e incentivando de esta forma la falta de
transparencia en el control de los fondos y la corrupcin4; la volatilidad tan alta de los
flujos de AOD que impiden una buena planificacin a medio plazo de las polticas
pblicas de los receptores5; el carcter pro-cclico que tiene la AOD en muchos pases
socios, donde no sirve como contrapeso cuando aparecen las fases recesivas de
crecimiento econmico como la vivida desde mediados de 2008. stos son slo algunos
ejemplos que ponen de relieve las limitaciones de la ayuda oficial y conducen a un
planteamiento realista de, en primer lugar, los donantes deben procurar no hacer dao
en los pases socios.
La evolucin ms reciente de los datos de pobreza de ingreso realizada por el Banco
Mundial con una nueva base de comparacin de precios internacionales, ofrece
esperanzas y retos de futuro. En el primer captulo expusimos la evolucin de la pobreza
absoluta medida como aquella poblacin cuyo ingreso quedaba por debajo de los 1,08$
diarios medidos en Paridad de Poder de Compra con precios de 1993. El Programa

Sobre la posibilidad de que la AOD genere efectos de este tipo vanse, Heller & Gupta (2002), Clemens
& Radelet (2003), Gomanee et al. (2003), Nkusu (2004 b,c), Rajan & Subramanian (2005), Prati &
Tressel (2006).
3
Por ejemplo, mientras que en 1940 slo 15 organizaciones internacionales multilaterales se dedicaban a
cooperacin para el desarrollo, en la actualidad hay ms de 242 programas multilaterales, 24 bancos de
desarrollo, unos 40 organismos de Naciones Unidas y ms de 280 organismos donantes bilaterales. A
estos datos debemos sumar la ingente proliferacin de ONGD. Esta industria produce un nmero
superior a los 340.000 proyectos en el mundo. No es de extraar que slo el 45% de la ayuda se
suministre en los plazos previamente fijados o que en Vietnam, se hayan encontrado con 791 misiones al
ao de los distintos donantes (ms de dos por da). Resultado de esta proliferacin es una pesada carga
burocrtica y unos altos costes de transaccin. Por ejemplo, en Tanzania los trabajadores de salud dedican
la cuarta parte de su tiempo a preparar los informes para los donantes, en vez de concentrarse en las
prioridades nacionales de su labor (Deutscher & Fyson, 2008). El estudio del CAD (OECD-DAC 2008c)
menciona que en el periodo 2005-06 hubo 38 pases en desarrollo que recibieron ayuda de 25 o ms
donantes. En 24 pases receptores, 15 o ms donantes aportaban colectivamente menos del 10% de la
ayuda total, aunque cada uno exiga que se aplicaran sus propios procedimientos de gestin. De los 263
organismos multilaterales que pueden recibir fondos para la ayuda al desarrollo, bastan 5 para concentrar
el 66%, mientras que un 2% de ellos se distribuye entre ms de 100 agencias.
4
Sobre este problema, vase la Agenda para Accin de Accra OECD-DAC (2008b), Frot & Santiso
(2008b) o Alcaide y Larr (2007).
5
Entre la numerosa literatura reciente aparecida sobre la volatilidad de la ayuda, pueden consultarse
Adam et al (2008), Agenor & Aizenman (2007), Arellano et al (2009), Borensztein et al. (2008), Bulir &
Hamann (2001, 2003, 2005, 2006, 2008), Bulir et al. (2008), Celasum & Walliser (2008 a,b), Eifert &
Gelb (2005, 2008), Fielding & Mavrotas (2005, 2008), Frot & Santiso (2008), Gelb et al. (2004),
Gemmell & McGillivray (1998), Hudson & Mosley (2008 a,b), Kharas (2008), Lensink & Morrissey
(2001), Markandya et al (2006), Nunnenkap (2001), Pallage & Robe (2001) y Prati & Tressel (2006).

Internacional de Comparacin de Precios ha culminado una nueva ronda de observacin


de precios en 2005. El Banco Mundial ha establecido la nueva lnea de pobreza absoluta
en los 1.25$ diarios en PPP de 2005. La evolucin desde los aos 80 de la pobreza en
las diversas regiones del mundo medida bajo esta lnea de pobreza, se muestra en el
Grfico 1 bajo el nmero de pobres y en el Grfico 2 en trminos porcentuales de
poblacin.
Grfico 1. Evolucin del nmero de pobres por regiones. Lnea de pobreza de 1,25$ diarios.
Number of Poors
2000
1800
1600
1400

Millions

1200
1000
800
600
400
200
0
1981
East Asia and Pacific
South Asia

1984

1987

1990

Europe and Central Asia


Sub-Saharan Africa

1993

1996

1999

Latin America and the Caribbean


Total

2002

2005

Middle East and North Africa

Fuente: Datos del Banco Mundial, povcalnet y de Ravallion, Chen & Sangraula (2008).

Grfico 2. Evolucin del nmero de pobres por regiones. Lnea de pobreza de 1,25$ diarios.

Poverty Headcount
90

80

70

% population

60

50

40

30

20

10

0
1981
East Asia and Pacific
South Asia

1984

1987

1990

Europe and Central Asia


Sub-Saharan Africa

1993

1996

1999

Latin America and the Caribbean


Total

2002

2005

Middle East and North Africa

Fuente: Datos del Banco Mundial, povcalnet y de Ravallion, Chen & Sangraula (2008).
Tabla 1. Progresos en reduccin de la pobreza absoluta por regiones. LP=1.25$ diarios.
Este Asia y
Europa y
Pacfico
Asia Central

%
poblacin

Dif 19811990
Difs 19902005

Difs
19812005

Dif 19811990
Dif 1990n pobres 2005
(millones)

America Latina y
Caribe

Oriente
Medio y
Norte de
frica

Asia del
Sur

frica SubSahariana

Total

-22,95

0,29

-1,69

-3,56

-7,64

4,16

-10,2

-37,94

1,69

-1,42

-0,71

-11,37

-6,69

-16,32

-60,89

1,98

-3,11

-4,27 -19,01

-2,53

-26,52

-198,19

2,07

0,9

-3,94

30,91

85,43

-82,81

-557,09

8,16

3,18

1,27

16,38

91,48

-436,62

Difs
-755,28
10,23
4,08
-2,67 47,29
19812005
Fuente: Clculos propios con datos de Ravallion, Chen & Sangraula (2008).

176,91 -519,43

El panorama mostrado por los grficos y la Tabla 1 es esperanzador aunque


preocupante. Esperanzador porque la pobreza mundial se ha ido reduciendo desde los
aos 80, sea en trminos porcentuales (un 26,52% entre 1981-2005) sea en nmero de
personas (519,43 millones en el mismo periodo). El progreso se aceler desde 1990
respecto a lo logrado en la dcada anterior. La regin ms exitosa ha sido el Este de
Asia y Pacfico que registra reducciones significativas en todos los periodos y tanto en
trminos relativos (reduccin del 60,9%) como en nmero de personas (-755,2
millones). Oriente Medio y el Norte de frica tambin han evolucionado positivamente

en ambas formas de considerar la pobreza, aunque hubo un aumento en el nmero de


pobres entre 1990-2005 de 1,27 millones.
El panorama es preocupante porque, en primer lugar, Europa y Asia Central han
aumentado sus niveles de pobreza absoluta (casi un 2% y 10 millones de personas). En
segundo lugar, porque Amrica Latina, Asia del Sur y frica Subsahariana logran
reducciones en trminos porcentuales del 3,1%, 19% y 2,5% respectivamente, pero
aumentan en trminos de nmero de pobres (4 millones en Amrica Latina; 47 millones
en Asia del Sur y casi 177 millones en frica Subsahariana).
La situacin en 2005 queda reflejada en la Tabla 2.
Tabla 2. Pobreza absoluta en 2005. Lnea de pobreza = 1.25$ diarios de 2005.
Este Asia
y Pacfico

Europa y
Asia
Central

America
Latina y
Caribe

%
16,78
3,65
8,37
poblacin
N de
316,21
17,29
46,07
pobres
(millones)
Fuente: Ravallion, Chen & Sangraula (2008).

Oriente
Medio y
Norte de
frica

Asia del
Sur

frica
SubSahariana

Total

3,6

40,34

51,2

25,25

10,99

595,58

390,59

1.376,73

Una cuarta parte de la poblacin mundial vive con un ingreso menor al de subsistencia
en 2005. Son ms de 1.300 millones de personas. Si elevamos la lnea de pobreza a los
2 dlares diarios, el porcentaje de pobres se eleva al 56,64% de la poblacin de los
pases en desarrollo y a 3.088,51 millones de personas. La esperanza de la reduccin de
pobreza absoluta, protagonizada principalmente por China e India, se vuelve una tarea
abrumadora, urgente y quiz vergonzosa para la humanidad, cuando pensamos en ms
de 3 millones de personas que viven en pobreza y vulnerabilidad, en una poca de
capacidad productiva como nunca antes en la historia se haba conseguido. Tres
millones de personas es un reto demasiado grande para los 100 mil millones de dlares
de ayuda oficial que se destinan desde 2005. Pensemos que en estos datos no estn
incluidos los efectos de la subida del precio de los alimentos ocurrido a mediados de
2008, ni los potenciales efectos de la crisis financiera global iniciada poco despus.
El problema es grave, no slo por el valor nico de cada vida humana, sino porque la
capacidad de distribuir alimentos, ingresos, de ampliar oportunidades y capacidades de
las personas es ahora mayor que nunca y los estndares de vida de los pases
desarrollados son tan elevados en comparacin con la miseria generalizada de esos tres

millones de personas que la tica no puede ms que juzgar la situacin de injusta e


inhumana.
Este libro ha tratado de llamar la atencin sobre el peligro de acudir a soluciones fciles
o mgicas. No es cierto que un poco de dinero gestionado por unas agencias oficiales
o por organizaciones no gubernamentales sea capaz de erradicar la pobreza absoluta en
los pases. Puede atenuar sus efectos, pero parecen ser pequeos parches.
Pensemos en Zimbabwe. Un pas independizado en 1980, con 12,2 millones de
habitantes, 2.413 $ de renta per capita (2005) y un gobierno que incapaz de atender una
epidemia de clera por falta de higiene y saneamiento mnimos en diciembre de 2008.
Su presidente, Robert Mugabe, lleva en el poder desde el ao 1981 ganando repetidas
elecciones siempre sospechosas de fraudulentas.
Zimbabwe recibi 376 millones de dlares AOD en 2005 y 280 millones en 2006, lo
que supuso el 11,7% de su renta nacional. Los principales donantes son el Reino Unido,
la Unin Europea y los Estados Unidos. La Unin Europea es el principal donante en
sector salud con una aportacin superior a los 100 millones de dlares en el periodo
1995-2006, lo que representa la tercera parte del stock donado a dicho sector. Esta
ayuda va dirigida a un pas con un 231 millones! de inflacin (sic), segn el dato oficial
facilitado en julio de 20086. Puede alguna tcnica economtrica ser capaz de medir si
esta ayuda increment el PIB de Zimbabwe? El grfico 3 muestra la falta de asociacin
estadstica entre el PIB per capita real y la AOD en Zimbabwe desde su independencia.
Grfico 3. Correlacin entre PIB per capita y AOD en Zimbabwe. 1980-2003.
3

Log AOD

2,5
2

y = 0,8586x - 0,4644
R2 = 0,0805

1,5
1
0,5
0
3,35

3,4

3,45

3,5

3,55

3,6

Log PIBpc

The Guardian, 9-octubre-2008; http://www.guardian.co.uk/world/2008/oct/09/zimbabwe

Fuente: Elaboracin propia. Datos de PWT y OECD-DAC.

Al llegar a los 500 muertos por la epidemia y con unas 12.000 personas ya contagiadas,
el presidente Mugabe declar el estado de emergencia nacional y qu solicit? Ayuda
internacional, claro! Pero no para retirarse del poder y dejar que alguien comience a
construir (ni siquiera reconstruir) un verdadero pas con un marco institucional que
pueda alimentar a sus ciudadanos, sino para que la comunidad internacional se haga
cargo de la situacin de emergencia y todo vuelva a la pobre normalidad tras la crisis
humanitaria. El marco institucional de Zimbabwe, simplemente no permite que la AOD
bilateral pueda tener efecto alguno en trminos de desarrollo humano. El reto de la
ayuda aqu no es acelerar el crecimiento econmico, sino llegar a las personas realmente
necesitadas. Ser capaz de que las elites corruptas no se la queden y salvar vidas. Es muy
probable que la ayuda en Zimbabwe deba ser canalizada exclusivamente a travs de las
ONGD. Pero hay que reconocer tambin que stas no actan de forma aislada al
contexto institucional del pas. Si hay corrupcin y captura de rentas, las ONGD
debern enfrentarse a los sobornos y a la falta de seguridad fsica y jurdica.
La ayuda en este escenario debe ser evaluada de forma minuciosa. Los aprendizajes
vendrn de los informes de resultados en niveles ms micro, en programas particulares
de atencin a la salud, saneamiento, educacin o produccin agropecuaria. La brecha de
evidencia en situaciones como la descrita, hacen de las evaluaciones rigurosas,
transparentes, crebles y tiles para la toma de decisiones un instrumento esencial para
juzgar su eficacia. Es lo que ha tratado de desarrollarse en la segunda parte del libro,
presentando qu hay que hacer en una evaluacin (captulo cuarto) y cmo puede
hacerse (o el variado marco metodolgico del captulo quinto).
En la actualidad existen iniciativas que transitan por este camino. El Banco Mundial ha
comenzado a crear un cuerpo de evaluaciones de impacto bajo rigurosa metodologa que
comienza a ofrecer evidencias muy interesantes7. Dentro del grupo de desarrollo
humano del Banco, Espaa ha creado un Fondo especfico de apoyo a evaluaciones de
impacto bajo metodologa experimental (evaluaciones aleatorizadas o experimentos con

http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/EXTISPMA/0,,contentMDK:
21534261~menuPK:412159~pagePK:210058~piPK:210062~theSitePK:384329,00.html

grupos de control aleatorizados) dotado con 10,4 millones de euros8. Tambin dentro
del Banco Mundial se desarrolla la Iniciativa Africana sobre Evaluaciones de Impacto9.
En el mbito acadmico sobresale el Abdul Latif Jameel Poverty Action Lab asociado al
MIT de EE.UU. que ofrece formacin y evaluaciones de impacto sobre temas como
educacin, salud, corrupcin o empoderamiento de la mujer, entre otros10, 11.
En el mbito internacional ya existe una red de apoyo a evaluaciones de impacto (la
Internacional Initiative for Impact Evaluation)12, incluso una red de redes13. Hay
pginas web dedicadas a difundir los resultados de intervenciones que han resultado
exitosas o fracasadas tras ser evaluadas de forma altamente rigurosa (por ejemplo, el
Social Program That Work)14. Es decir, hoy en da ya est en marcha un amplio
despliegue de creacin y difusin de conocimiento cientfico sobre intervenciones de
desarrollo humano que pueden y deben sumarse a la buena voluntad de todos los
agentes que estn involucrados en la lucha contra la pobreza y a la voluntad poltica (al
menos declarada) de gobernantes tanto de los pases ricos como pobres.
Espaa puede y debe contribuir a esta generacin de conocimiento y al avance de una
cultura de la evaluacin que transforme la ayuda basada en una compasin puntual y
superficial en una poltica de desarrollo, integral y coherente, que muestra resultados en
trminos de desarrollo. Es lo que se ha tratado de orientar y promover en el sexto
captulo del libro. Espaa ya no es un donante joven como se ha venido repitiendo con
frecuencia para excusar la ayuda de alta calidad- sino que debe contribuir con su
experiencia y medios crecientes a un mundo ms humano, rico y equitativo, en el que la
ayude llegue a ser historia porque la pobreza extrema fue superada. Pero sin
evaluaciones ni intervenciones basadas en evidencias, los intereses espurios, la simple
retrica o incluso el cinismo, seguir presidiendo la ayuda internacional. Entonces la
campaa en pro de que la pobreza sea historia (Making Poverty History)15 seguir
8

Spanish

World
Bank
Trust
Fund
for
Impact
Evaluation:
http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/EXTISPMA/0,,contentMDK:
21419502~menuPK:384336~pagePK:148956~piPK:216618~theSitePK:384329,00.html
9
Africa
Impact
Evaluation
Initiative:
http://web.worldbank.org/WBSITE/EXTERNAL/COUNTRIES/AFRICAEXT/EXTIMPEVA/0,,menuPK
:2620040~pagePK:64168427~piPK:64168435~theSitePK:2620018,00.html
10
http://www.povertyactionlab.com/
11
Una orientacin muy completa de los sitios web sobre evaluaciones de impacto puede consultarse en:
http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/EXTISPMA/0,,contentMDK:
20193313~menuPK:384366~pagePK:148956~piPK:216618~theSitePK:384329,00.html
12
http://www.3ieimpact.org/
13
Network of Networks on Impact Evaluation (NONIE): http://www.worldbank.org/ieg/nonie/
14
http://www.evidencebasedprograms.org/
15
http://www.makepovertyhistory.org/

teniendo supremaca sobre la que este libro intenta lanzar: hacer que la ayuda sea
historia porque muri de xito y las ONGD y agencias de desarrollo pblicas y
privadas dedican recursos y esfuerzos a causas nobles menos vergonzantes para la
humanidad como la pobreza extrema de gran parte de los seres humanos.

REFERENCIAS BIBLIOGRFICAS

REFERENCIAS BIBLOGRFICAS
AA.VV. (2006) Rescuing the World Bank. Center for Global Development. Washington.
AA.VV. (2008) Evaluar la Accin Humanitaria. Icaria. Barcelona.
ABBOT , J. y GUIJT, I. (1998) Changing views of change: participatory approaches to
monitoring the environment. SARL Discussion Paper 2. IIED. London.
ACTION AID (2005) Real Aid. An Agenda for Making Aid Work, Action Aid International.
Johannesburg.
ACHARYA, A.; A.F. DE LIMA & M. MOORE (2004) Aid Proliferation: How Responsible
Are the Donors?, IDS Working Paper 214.
ADAM, C. y OCONNELL, S. (2000) Aid versus Trade Revisited Centre for the Study of
African Economies Working Paper series 2000-19.University of Oxford.
ADAM, C.; S. OCONEELL & E. BUFFIE (2008) Aid Volatility, Monetary Policy Rules, and
the Capital Account in African Countries, World Economy and Finance Research
Programme, Working Paper Series, Birbeck, University of London.
ADDISON, T. & ROE, A. (eds.) (2004) Fiscal Policy for Development: Poverty, Reconstruction
and Growth. Palgrave Macmillan: Basingstoke.
ADDISON, T. (ed.) (2003) From Conflict to Recovery in Africa. Oxford University Press for
UNUWIDER: Oxford.
ADDISON, T.; MAVROTAS, G. & McGILLIVRAY, M. (2005) Aid, Debt Relief and New
Sources of Finance for Meeting the Millennium Development Goals, WIDER Research
Paper 2005/09.
ADDISON, T.; MAVROTAS, G. & McGILLIVRAY, M. (2005) Development Assistance and
Development Finance: Evidence and Global Policy Agendas, Journal of International
Development 17, 819-836.
ADELMAN, C. (2007) The Index of Global Philanthropy 2007, Hudson Institute. Washington.
ADELMAN, C. (2007b) Nuevo panorama en la ayuda exterior de Estados Unidos, eJournalUSA
12(11), 11-14. http://usinfo.state.gov/journals/itps/1107/ijps/adelman.htm
ADELMAN, I. (2000) The Role of government in economic development in F. TARP (ed.)
Foreign Aid and Development. Lessons learnt and directions for the future. Routledge.
London. Chapter 2, pp. 48-79.
AFRICAN EVALUATION ASSOCIATION (2000) The African Evaluation Guidelines 2000: A
checklist
to
assist
evaluators:
Draft
1.2.
http://www.afrea.org/content/index.cfm?navID=5&itemID=204
AGENOR, P-R. & AIZENMAN (2007) Aid Volatility and Poverty Traps, NBER WP 13400.
AHMED, A.; R. VARGAS; L.C. SMITH; D.M. WIESMANN & T. FRANKENBERGER
(2007) The Worlds Most Deprived. Characteristics and Causes of Extreme Poverty and
Hunger, IFPRI 2020 Discussion Paper 43

REFERENCIAS BIBLIOGRFICAS

AIYAR, S.; A. BERG & M. HUSSAIN (2005) El reto macroeconmico de la ayuda adicional,
Finanzas y Desarrollo (sep.) 28-31.
AKE, C. (1996) "Los fundamentos polticos del desarrollo sostenible en frica". Informacin
Comercial Espaola 755, 73-84.
ALBI, E. y RODRIGUEZ ONDARZA, J.A. (1988) "ACB: notas sobre su situacin actual".
Papeles de Economa Espaola 37, 482-487.
ALCAIDE, L. y J.M. LARR (2007) Corrupcin, ayuda al desarrollo, pobreza y desarrollo
humano, Boletn de Informacin Comercial Espaola 2917, 37-58.
ALCAIDE, L. y LARR, J.L. (2007b) Transparencia como elemento clave de la eficacia en la
cooperacin al desarrollo espaola, Memorando OPEX 44, Fundacin Alternativas.
ALCALDE, A.R. (2007) Las tareas de planificacin. Cmo llevar a cabo una planificacin
enfocada a los procesos de desarrollo?, en VARELA DE UGARTE, F. (dir.) La Calidad de
las Intervenciones de Desarrollo. Fundamentos y herramientas para mejorar su diseo.
CIDEAL y EPTISA Int. Madrid. Cap.4, pp.95-156.
ALDCROFT, D. (1990) Historia de la economa europea 1914-1980. Crtica. Barcelona.
ALESINA, A. y DOLLAR, D. (2000) Who Gives Foreign Aid to Whom and Why?, Journal of
Economic Growth 5(1), 33-63.
ALESINA, A. y WEDER, B. (2002) Do Corrupt Governments Receive Less Foreign Aid?
American Economic Review 92 (4) 1126-1137. [(2000) NBER Working Paper 7108 (1999
version).
ALKIN, M.C. (1985) A Guide for Evaluation Decision Makers. Sage. Beverly Hills.
ALNAP (1999) Record of the Third Meeting. Active Learning Network on Accountability and
Performance in Humanitarian Assistance. ODI. London.
ALONSO, A. (2007) La Evaluabilidad de las Intervenciones de Cooperacin al Desarrollo,
Coleccin Escuela Diplomtica 12, 27-42.
ALONSO, J.A. (1999b) La eficacia de la ayuda: crnica de decepciones y esperanzas.
ALONSO, J.A. y MOSLEY, P.(eds.) La eficacia de la cooperacin internacional al
desarrollo: evaluacin de la ayuda. Civitas. Madrid. 69-123.
ALONSO, J.A. (2001) Nuevas Direcciones en la Poltica de Ayuda al Desarrollo, Revista de
Economa Mundial 5, 11-45.
ALONSO, J.A. (2003) Globalizacin, desigualdad internacional y eficacia de la ayuda, en
ALONSO, J.A. y FITZGERALD, V. (eds.) Financiacin del desarrollo y coherencia en las
polticas de los donantes. La Catarata. Madrid. pgs. 153-178.
ALONSO, J.A. (2004) El Desarrollo como Proceso Abierto al Aprendizaje: Diez Desafos para la
Ayuda, Revista de Fomento Social 59, 359-393. Reeditado en The European Journal of
Development Research, vol. 16, n 4, winter 2004, pp.845-867.
ALONSO, J.A. (2006) Eficacia de la Ayuda : Un Enfoque Desde las Instituciones, Revista
CIDOB dAffers Internacionals 72, 17-39.

REFERENCIAS BIBLIOGRFICAS

ALONSO, J.A. (2006) El debate sobre la eficacia de la ayuda: una consideracin introductoria,
Coleccin Escuela Diplomtica 10, 23-44.
ALONSO, J.A. (Dtor.) (1999a) Estrategia para la Cooperacin Espaola. MAE-SECIPI. Madrid.
ALONSO, J.A. et al. (2003) Enfoque antipobreza de la cooperacin espaola: de las
declaraciones a los hechos, en INTERMN-OXFAM, La Realidad de la Ayuda 2003-2004.
Intermn-Oxfam. Barcelona. Pgs. 85-120.
ALONSO, J.A. y GARCIMARTIN, C. (2003) Poverty Reduction and Aid Policy, CREDIT
Research Paper 03/06. Centre for Research in Economic Development and International
Trade. University of Nottingham.
ALVIRA, F. (1991) Metodologa de Evaluacin de Programas. Centro de Investigaciones
Sociolgicas. Madrid.
AMAVILAH, VH. (1998) German Aid and Trade versus Namibian GDP and Labour
Productivity, Applied Economics 30, 689695.
AMEZCUA, C. y JIMNEZ LARA, A. (1996) Evaluacin de Programas Sociales. Dez de
Santos. Madrid.
ANGULO, G. (2004) La Opinin Pblica Espaola y la Ayuda al Desarrollo, ICEI Documento
de Trabajo 03 / 04.
ANGULO, G. (2007) Opinin pblica, participacin ciudadana y poltica de cooperacin en
Espaa, ICEI Documento de Trabajo 03 / 07.
ANTOANZAS, F. et al. (1998) El debate de la estandarizacin metodolgica en la evaluacin
de proyectos sanitarios: el caso de la tasa de descuento. Papeles de Economa Espaola 76,
159-164.
ARANA, M.J. (1997) Rescatar lo femenino para re-animar la tierra. Cuadernos Cristianismo y
Justicia N 78. Barcelona.
ARELLANO, C.; A. BULIR; T. LANE & L. LIPSCHITZ (2005) The Dynamic Implications
of Foreign Aid and Its Variability, IMF Working Paper 05/119.
ARELLANO, C.; A. BULIR; T. LANE & L. LIPSCHITZ (2009) The Dynamic Implications
of Foreign Aid and Its Variability, Journal of Development Economics 88, 87-102. [(2006)
paper presented at UNU-WIDER Conference on Aid: Principles, Policies and Performance,
16-17 june, Helsinki. (2008) Journal of Development Economics.
ARREDONDO, M. (2008) Calidad de la Ayuda y Cooperacin Descentralizada: La participacin
en los Procesos de Evaluacin, Revista Espaola de Desarrollo y Cooperacin 21, 83-95.
ARREDONDO, M. Y SANZ, B. (2007) Avances, Desafos y Oportunidades en la Evaluacin de
la Cooperacin Espaola para el Desarrollo, Coleccin Escuela Diplomtica 12, 15-26.
ARVIN, M. (2002) New Perspectives on Foreign Aid and Economic Development. Praeger
Publishers. Westport.
ATEN, B. & HESTON, A. (2003) Use of Penn World Tables for International Comparisons of
Poverty Levels: Potential and Limitations, paper for the Global Poverty Workshop,
Initiative for Policy Dialogue, Columbia University, march 31- april 1.
http://pwt.econ.upenn.edu/papers/PWTPoverty03.PDF

REFERENCIAS BIBLIOGRFICAS

ATKINSON, AB. (ed.) (2004) New Sources for Development Finance. Oxford University Press
for UNUWIDER: Oxford.
AUTY, R. (ed.) (2001) Resource Abundance and Economic Development. Oxford University
Press, Oxford.
AZAM, J.P. y LAFFONT, J.J. (2003) Contracting for Aid, Journal of Development Economics
70, 25-58.
AZAM, J.P.; DEVARAJAN, S. y OCONELL, S. (1999) Aid Dependence Reconsidered,
Working Paper Series 1999-5, Centre for the Study of African Economies. University of
Oxford.
AZQUETA, D. (1994) Aplicacin del Anlisis Coste-Beneficio a modificaciones en la calidad
del agua. AZQUETA, D. y FERREIRO, A. (eds.) Anlisis econmico y gestin de recursos
naturales. Alianza. Madrid. 311-343.
BAKER, J. (2000) Evaluacin del impacto de los proyectos de desarrollo en la pobreza. Manual
para profesionales. Banco Mundial. Washington, D.C.
BALLESTEROS, C. et al. (eds.) (2005) El Microcrdito como instrumento de reconciliacin:
Evaluacin de impacto de los microcrditos de Cruz Roja espaola en Ruanda. Foro Nantik
Lum de Microfinanzas, Cruz Roja Espaola y Universidad Pontificia Comillas. Madrid.
BAMBERGER, M. (ed.)(2000) Integrating Quantitative and Qualitative Methods in Development
Research, World Bank. Washington.
BANCO MUNDIAL (1993) The East Asian Miracle. World Bank. Washington.
BANCO MUNDIAL (1998) Assessing Aid. What Works, What Doesnt, and Why. Oxford
University Press. New York. [Traduccin espaola: Evaluacin de la ayuda. Mundi-Prensa.
Madrid.]
BANCO MUNDIAL (2000) Attacking Poverty. World Development Report 2000-2001.
Washington. Cap. 11.
BANCO MUNDIAL (2001) Examen anual de la eficacia en trminos de desarrollo 2000.
Departamento de Evaluacin de Operaciones. Banco Mundial. Washington.
BANCO MUNDIAL (2002) Globalizacin, Crecimiento y Pobreza. Construyendo una economa
mundial incluyente. Banco Mundial y Alfaomega. Mxico
BANCO MUNDIAL (2002) The Role and Effectiveness of Development Assistance. Lessons
from World Bank Experience. The World Bank. Washington.
BANCO MUNDIAL (2002) The Role and Effectiveness of Development Assistance. Lessons
from World Bank Experience. The World Bank. Washington.
BANERJEE,
A.
(2006a)
Making
Aid
http://bostonreview.net/BR31.4/contents.html

Work,

Boston

Review

31

(4).

BANERJEE, A. (2006b) The best argument for the experimental approach is that it spurs
innovation, Boston Review 31 (4).
BANERJEE, A. (ed.) (2007) Making Aid Work, MIT Press. Cambridge.

REFERENCIAS BIBLIOGRFICAS

BANERJEE, A. et al. (2007) Remedying Education: Evidence from Two Randomized


Experiments in India, Quarterly Journal of Economics (forthcoming).
BANERJEE, A.V. & DUFLO, E. (2006) The Economic Lives of the Poor, MIT Department of
Economics Working Paper 06-29. forthcoming in Journal of Economic Perspectives.
BAOL i MARTINEZ, R. (2002) La Evaluacin de la Accin y de las Polticas Pblicas. Daz de
Santos. Madrid.
BARDER, O. & BIRDSALL, N. (2006) Payments for Progress: A Hands-Off Approach to
Foreign Aid, Center for Global Development Working Paper 102.
BARDER, O. (2005) Reforming Development Assistance: Lessons from the UK Experience,
Center for Global Development Working Paper 70.
BARDER, O. (2006) Are the Planned Increases in Aid Too Much of a Good Thing?, Center for
Global Development Working Paper 90.
BARON, G. y MONNIER, E. (2003) Un sistema pluralista y participativo: Coproducir la
evaluacin con la sociedad civil, Informaciones Sociales 110, 1-9.
BARRAU, A. (2003) La condicionalidad de la ayuda la desarrollo, Revista electrnica DHIAL
43, 13 de mayo. http://www.iigov.org/dhial/?p=42_04
BAUER, P. (1972) Dissent of development: studies and debates in development economics,
Harvard University Press, Boston.
BEAUDOUX, E. et al. (1992) Gua Metodolgica de apoyo a proyectos y acciones para el
desarrollo. De la identificacin a la evaluacin. IEPALA. Madrid.
BECK, T. (2007) Evaluacin de la Accin Humanitaria, utilizando los criterios del CAD-OCDE.
Gua de ALNAP para agencias humanitarias. ALNAP e IECAH. Madrid.
BERICAT, E. (1999) La integracin de los mtodos cuantitativo y cualitativo en la investigacin
social. Significado y medida. Ariel. Barcelona.
BERTHELEMY, J.C. y TICHIT, A. (2002) Bilateral Donors Aid Allocations Decisions. A
Three-dimensional Panel Analysis, WIDER Discussion Paper 2002/123.
BEYNON, J. (2002) Policy Implications for Aid Allocations of Recent Research on Aid
Effectiveness and Selectivity en ARVIN, M. (ed.) New Perspectives on Foreign Aid and
Economic Development. Praeger. Wesport. pp.199-264. [(2001)Paper at the Joint
Development Centre/DAC Experts Seminar on Aid Effectiveness, Selectivity and Poor
Performers, OECD, Paris. 17-Enero-2001.]
BHAGWATI, P. (1958) Immisering Growth: A Geometrical Note, Review of Economic Studies
25, 201-205.
BHALLA, S. (2002) Imagine Theres No Country. Poverty, Inequality, and Growth in the Era of
Globalization. Institute for International Economics. Washington.
BHALLA, S. (2003) Crying Wolf on Poverty: Or How the Millennium Development Goal for
Poverty Has Already Been Reached, Institute for International Economics, Washington

REFERENCIAS BIBLIOGRFICAS

BID (1997) Evaluacin: Una herramienta de gestin para mejorar el desempeo de los proyectos.
Banco
Interamericano
de
Desarrollo.
Oficina
de
Evaluacin
(EVO).
http://www.iadb.org/cont/evo/SPBook/evomain.htm
BIEKART, K. (1999) Evaluacin del impacto de la ayuda privada orientada al fortalecimiento de
la sociedad civil, ALONSO, J.A. y MOSLEY, P. (eds.) La eficacia de la cooperacin
internacional al desarrollo: evaluacin de la ayuda. Civitas. Madrid. 185-238.
BIEKART, K. y FOWLER, A. (1998) Sirven realmente de algo las Organizaciones de
Cooperacin No Gubernamentales?. SOGGE, D. (ed.) Compasin y clculo. Un anlisis
crtico de la cooperacin no gubernamental al desarrollo. Icaria. Barcelona. 153-199.
BIGGS, S. (1989) Resource-poor farmer participation in research: a synthesis of experiences from
nine national agricultural research systems. OFCOR Comparative Study Paper 3.
International Service for National Agricultural Research. The Hague.
BIRDSALL, N. (2004) New Issues in Development Assistance, OED Conference on
Effectiveness of Policies and Reforms, World Bank, 4-october.
BIRDSALL, N. (2004) Seven Deadly Sins: Reflections on Donor Failings, CGD Working Paper
50.
BIRDSALL, N. ; D. RODRIK & A. SUBRAMANIAN (2005) How to Help Poor Countries,
Foreign Affairs 84 (4, jul-aug), 136-152. [traducido en Revista de Fomento Social 60, 623641.]
BLATTMAN, C. (2008) Impact Evaluation 2.0, Presentation to the DFID, London.
BOBBA, M. & POWELL, A. (2007) Aid Effectiveness: Politics Matters, IADB Working Paper
601.
BOLLEN, K.; P. PAXTON & R. MORISHIMA (2005) Assessing International Evaluations.
An Example From USAIDs Democracy and Governance Program, American Journal of
Evaluation 26 (2), 189-203.
BOONE, P. (1995) The Impact of Foreign Aid on Savings and Growth, Working Paper London
School of Economics.
BOONE, P. (1996) . Politics and the Effectiveness of Foreign Aid, European Economic Review
40 (2), 289-329.
BOONE, P. (1996) Puede la ayuda reducir eficazmente la pobreza?, Informacin Comercial
Espaola 755, 39-52
BOOTH, D. & EVANS, A. (2006) An options paper, DAC Evaluation Network: Follow-up to
the Paris Declaration on Aid Effectiveness. Revised after discussion at the 4th meeting of the
DAC Evaluation Network, 30-31 March.
BORENSZTEIN, E.; J. CAG; D. COHEN & C. VALADIER (2008) Aid Volatility and
Macro Risks in Low-Income Countries, OECD Development Centre Working Paper 273.
BOURGUIGNON, F. & SUNDBERG, M. (2007) Aid Effectiveness Opening the Black Box,
American economic Review 97 (2), 316-321.
BOURGUIGNON, F. & SUNDBERG, M. (2007) La ayuda puede funcionar. La ayuda es cada
vez ms eficaz, pero es difcil demostrarlo, Finanzas y Desarrollo, marzo, 56-57.

REFERENCIAS BIBLIOGRFICAS

BOURGUIGNON, F. (2004) An Economy-Wide Framework for Monitoring the MGDs,


Presentation to Africa PREM Day, The World Bank.
BOURGUIGNON, F. (2004) The Poverty-Growth-Inequality Triangle, paper presented at the
Indian Council for Research on International Economic Relations, New Delhi.
BOURGUIGNON, F.; L. PEREIRA DA SILVA & N. STERN (2002) "Evaluating the Poverty
Impact of Economic Policies: Some Analytical Challenges." Processed. Washington, D.C.:
World Bank.
BOWMAN, C. & CHAND, S. (2007) Size Matters. The Impact of Aid on Institutions, WIDER
Research Paper 25.
BOZA, J. y BEZ, J.M. (2002) La Eficacia de la Ayuda Oficial al Desarrollo en frica
Subsahariana, XVI Reunin ASEPELT, Universidad San Pablo-CEU, Madrid. CD-Rom
editado por McGraw-Hill.
BOZA, J.; BEZ, J.M. y WOOD, M. (2006) Analysis of the Effectiveness of Official
Development Assistance, Economic Analysis Working Paper 5. Colegio de Economistas de
La Corua.
BRAY, J. y MAXWELL, S. (1985) Multivariate Analysis of Variance. Sage University Paper
N54. Beverly Hills.
BREIEROVA, L. & DUFLO, E. (2003) The Impact of Education on Fertility and Child
Mortality: Do Fathers Really Matter Less Than Mothers?, Development Centre Working
Paper 217. [ (2004) NBER Working Paper 10513]
BREIEROVA, L. & DUFLO, E. (2003) The Impact of Education on Fertility and Child
Mortality: Do Fathers Really Matter Less Than Mothers?, Development Centre Working
Paper 217. [ (2004) NBER Working Paper 10513]
BROWN, A. et al. (2000) Aid Transaction Costs in Viet Nam, United Nations Development
Programme, Department for International Development. Ha Noi.
BRYK, A.S. (ed.) (1983) Stakeholder-Based Evaluation. New Directions for Program Evaluation.
Jossey Bass. San Francisco.
BULIR, A. & HAMANN, J. (2001) How Volatile and Unpredictable Are Aid Flows, and What
Are the Policy Implications?, International Monetary Fund Working Paper 01/167.
BULIR, A. & HAMANN, J. (2001) How Volatile and Unpredictable Are Aid Flows, and What
Are the Policy Implications?, International Monetary Fund Working Paper 01/167.
BULIR, A. & HAMANN, J. (2003) Aid Volatility: An Empirical Assessment, IMF Staff Papers
50 (1), 64-89.
BULIR, A. & HAMANN, J. (2003) Aid Volatility: an Empirical Assessment, in IMF Staff
Papers vol. 50(april), 64-89.
BULIR, A. & HAMANN, J. (2005) Volatility of Development Aid: From the Frying Pan into the
Fire?, Paper at Seminar on Foreign Aid and Macroeconomic Management, Maputo,
Mozambique, March 14-15.
BULIR, A. & HAMANN, J. (2006) Volatility of Development Aid: From the Frying Pan into the
FIRE?, IMF Working Paper 06/65.

REFERENCIAS BIBLIOGRFICAS

BULIR, A. & HAMANN, J. (2006) Volatility of Development Aid: From the Frying Pan into the
Fire?, IMF Working Paper 06/65.
BULIR, A. & HAMANN, J. (2008) Volatility of Development Aid: From the Frying Pan into the
Fire, World Development 36(10), 2048-2066.
BULIR, A. & LANE, T. (2002) Aid and Fiscal Management, IMF Working Paper 02/112.
BULIR, A.; A. GELB & P. MOSLEY (2008) Introduction: The Volatility of Overseas Aid,
World Development 36(10), 2045-47.
BURNELL, P. (2003) Foreign Aid Resurgent: New Spirit or Old Hangover?, WIDER
Conference on Sharing Global Prosperity. Helsinki, 6-7 September.
BURNSIDE, C. y DOLLAR, D. (1999) Aid, the Incentive Regime and Poverty Reduction,
World Bank Policy Research Working Paper 1937, Banco Mundial. Washington. [Traducido
en: Informacin Comercial Espaola 778, 31-42.]
BURNSIDE, C. y DOLLAR, D. (2000) Aid, Policies and Growth, American Economic Review
90, 847-868. [(1997) Aid, Policies and Growth, World Bank Policy Research Working
Paper 1777].
BURNSIDE, C. y DOLLAR, D. (2004) Aid, Policies and Growth: Reply, American Economic
Review 94 (3), 781-784.
BURNSIDE, C. y DOLLAR, D. (2004) Aid, Policies and Growth: Revisiting the Evidence,
World Bank Policy Research Working Paper 3251.
BUSTELO, M. (1998) Deontologa de la evaluacin: el modelo de los cdigos ticos
anglosajones, Gestin y Anlisis de Polticas Pblicas 11-12, 141-156.
BUSTELO, M. (1999) Diferencias entre evaluacin e investigacin: una distincin necesaria para
la identidad de la evaluacin de programas. Revista espaola de Desarrollo y Cooperacin
4, 9-29.
BUSTELO, M. (2002) Metaevaluation as a Tool for the Improvement and Development of the
Evaluation Function in Public Administrations, Paper presented at the The 2002 EES
Conference: Three movements in Contemporary Evaluation: Learning, Theory and
Evidence. Sevilla.
BUSTELO, M. (2003) Qu tiene de especfico la metodologa de evaluacin?, en BAOL i
MARTINEZ, R. (2002) La Evaluacin de la Accin y de las Polticas Pblicas. Daz de
Santos. Madrid. pgs. 13-32.
BUSTELO, P. (1991) Economa del desarrollo. Un anlisis histrico. Complutense. Madrid.
BUSTELO, P. (1998) Teoras contemporneas del desarrollo econmico. Sntesis. Madrid.
CAD (1991) The DAC Principles for the Evaluation of Development Assistance. OECD. Pars.
CAD (1994) Spain. Development Cooperation Report. OECD-DAC. Paris.
CAD (1995) Principios del CAD para una ayuda eficaz. Manual de la ayuda al desarrollo. MundiPrensa. Madrid.

REFERENCIAS BIBLIOGRFICAS

CAD (1996) Shaping the 21st Century: the Contribution of Development Co-operation. OECD.
Pars.
CAD (1997) Searching for impact and methods: NGO Evaluation synthesis study. DAC Expert
Group on Aid Evaluation. OEDC/DAC. Ministry for Foreign Affairs of Finland. Helsinki.
CAD (1997a) Evaluation Programmes Promoting Participatory Development and Good
Governance. Synthesis Report. DAC Expert Group on Aid Evaluation. OEDC/DAC. Pars.
CAD (1997b) Searching for impact and methods: NGO Evaluation synthesis study. DAC Expert
Group on Aid Evaluation. OEDC/DAC. Ministry for Foreign Affairs of Finland. Helsinki.
CAD (1998) Spain. Development Cooperation Report. OECD-DAC. Paris.
CAD (1998a) Results-based management in the development Co-operation Agencies. A review of
experience. Working party on Aid Evaluation. OECD. Paris.
CAD (1998b) Review of the DAC Principles for evaluation of development assistance. OECD.
Paris.
CAD (1998c) DAC Guidelines on Gender Equality & Womens Empowerment in Development
Co-operation. OECD. Paris.
CAD (1999a) Guidance for Evaluating Humanitarian Assistance in Complex Emergencies.
Evaluation and Aid Effectiveness N1. DAC Expert Group. OCDE. Paris.
CAD (1999b) Evaluating Country Programmes. Vienna Workshop, 1999. Evaluation and Aid
Effectiveness N2.DAC Expert Group. OCDE. Paris.
CAD (2000) Directrices del CAD sobre la reduccin de la pobreza. OECD-DAC. Paris.
CAD (2000a) Donor Support for Institutional Capacity Development in Environment: Lessons
Learned. Evaluation and Aid Effectiveness N3.OECD-DAC. Paris.
CAD (2000b) Effective Practices in Conducting a Joint Multi-Donor Evaluation. Evaluation and
Aid Effectiveness N4. OECD-DAC. Paris.
CAD (2001) Evaluation Feedback for Effective Learning and Accountability. Evaluation and Aid
Effectiveness N5. OECD-DAC. Paris.
CAD (2002) Directrices del CAD sobre la reduccin de la pobreza. MAE-SECIPI. Madrid.
CAD (2002) Glosario de los principales trminos sobre evaluacin y gestin basada en resultados.
Evaluation and Aid Effectiveness N6. OECD-DAC. Paris.
CAD (2002) Spain. Development Cooperation Report. OECD-DAC. Paris.
CAD (2003) Harmonizing Donor Practices for Effective Aid Delivery. DAC Guidelines and
Reference Series. OECD-DAC. Paris.
CAD (2004) Lessons Learned on Donor Support to Decentralisation and Local Governance.
Evaluation
and
Aid
Effectiveness
N7.
OECD-DAC.
Paris.
http://www.oecd.org/dataoecd/46/60/30395116.pdf
CAD (2006) Guidance for Managing Joint Evaluations. DAC Evaluation Series. OECD. Paris.

10

REFERENCIAS BIBLIOGRFICAS

CAD-OCDE (2007) Promoting Pro-Poor Growth. Practical Guide to Ex Ante Poverty Impact
Assessment, DAC Guidelines and referente Series. OECD. Paris.
CANSINO, J.M. y SNCHEZ BRAZA, A. (2004) Propuestas metodolgicas para la evaluacin
de programas pblicos de formacin. Una visin crtica, Documento de Trabajo Serie
Economa E2004/86. Universidad de Sevilla.
CANSINO, J.M. y SNCHEZ BRAZA, A. (2004b) Evaluacin de programas pblicos de
formacin mediante el estimador de diferencias en diferencias. Mtodos de clculo
alternativos a partir de datos simulados, Universidad de Sevilla. Mimeo.
CARBALLO, R. (1990) Evolucin del concepto de evaluacin: desarrollo de los modelos de
evaluacin de programas. Bordn 42-4, 423-431.
CARBALLO, R. (1992) El impacto de los estudios evaluativos. Bordn 43-4, 509-515.
CARLSSON, J. & WOHLGEMUTH, L. (2000) Learning in development co-operation.
Almqvist & Wiksell Int. Stockholm.
CARVALHO, S. & WHITE, H. (1994) Indicators for Monitoring Poverty Reduction, World
Bank Discussion Papers 254.
CASLEY, D. y KUMAR, K. (1990a) Seguimiento y evaluacin de proyectos en agricultura.
Mundi-Prensa y Banco Mundial. Madrid.
CASLEY, D. y KUMAR, K. (1990b) Recopilacin, anlisis y uso de los datos de seguimiento y
evaluacin. Mundi-Prensa y Banco Mundial. Madrid.
CASSEN, R & associates (1986) Does Aid Work ? Clarendon. Oxford.
CASTAO, T. y LARR, J.M. (coords.) (2005) Nuevas herramientas de la Cooperacin al
Desarrollo, Nuevo rol de los actores?, Entimema. Madrid.
CASTRO, R. y MOKATE, K. (1998) Evaluacin econmica y social de proyectos de inversin.
Uniandes y BID. Santaf de Bogot.
CELASUM, O. & WALLISER, J. (2008) Predictability of Aid: Do Fickle Donors Undermine
Aid Effectiveness?, Economic Policy 23 (55), 545-594.
CELASUM, O. & WALLISER, J. (2008b) Cuando la ayuda da sorpresas. Los pases no pueden
usar plenamente la ayuda si esta es imprevisible, Finanzas y Desarrollo, sep., 34-37.
CIDA (2002) Canada Making a Difference in the World. A Policy Statement on Strengthening Aid
Effectiveness. Canadian International Development Agency. September 2002.
CIRUJANO, P. (2005) La estrategia demorada. Gnero y cooperacin internacional en Espaa. La
Catarata. Madrid.
CIRUJANO, P. y CIRUJANO, M. (2004) Es la igualdad de gnero un objetivo real de la AOD
espaola?, en INTERMN-OXFAM La Realidad de la Ayuda 2004-2005. IntermnOxfam. Barcelona.
CLAESSENS, S.; D. CASSIMON & B. van CAMPENHOUT (2007) Empirical Evidence on
the New International Aid Architecture, IMF Working Paper 07/277.

REFERENCIAS BIBLIOGRFICAS

11

CLEMENS, M. & MOSS, T.J. (2005) Ghost of 0.7%: Origins and Relevance of the International
Aid Target, Center for Global Development Working Paper 68.
CLEMENS, M. & RADELET, S. (2003) The Millennium Challenge Account: How Much is
Too Much, How Long is Long Enough?, Centre for Global Development Working Paper
23.
CLEMENS, M. ; C. KENNY & T. MOSS (2004) The Trouble with the MDGs: Confronting
Expectations of Aid and Development Success, Center for Global Development Working
Paper 40.
CLEMENS, M.; RADELET, S. & BHAVNANI, R. (2004) Counting chickens when they hatch:
The short term effect of aid on growth, Center for Global Development Working Paper 44.
CLEMENTS, B. et al. (2004) Asistencia externa : Donaciones o prstamos?, Finanzas y
Desarrollo, septiembre de 2004, 46-49.
CLEMENTS, B. et al. (2004) Foreign Aid and Revenue Response: Does the Composition of Aid
Matter?, in S. GUPTA, B. CLEMENTS & g. INCHAUSTE, Helping Countries Develop:
The Role of Fiscal Policy, International Monetary Fund, Washington.
CLEMENTS, P. (1995) A Poverty-Oriented Cost-Benefit Approach to the Analysis of
Development Projects, World Development 23-4, 577-592.
CM (1998, 1999, 2000, 2001) Informe de la Cooperacin para el Desarrollo realizada por las
Administraciones Pblicas Madrileas. Ayuda Oficial al Desarrollo en la Comunidad de
Madrid. Comunidad de Madrid.
CM (2003) Evaluacin del proyecto piloto de habilitacin laboral del Programa de Alfabetizacin
y Educacin Bsica de Adultos de Nicaragua (PAEBA). Consejera de Servicios Sociales.
DG de Inmigracin, Cooperacin para el Desarrollo y Voluntariado. Comunidad de Madrid.
CM (2005) Evaluacin final Proyecto de Habilitacin Laboral Departamento de Madriz. II Fase.
2004- Ministerio de Educacin, Cultura y Deportes de Nicaragua.
COGNEAU, D. & NAUDET, J-D. (2006) Who Deserves Aid ? Equality of Opportunity,
International Aid and Poverty Reduction, World Development [(2004) DIAL Document de
Travail DT/2004/10].
COHEN, E. y FRANCO, R. (1993) Evaluacin de proyectos sociales. Siglo XXI. Madrid.
COLLIER, P. & DEHN, J. (2001) Aid, Shocks, and Growth, World Bank Policy Research
Working Paper 2688.
COLLIER, P. & DOLLAR, D. (2001a) Development Effectiveness: What Have We Learnt?,
Paper at the Joint Development Centre/DAC Experts Seminar on Aid Effectiveness,
Selectivity and Poor Performers, OECD, Paris. 17-Enero-2001.
COLLIER, P. & DOLLAR, D. (2001b) Can the World Cut Poverty in Half? How Policy
Reform and Effective Aid Can Meet International Development Goals, World Development
29 (11), 1787-1802.
COLLIER, P. & DOLLAR, D. (2004) Development effectiveness: what have we learnt?,
Economic Journal 114(496), F244F271.

12

REFERENCIAS BIBLIOGRFICAS

COLLIER, P. & GUNNING, J.W. (1999) Explaining African Economic Performance, Journal
of Economic Literature 37, 64-111.
COLLIER, P. & HOEFFLER, A. (2002) Aid, policy, and growth in post-conflict societies,
World Bank Policy Research Working Paper No. 2902.
COLLIER, P. (1999) Aid Dependency: A Critique, Journal of African Economies 8, 528-545.
COLLIER, P. y DOLLAR, D. (2002) Aid Allocation and Poverty Reduction, European
Economic Review 46 (8), 1475-1500. [(1999) Aid Allocation and Poverty Reduction,
Policy Research Working Paper 2041, World Bank, Washington.]
COMISIN (2000) The European Communitys Development Policy. Statement by the Council
and the Commission. Luxemburg.
COMISION DE LAS CC.EE. (1993) Manual Gestin del Ciclo de un Proyecto. Enfoque
integrado y Marco Lgico. Serie mtodos e instrumentos para la gestin del ciclo de un
proyecto. N 1. Bruselas.
COMISION DE LAS CC.EE. (1997) Manual of Financial and Economic Analysis of
Development Projects. Luxemburgo. [autor: Pierre FABRE].
COMISIN MUNDIAL DEL MEDIO AMBIENTE Y DESARROLLO (1988) Nuestro futuro
comn. Alianza. Madrid.
COMMISSION OF THE EUROPEAN COMMUNITIES (2007) EU Code of Conduct on
Division of Labour in Development Policy, COM (2007) 72 final. Brussels, 28.2.2007.
CONGDE (1995a) La integracin de la perspectiva de gnero en la cooperacin para el
desarrollo de la Unin Europea. Coordinadora de ONGD-Espaa. Madrid.
CONGDE (1998e) La negociacin de la UE con los pases ACP desde la perspectiva de gnero.
Documento de posicionamiento de WIDE. Coordinadora de ONGD-Espaa. Madrid.
CONGDE (2005) Informe de la CONGDE sobre el sector de las ONGD 2004. Coordinadora de
ONGD-Espaa. Madrid.
CONGDE (2005b) Informe de la CONGDE sobre la percepcin social de las ONGD: As nos ven.
Coordinadota de ONGD-Espaa. Madrid.
CONGDE (2006) Informe de la CONGDE sobre el sector de las ONGD 2005. Coordinadora de
ONGD-Espaa. Madrid.
CONGDE (2007) Informe de la CONGDE sobre el sector de las ONGD 2006. Coordinadora de
ONGD-Espaa. Madrid.
CONSEJO DE LA UNIN EUROPEA (1998) Reglamento (CE) N2836/98 del Consejo de 22
de diciembre de 1998 sobre la integracin de las cuestiones de gnero en la cooperacin para
el desarrollo. D.O. L 354 de 30.12.1998. p.5. Bruselas.
COOPER, R.N. (2004) A Half Century of Development, Paper prepared for the Annual World
Bank Conference on Development Economics, Washington, D.C. May 3-4.
CORDELLA, T. & DELLARICCIA, G. (2002) Limits of Conditionality in Poverty Reduction
Programs, IMF Working Paper 115.

REFERENCIAS BIBLIOGRFICAS

13

CORDELLA, T. & DELLARICCIA, G. (2003) Budget Support Versus Project Aid, IMF
Working Paper 03/88.
CORDELLA, T. & ULKU, H. (2004) Grants Versus Loans, IMF Working Paper 04/161.
CORDRAY, D. y LIPSEY, M. (eds.) (1987) Evaluation Studies. Review Annual. Vol.11. (1986).
Sage. Newbury Park.
CORNWALL, A. y JEWKES, R. (1995) What is Participatory Research?, Social Science and
Medicine.41 (12), 1667-1676.
COX, A. y HEALEY, J. (2000) Poverty Reduction: A Review of Donors Strategies and
Practices, en CAD, Waging the Global War on Poverty. OECD-DAC. Paris. 25-60.
COX, A. y HEALEY, J. (2000) European Development Cooperation and the Poor. ODI,
McMillan Press. London.
COX, M. & THORNTON, N. (2006) 2006 Asian Regional Forum on Aid Effectiveness:
Implementation, Monitoring and Evaluation, Synthesis Report, October.
CRACKNELL, B.E. (2001) Evaluating Development Aid. Issues, Problems and Solutions. Sage.
Thousand Oaks.
CRONBACH, L.J. (1963) Course Improvement through Evaluation, Teachers College Record
64, 672-683.
CUADRADO ROURA, J.R. (1996) "Convergencia nominal y convergencia real. El verdadero
reto para Espaa" en CUADRADO ROURA, J.R. y MANCHA, T., Espaa frente a la
U.E.M. Civitas. Madrid. Cap.1.
CUESTA, J.; M. GONZLEZ y J.M. LARR (2006) Contribuye la Ayuda al Desarrollo a
Reducir la Desigualdad?, Revista de Economa Mundial 15, 203-233.
CURTO, S. (2007) Nuevo panorama de la ayuda, Finanzas y Desarrollo, diciembre, 20-21.
CHAKRAVARTY, S. (1993) "Anlisis coste-beneficio".
econmico. Fuhem-Icaria. Madrid. 31-43.

EATWELL et al., Desarrollo

CHAMBERS, R. (1980) Rapid Rural Appraisal: rationale and repertoire. IDS Discussion Paper
155. Brighton.
CHAMBERS, R. (1983) Rural Development: Putting the Last, First. Longman. London.
CHAMBERS, R. (1992) Rural Appraisal: Rapid, Relaxed and Participatory. IDS Discussion
Paper 311. Brighton.
CHAMBERS, R. (1994a) The Origins and Practice of Participatory Rural Appraisal, World
Development vol.22, N7, 953-969.
CHAMBERS, R. (1994b) Participatory Rural Appraisal (PRA): Analysis of Experience, World
Development vol.22, N9, 1253-1268.
CHAMBERS, R. (1994c) Participatory Rural Appraisal (PRA): Challenges, Potentials and
Paradigm, World Development vol.22, N10, 1-17.

14

REFERENCIAS BIBLIOGRFICAS

CHAMBERS, R. (1997) Whose Reality Counts? Putting the first, last. Intermediate Technology
Publications. London.
CHAMBERS, R. (2004) Ideas for Development: Reflecting Forwards, IDS Working Paper 238.
vol.VI
CHAMBERS, R. (2004) Ideas for Development: Reflecting Forwards, IDS Working Paper 238.
CHAMBERS, R. (2005) Ideas for Development. Earthscan. London.
CHANG, C., FERNANDEZ-ARIAS, F. y SERVN, L. (1999) Un Nuevo Enfoque para la
Medicin de los Flujos de Ayuda, Informacin Comercial Espaola 778, 55-80. [original:
Measuring Aid Flows: A New Approach World Bank Policy Research Working Paper
2050].
CHANG, H-J. (2005) Understanding the Relationship between Institutions and economic
Development. Some Key Theoretical Issues, WIDER Conference Thinking Ahead: The
Future of Development Economics, Helsinki, 17-18 june.
CHAUVET, L. & GUILLAUMONT, P. (2004) "Aid and Growth Revisited: Policy, Economic
Vulnerability and Political Instability" in Tungodden et al. (eds.) Toward Pro-Poor Policies.
Aid, Institutions, and Globalization. World Bank and Oxford University Press. Washington.
Pags. 95-110. [(2002) ABCDE World Bank Conference. Oslo, June 24-26.]
CHEN, S. & RAVALLION, M. (2000) How Did the Worlds Poorest Fare in the 1990s?, World
Bank Policy Research Working Paper 2409.
CHEN, S. & RAVALLION, M. (2003) Hidden Impact? Ex post Evaluation of an Anti-Poverty
Program, World Bank Policy Research Working Paper 3049.
CHEN, S. & RAVALLION, M. (2004) How Did the Worlds Poorest Fare in the 1990s?, World
Bank Policy Research Working Paper 3341.
CHEN, S. & RAVALLION, M. (2007) Absolute Poverty Measures for the Developing World,
1981-2004, World Bank Policy Research Working Paper 4211.
CHENERY, H. y STROUT, A. (1966) Foreign Assistance and Economic Development,
American Economic Review 56 (4), 679-733.
CHOI, E.K. (2005) Infrastructure Aid, Deindustrialization, and Welfare, IMF Working Paper
05/150.
CHORITZ, S. (2002) Literature Review of Evaluative Evidence on the Three Drivers of Effective
Development: Ownership, Policy, and Capacity Development. UNDP Evaluative Office.
DAC-OECD (2003) Working Party, Partners in Development Evaluation: Learning and
Accountability. Paris, 25-26 march 2003.
DAC-OECD (2006) DAC Evaluation Quality Standards (for test phase application), DAC
Network on Development Evaluation, 30-31 march.
DAHLER-LARSEN, P. (2007) Debemos Evaluarlo Todo? O de la Estimacin de la
Evaluabilidad a la Cultura de la Evaluacin, Informacin Comercial Espaola 836, 93-104.
DALE, R. (1998) Evaluation Frameworks for Development Programmes and Projects. Sage. New
Delhi.

REFERENCIAS BIBLIOGRFICAS

15

DALGAARD, C. & ERICKSON, L. (2006) Solow versus Harrod-Domar: Reexamining the Aid
Costs of the First Millennium Development Goal, IMF Working Paper 284.
DALGAARD, C. & HANSEN, H. (2006) The Return to Foreign Aid, paper presented at UNUWIDER Conference on Aid: Principles, Policies and Performance, 16-17, june, Helsinki.
DALGAARD, C. ; HANSEN, H. & TARP, F. (2004) On the Empirics of Foreign Aid and
Growth, Economic Journal 114(496) F191-F216. [(2002) Credit Research Paper 02/08.
Centre for Research in Economic Development and International Trade. University of
Nottingham.]
DALGARD, C. & HANSEN, H. (2001) On Aid, Growth and Good Policies, Journal of
Development Studies 37 (6), 17-41.
DANIDA (2003) A Review of Evaluation in DANIDA Ministry of Foreign Affairs, prepared fro
DANIDA by H. Lundgren, W. Hagen North & R. Rist, January 2003. Copenhaguen.
DAVIES, R. y DART, J. (2005) Tcnica del Cambio Ms Significante (MSC por sus siglas en
ingls), Gua para su uso. Original ingls en http://www.mande.co.uk/docs/MSCGuide.pdf
DAYTON-JOHNSON, J. & HODDINOTT, J. (2003) Aid, Policies, and Growth, Redux,
Dalhousie University, April. http://132.203.59.36/CIRPEE/conf-cirpee/conference-0403/files/j-djohnsonredux2.pdf
DE RENZIO, P. (2005) Increased Aid vs. Absorptive Capacity: Challenges and Opportunities
Toward 2015, IDS Bulletin 36 (3), 20-27.
DE SOTO, H. (2001) El Misterio del Capital: Por qu el capitalismo triunfa en Occidente y fracasa
en el resto del mundo. Pennsula. Madrid.
DEATON, A. (1997) The Analysis of Household Surveys: A Microeconomic Approach to
Development Policy. Johns Hopkins University Press , World Bank. Washington
DEATON, A. (2003a) Measuring Poverty in a Growing World (or Measuring Growth in a Poor
World), NBER Working Paper 9822.
DEATON, A. (2003b) How to Monitor Poverty for the Millennium Development Goals, Journal
of Human Development, 4 (3), 353-378.
DEATON, A. (2006) Measuremet Poverty in A. BANERJEE et al., Understanding Poverty,
Oxford Univ. PressNew York, Chap. 1, pp.3-16.
DEININGER, K. & SQUIRE, L. (1996) A New Data Set Measuring Income Inequality, World
Bank Economic Review 10 (3), 565-592.
DEININGER, K. et al. (1998) Does Economic Analysis Improve the Quality of Foreign
Assistance?, The World Bank Economic review 12 (3), 385-418.
DEMEKAS, D. et al. (2002) The Economics of Postconflict Aid, IMF Working Paper 02/198.
DENZIN, N.K. y LINCOLN, Y.S. (eds.) (1994) Handbook of Qualitative Research..Sage.
Thousand Oaks.
DEUTSCHER, E. & FYSON, S. (2008) Mejorar la eficacia de la ayuda, Finanzas y Desarrollo,
sep., 15-19.

16

REFERENCIAS BIBLIOGRFICAS

DEVARAJAN, S. y SWAROOP, V. (1998) The Implications of Foreign Aid Fungibility for


Development Assistance, World Bank Policy Research Working Paper 2022.
DEVARAJAN, S., DOLLAR, D. y HOLMGREN, T. (1999) Aid and Reform in Africa, Draft.
World Bank. www.worldbank.org/research/aid/
DEVARAJAN, S., DOLLAR, D. y HOLMGREN, T. (2001) Aid and Reform in Africa. Lessons
for Ten Case Studies, World Bank. Washington.
DFID (2005) Partnerships for Poverty Reduction: Rethinking Conditionality. A UK Policy
Paper. Department for International Development. March.
DGPOLDE (2007a) Estndares de Calidad. Evaluacin CAD-OCDE. Traduccin a cargo de la
Divisin de Evaluacin de la Direccin General de Planificacin y Evaluacin de Polticas
de Desarrollo. SECI. Madrid.
DGPOLDE (2007b) Manual de Gestin de Evaluaciones Conjuntas. Coleccin CAD Evaluacin.
OCDE. Traduccin a cargo de la Divisin de Evaluacin de la Direccin General de
Planificacin y Evaluacin de Polticas de Desarrollo. SECI. Madrid.
DAZ PUENTE, J.M. (2003) La Participacin y el Fortalecimiento e la Evaluacin del
Desarrollo, comunicacin en el III Congreso de la Sociedad Espaola de Evaluacin, Jerez
12-14 de noviembre. http://www.sociedadevaluacion.org/Comunicacion4.pdf
DJANKOV, S.; J.G. MONTALVO & REYNAL-QUEROL, M. (2005) The Curse of Aid,
Universitat Pompeu Fabra Economics Working Papers 870.
DJANKOV, S.; J.G. MONTALVO & REYNAL-QUEROL, M. (2006) Does Foreign Aid
Help?, Cato Journal 26 (1).
DJANKOV, S.; J.G. MONTALVO & REYNAL-QUEROL, M. (2006b) Aid with Multiple
Personalities?, Documento de Trabajo del Development Research Group. Universidad
Pompeu Fabra.
DOLLAR, D. & EASTERLY, W. (1999) The Search for the Key: Aid, Investment, and Policies
in Africa, World Bank Policy Research Working Paper 2070.
DOLLAR, D. & KRAAY, A. (2001a). Growth Is Good for the Poor. World Bank Policy Research
Department Working Paper, N 2587, Washington.
DOLLAR, D. & KRAAY, A. (2001b) Trade, Growth and Poverty. World Bank Policy Research
Department Working Paper, N 2615, Washington.
DOLLAR, D. & LEVIN, V. (2006) The Increasing Selectivity of Foreign Aid, 1984-2003,
World Development 34(12), 2034-2046. [(2004)World Bank Policy Research Working
Paper 3299.]
DOLLAR, D. & SVENSSON, J. (2000) What Explains the Success or Failures of Structural
Adjustment Programs?, The Economic Journal 110 (10), 894-917.
DOMAR, E. (1947) Expansion and Employment, American Economic Review, 37, 34-55.
DOMNGUEZ GONZLEZ, J.L. (2001) Central Amrica. Hurricane Mitch Global Plans 1998
and 1999. Synthesis Report-2.000, Report for the European Commission. Mimeo.

REFERENCIAS BIBLIOGRFICAS

17

DOSAL, P. (coord.) (2003) Cmo evaluar las polticas pblicas desde la perspectiva de gnero?
Diputacin Foral de Bizkaia. Bizkaia.
DOUCOULIAGOS, H. & PALDAM, M. (2006) The Aid Effectiveness Literature. The Sad
Result of 40 Years of Research, University of Aarhus, Department of Economics Working
Paper 18/4-2006.
DRAZEN, A. & ISARD, P. (2004) Can Public Discussion Enhance Program Ownership?, IMF
Working Paper 04/163.
DUFLO, E. & BANERJEE, A. (2005) Addressing Absence, MIT Working Paper.
DUFLO, E. & CHATTOPADHYAY, R. (2004) Women as Policy Makers: Evidence from
Randomized Policy Experiment in India, Econometrica 72(5), 1409-1443.
DUFLO, E. & KREMER, M. (2003) Use of Randomization in the Evaluation of Development
Effectiveness, Paper prepared for the World Bank Operations Evaluation Department
(OED) Conference on Evaluation and Development Effectiveness in Washington, D.C. 1516 July, 2003. http://econ-www.mit.edu/faculty/download_pdf.php?id=759
DUFLO, E. & KREMER, M. (2005) Use of Randomization in the Evaluation of Development
Effectiveness, in PITMAN, G.; O. FEINSTEIN & G. INGRAM (eds) Evaluating
Development Effectiveness. World Bank Series on Evaluation and Development. Vol.7.
Transaction Publishers. New Brunswick.
DUFLO, E. (2001) Schooling and Labor Market Consequences of School Construction in
Indonesia: Evidence from an Usual Policy Experiment, American Economic Review 91(4),
795-813.
DUFLO, E. (2003b) Scaling up and Evaluation, Paper prepared for the ABCDE in Bangalore.
http://econ-www.mit.edu/faculty/download_pdf.php?id=760
DUFLO, E. (2004) The Medium Run Effects of Educational Expansion: Evidence from Large
School Construction Programme in Indonesia, Journal of Development Economics 74 (1),
163-197. (nov.2001) http://econ-www.mit.edu/faculty/download_pdf.php?id=440
DUFLO, E. (2005) Field Experiments in Development Economics, paper prepared for the World
Congress of the Econometric Society, December.
DUFLO, E.; A. BANERJEE & A. DEATON (2004) Wealth, health, and services in rural
Rajasthan, AER Papers and Proceedings 94 (2).
DUFLO, E.; A. BANERJEE; S.COLE; & L.LINDEN (2004) Remedying Education: Evidence
from Two Randomized Experiments in India, MIT Working Paper.
DUFLO, E.; P.DUPAS & M. KREMER (2007) Peer Effects, Pupil-Teacher Ratios, and Teacher
Incentives: Evidence from a Randomized Evaluation in Kenya, Paper for the NEUDC,
Northeast Universities Development Consortium Conference,
26-27 october.
http://www.cid.harvard.edu/neudc07/docs/neudc07_s6_p03_duflo.pdf
DUFLO, E.; R. GLENNERSTER & M. KREMER (2006) Using Randomization in
Development
Economics
Research:
A
Toolkit.
J-PAL
Paper.
http://www.povertyactionlab.com/papers/Using%20Randomization%20in%20Development
%20Economics.pdf

18

REFERENCIAS BIBLIOGRFICAS

DURBARRY, R. et al. (1998) New Evidence on the Impact of Foreign Aid on Economic
Growth, Credit Research Paper 98/8. Centre for Research in Economic Development and
International Trade. University of Nottingham.
EASTERLY, W. (1999) The Ghost of Financing Gap: Testing the Growth Model Used in the
International Financial Institutions, Journal of Development Economics 60(2), 423-438.
EASTERLY, W. (2001) The Elusive Quest of Growth: Economists Adventures and
Misadventures in the Tropics, The MIT Press. Cambridge.
EASTERLY, W. (2002) The Cartel of Good Intentions: Bureaucracy versus Markets in Foreign
Aid, Center for Global Development Working Paper 4.
EASTERLY, W. (2002) What Did Structural Adjustment Adjust? The Association of Policies
and Growth with Repeated IMF and World Bank Adjustment Loans, Center for Global
Development Working Paper 11.
EASTERLY, W. (2003) Can Foreign Aid Buy Growth?, Journal of Economic Perspectives 17,
23-48.
EASTERLY, W. (2006) Freedom versus Collectivism in Foreign Aid, in GWARTNEY, J. &
LAWSON,R. Economic Freedom of the World. Annual Report 2006. Cato Institute and
Fraser Institute. Chapter 2. pp.29-41.
EASTERLY, W. (2006) Reliving the 50s: the Big Push, Poverty Traps, and Takeoffs in
Economic Development, Journal of Economic Growth 11(4), 289-318. [(2005) CGD
Working Paper Number 65.]
EASTERLY, W. (2006) The White Man's Burden: Why the West's Efforts to Aid the Rest Have
Done So Much Ill and So Little Good. Penguin Press, New York.
EASTERLY, W. (2007) Was Development Assistance a Mistake?, American Economic Review
97(2), 328-332.
EASTERLY, W., LEVINE, R. y ROODMAN,D. (2003) New Data, New Doubts: Revisiting
Aid, Policies and Growth, Center for Global Development Working Paper 26.
EASTERLY, W., LEVINE, R. y ROODMAN,D. (2004) Aid, Policies, and Growth: Comment,
American Economic Review 94 (3), 774-780.
ECONOMIDES, G.; S. KALYVITIS, & A. PHILIPPOPOULOS (2004) Do Foreign Aid
Transfers Distort Incentives and Hurt Growth? Theory and Evidence from 75 Aid-Recipient
Countries CESifo Working Paper 1156.
EDWARDS, M. & HULME, D. (2002) Aumentando el impacto de las ONG en el desarrollo:
aprendiendo d la experiencia, en AA.VV. Desarrollo, ONG y Sociedad civil. IntermnOxfam. Barcelona. pp.46-67.
EDWARDS, M. & HULME, D. (eds.) (1996) Beyond the Magic Bullet. NGO Performance and
Accountability in the Post-Cold War World. The Kumarian Press. Hartford.
EDWARDS, M. (1997) Organizational Learning in Non-governmental Organizations. What have
we learned?, Public Administration and Development, vol.17, 235-250.
EDWARDS, M. (1997) Organizational Learning in Non-governmental Organizations. What have
we learned? Public Administration and Development, vol.17, 235-250.

REFERENCIAS BIBLIOGRFICAS

19

EDWARDS, M. y HULME, D. (1996) (1998) Beyond the Magic Bullet: NGO Performance and
Accountability in the Post-Cold War World. Earthscan Publications Save the Children
Fund. London.
EIFERT, B. & GELB, A. (2005) El problema de la volatilidad de la ayuda, Finanzas y
Desarrollo (sept.) 24-27.
EIFERT, B. & GELB, A. (2005) Improving the Dynamics of Aid. Towards More Predictable
Budget Support, The World Bank Policy Research Working Paper 3732.
EIFERT, B. & GELB, A. (2005) Improving the Dynamics of Aid: Toward More Predictable
Budget Support, World Bank Policy Research Working Paper 3732. [paper presented at
UNU-WIDER Conference on Aid: Principles, Policies and Performance, 16-17 june,
Helsinki.]
EIFERT, B. & GELB, A. (2006) El problema de la volatilidad de la ayuda, Finanzas y
Desarrollo, sep. 24-27.
EIFERT, B. & GELB, A. (2008) Reforming Aid: Towards More Predictable, PerformanceBased Financing for Development, World Development 36(10), 2067-2081.
ELBERS, C. & GUNNING, J. (2003) Estimating vulnerability, Department of Economics, Free
University of Amsterdam.
EMMANUEL, A. (1972) El intercambio desigual. Siglo XXI. Madrid.
ENGLE, P. et al. (2006) Strategies to Avoid the Loss of Developmental Potential among 242
Million Children in the Developing World , Draft 4-17-06. Mimeo.
ESPINOSA, J. (2007) La Perspectiva de Gnero en la Evaluacin de Programas de Desarrollo
Internacional, Coleccin Escuela Diplomtica 12, 73-92.
ESTEBAN, M. y ECHEBARRA, C. (1998) Metodologas y procedimientos de evaluacin. El
caso de la poltica industrial y tecnolgica. Universidad del Pas Vasco. Bilbao.
ESTRELLA, M. y GAVENTA, J. (1998) Who Counts Reality? Participatory Monitoring and
Evaluation: A Literature Review, IDS Working Paper 70.
EUROPEAN COMMISSION (2002) Guidelines for use of Indicators in country performance
assessment. Brussels. October 2002.
EUROSTAT (1998) Indicadores de desarrollo sostenible. Estudio piloto segn la
metodologa de la Comisin de Desarrollo Sostenible de las Naciones Unidas.
Comunidades Europeas. Luxemburgo.
EVANS, A. & BOOTH, D. (2006) Review of Literature, DAC Evaluation Network: Follow-up
to the Paris Declaration on Aid Effectiveness.
EXPANSIN (1999) Diccionario Empresarial Stanford. Definicin de trminos espaol-ingls. 5
volmenes. Area Editorial. Madrid.
FEENY, S. (2003) The Impact of Foreign Aid on Poverty and Human Well-Being in Papua New
Guinea, Asia-Pacific Development Journal 10 (2), 73-93.
FEENY, S. (2005) The Impact of Aid on Economic Growth in Papua New Guinea, Journal of
Development Studies 41 (6), 1092-1117.

20

REFERENCIAS BIBLIOGRFICAS

FEINSTEIN, O. & INGRAM, G. (2003) Lessons Learned from World Bank Experiences in
Joint Evaluation, paper presented at the Development Assistance Committee Working Party
on Aid Evaluation workshop Partners in Development Evaluation: Learning and
Accountability,
Paris,
March
25-26,
2003.
http://www.minefi.gouv.fr/TRESOR/cicid/atelier/home.htm
FEINSTEIN, O. (2002) Use of Evaluations and the Evaluation of their Use, Evaluation 8(4),
433-439.
FEINSTEIN, O. (2007) Evaluacin Pragmtica de Polticas Publicas, Informacin Comercial
Espaola 836, 19-31.
FERNANDEZ DIAZ, A. et al. (1989) "El anlisis coste-beneficio como tcnica de la Poltica
Econmica". Curso de poltica econmica. A.C. Madrid. 175-186.
FETTERMAN, D. (2001) Foundations of Empowerment Evaluation. Sage. Thousand Oaks.
FETTERMAN, D. et al. (1995) Empowerment Evaluation: Knowledge and Tools for SelfAssessment and Accountability. Sage. Thousand Oaks.
FEUERSTEIN, M.T. (1990) Partners in Evaluation: evaluating development and community
programmes with participants. McMillan. London.
FEYZIOGLU, T. et al. (1998) A Panel Data Analysis of the Fungibility of Foreign Aid, World
Bank Economic Review 12, 29-58.
FIELDING, D. & MAVROTAS, G. (2005) The Volatility of Aid, WIDER Discussion Paper
2005/06.
FIELDING, D. & MAVROTAS, G. (2005) The Volatility of Aid, WIDER Discussion Paper
2005/06.
FIELDING, D. & MAVROTAS, G. (2008) Aid Volatility and Donor-Recipient Characteristics
in Difficult Partnership Countries, Economica 75 (199), 481-494.
FIELDING, D.; M. McGILLIVRAY & S. TORRES (2007) A Wider Approach to Aid
Effectiveness: Correlated Impacts on Health, Wealth, Fertility and Education, in
MAVROTAS, G. & SHORROCKS, A. (eds.) Advancing Development. Core Themes in
Global Economics. Palgrave MacMillan, Houndmills, chapter 11, pp.183-196.
FIELDING, D.; S. KNOWLES; M. McGILLIVRAY & S. TORRES (2006) Does Aid Work
for the Poor?, paper presented at UNU-WIDER Conference on Aid: Principles, Policies and
Performance, 16-17, june, Helsinki.
FINK, A. y KOSECOFF, J. (1978) An Evaluation Primer. Sage. Beverly Hills.
FISZBEIN, A. & GEVERS, C. (2005) Learning and Scaling Up through Evaluation, in
MORENO-DODSON, B. (ed.) Reducing Poverty on a Global Scale. Learning and
Innovating for Development. Findings from the Shanghai Global Learning Initiative. The
World Bank. Washington. Chapter 6, pp. 191-225.
FITZ-GIBBON, C.T. y MORRIS, L.L. (1987a) How to Design a Program Evaluation. Sage.
Newbury Park.
FITZ-GIBBON, C.T. y MORRIS, L.L. (1987b) How to Analyse Data. Sage. Newbury Park.

REFERENCIAS BIBLIOGRFICAS

21

FMI (1999) Servicio para el crecimiento y la lucha contra la pobreza (SCLP).


http://www.imf.org/external/np/pdr/prsp/esl/poverty2.htm
FORESTI, M. (2007) A Comparative Study of Evaluation Policies and Practices in Development
Agencies, Agence Franaise de Dveloppement, Srie Notes mthodologiques Ex Post, N1.
FOSTER, J.; J. (1984) On Economic Poverty: A Survey of Aggregate Measures, in R.L.
BASMANN & G.E. RHODES, (comps.) Advances in Econometrics, 3, pp.215-251.
FOSTER, J.; J. GREER & E. THORBECKE (1984) A Class of Decomposable Poverty
Measures, Econometrica 52, 761-765
FOSTER, M. et al. (2003) The Case for Increased Aid, Final Report to the UK Department for
Internacional Development (DfID): London. 2 vols.
FOWLER, A. (1996) Assessing NGO performance: difficulties, dilemmas and a way ahead,
EDWARDS. M. y HULME, D. Beyond the magic bullet: NGO Performance and
Accountability in the Post-cold War World. Earthscan Publications Save the Children
Fund. London.
FOWLER, A. (1997) Striking a Balance: a Guide to Enhancing the Effectiveness of NonGovernmental Organizations in International Development. Earthscan Publications. London.
FOWLER, A. (1999) Relevance in the twenty-first century: the case for devolution and global
association of international NGOs, Development in Practice 9, 1-2, 143-151.
FOWLER, A. (1999) Relevance in the twenty-first century: the case for devolution and global
association of international NGOs, Development in Practice 9, 1-2, 143-151
FRANCO-RODRIGUEZ, S.; M. McGILLIVRAY & O. MORRISSEY (1998) Aid and the
Public Sector in Pakistan: Evidence with Endogenous Aid, World Development 26, 1241
1250.
FRANK, G. (1969) Latin America. Underdevelopment or revolution, Monthly Review Press, New
York.
FREEMAN, T. (2005) La evaluacin de los programas de cooperacin en un mundo cambiante,
Documentos de Trabajo sobre Evaluacin de UNICEF.
FRERKS, G. & HILHORST, D. (2002) Evaluation of Humanitarian Assistance in Emergency
Situations, New Issues in Refugee Research Working Paper 56.
FRIEDMAN, M. (1958) Foreign economic aid: Means and objectives, Yale Review 47, 24-38.
FROT, E. & SANTISO, J. (2008) Development Aid and Portfolio Funds: Trends, Volatility and
Asset Allocation, Stockholm Institute of Transition Economics.
FROT, E. & SANTISO, J. (2008b) Follow the Money: Herding in Development Aid Asset
Allocation, Stockholm Institute of Transition Economics.
FUNDACIN CAROLINA (2005) Barmetro Fundacin Carolina. Amrica Latina y la
cooperacin al desarrollo en la opinin pblica espaola. Avance de resultados., Madrid, 10
de noviembre.
GALLEGO, I. (1999) El enfoque del monitoreo y la evaluacin participativa (MEP): batera de
herramientas metodolgicas. Revista Espaola de Desarrollo y Cooperacin 4, 103-135.

22

REFERENCIAS BIBLIOGRFICAS

GARCA IZQUIERDO, B. (2001) Nuevos socios para nuevas ONGD. Universidad de Deusto.
Bilbao.
GARCA RAMOS, J.M. (1992) Recursos metodolgicos en la evaluacin de programas,
Bordn 43-4, 461-476.
GARCA RAMOS, J.M. (1999) Investigacin y evaluacin. Implicaciones y efectos. Algunas
reflexiones metodolgicas sobre investigacin y evaluacin educativa. Conferencia
pronunciada en Santiago de Chile. Mimeo. Sin publicar.
GASC, M. (1999) Una aproximacin a la evaluacin de proyectos de desarrollo. Boletn
Educacin Sin Fronteras 2. Barcelona.
GASPER, D. (1999) El enfoque del Marco Lgico ms all de los proyectos: el seguimiento y la
evaluacin de la ayuda humanitaria en emergencias complejas, Revista Espaola de
Desarrollo y Cooperacin 4, 51-82.
GELB, A.; B. NGO & X. YE (2004) Implementing Performance-Based Aid in Africa: The
Country Policy and Institutional Assessment, World Bank Africa Region Working Paper
Series 77.
GELB, A.; B. NGO & X. YE (2004) Implementing Performence-Based Aid in Africa, World
Bank Africa Region Working Paper 77.
GEMMELL, N & McGILLIVRAY, M. (1998) Aid and tax instability in the government budget
constraints in developing countries, CREDIT Research Paper 98/1. University of
Nottingham: Nottingham. Volatilidad
GEMMELL, N & McGILLIVRAY, M. (1998) Aid and Tax Instability in the Government
Budget Constraints in Developing Countries, CREDIT Research Paper 98/1. University of
Nottingham: Nottingham.
GIBBS, C.; FUMO, C. y KUBY, T. (1999) Nongovernmental Organizations in World BankSupported Projects: A Review. World Bank. Washington.
GOMANEE, K. & MORRISSEY, O. (2002) Evaluating Aid Effectiveness against Poverty
Reduction Criterion, Paper at DESG Conference, Nottingham, April 2002.
http://www.shef.ac.uk/uni/projects/desg/cinfo/cpapers/gomanee.pdf
GOMANEE, K. et al. (2003) Aid, Pro-Poor Government Spending and Welfare, CREDIT
Research Paper 03/03. University of Nottingham.
GOMANEE, K., S. GIRMA & O. MORRISSEY (2002) Aid and Growth in sub-Saharan Africa:
Accounting for Transmission Mechanisms, CREDIT Research Paper 02/05. University of
Nottingham.
GOMANEE, K., S. GIRMA & O. MORRISSEY (2003) Searching for Aid Threshold Effects,
CREDIT Research Paper 03/15. University of Nottingham.
GOMANEE, K., S. GIRMA & O. MORRISSEY (2005) Aid, Public Spending, and Human
Welfare: Evidence from Quantile Regressions, Journal of International Development 17
(3), 299-309.
GMEZ GALN, M. y CMARA, L. (2003) Orientaciones para la aplicacin del enfoque del
marco lgico. Errores frecuentes y sugerencias para evitarlos. CIDEAL. Madrid.

REFERENCIAS BIBLIOGRFICAS

23

GMEZ GALN, M. y SANZ OLLERO, H. (20032) El ciclo del proyecto de cooperacin al


desarrollo. La aplicacin del marco lgico. CIDEAL. Madrid.
GMEZ GALN, M. y SANZ OLLERO, H. (2007) El ciclo del proyecto de cooperacin al
desarrollo. El marco lgico en programas y proyectos: de la identificacin a la evaluacin.
CIDEAL. Madrid.
GONZLEZ PARADA, J.R. y GARCA CEBOLLA, J.C. (2004) Manual de Evaluacin para
la Cooperacin Descentralizada. Dykinson y FEMP. Madrid.
GONZLEZ, A.M. (2004) Metodologas para la evaluacin de proyectos financiados con
recursos de cooperacin tcnica internacional, Centro de Pensamiento Estratgico
Internacional. Bogot.
GONZLEZ, L. (2000) La evaluacin expost o de impacto. Un reto para la gestin de proyectos
de cooperacin internacional al desarrollo. Cuadernos de Trabajo de HEGOA, N29. Bilbao.
GOUNDER, R. (2001) Aid-growth nexus: empirical evidence from Fiji, Applied Economics 33,
1009 1019.
GOUNDER, R. (2002) Empirical evidence of the relationship between foreign aid and economic
growth: the case of the Solomon Islands, in MAK ARVIN B (ed.). New Perspectives on
Foreign Aid and Economic Development, Praeger: Westport.
GRIFFIN, K. (1970) Foreign Capital, Domestic Savings and Economic Development, Oxford
Bulletin of economics and Statistics 32, 99-112.
GRIFFIN, K. (1991) Foreign Aid After the Cold War, Development and Change, vol. 22, 645685.
GRIFFIN, K. y ENOS, J. (1970) Foreign Assistance: Objectives and Consequences, Economic
Development and Cultural Change 18, 313-327.
GRIMM, S. (2007) The Effectiveness of the EUs Community Aid How Much Do We
Known?, German Development Institute. Mimeo.
GROVES, L. y HINTON, R. (eds.) (2004) Inclusive Aid. Earthscan. London.
GUBA, E. G. y LINCOLN, Y.S. (1981) Effective Evaluation. Improving the Usefulness of
Evaluation Results Through Responsive and Naturalistic Approaches. Jossey Bass
Publishers. San Francisco.
GUBA, E. G. y LINCOLN, Y.S. (1982) Epistemological and Methodological Bases of
Naturalistic Inquiry, Educational Communications and Technology Journal n 4, 30.
Washington. Reproducido en MADAUS, G. et al.(1988a) Evaluation Models. KluwerNijhoff Publishers. Boston. 311-333.
GUBA, E. G. y LINCOLN, Y.S. (1985) Naturalistic Inquiry. Sage. Beverly Hills.
GUBA, E. G. y LINCOLN, Y.S. (1987) The Countenances of Fourth-Generation Evaluation:
Description, Judgement and Negotiation, PALUMBO, D.J.(ed.) The Politics of Program
Evaluation. Sage. Beverly Hills. 202-234. Tambin en CORDRAY, D. y LIPSEY, M. (eds.)
Evaluation Studies. Review Annual. Vol.11. (1986). Sage. Newbury Park. 425-436.
GUBA, E. G. y LINCOLN, Y.S. (1989) Fourth Generation Evaluation. Sage. Newbury Park.

24

REFERENCIAS BIBLIOGRFICAS

GUBA, E.G. y LINCOLN, Y.S. (1994) Competing Paradigms in Qualitative Research.


DENZIN, N.K y LINCOLN, Y.S. Handbook of Qualitative Research. Sage. Thousand Oaks.
105-117.
GUDIO, F. (1996) La evaluacin de la cooperacin al desarrollo en Espaa. Un anlisis de
metodologas y organizacin institucional. Serie Avances en Investigacin N1. IUDCUCM. Madrid.
GUDIO, F. (1999) El sistema de evaluacin de la cooperacin espaola frente al reto de su
consolidacin. Revista Espaola de Desarrollo y Cooperacin 4, 31-49.
GUIJT, I. (1998) Participatory monitoring and impact assesment of sustaintable agriculture
initiatives. SARL Discussion Paper 1. IIED. London.
GUILLAUMONT, P. y CHAUVET, L. (2001) Aid and Performance: A Reassessment, Journal
of Development Studies 37 (6), 66-92.
GUJARATI, D. (1997) Econometra. McGraw-Hill. Colombia.
GUNNING, J.V. (2001) Rethinking Aid, en AA.VV. Annual World Bank Conference on
Development Economics 2000. The World Bank. Washington.
GUPTA, S. ; C. PATILLO & S. WAGH (2006) Are Donor Countries Giving More or Less
Aid?, IMF Working Paper 06/1.
GUPTA, S.; CLEMENTS, B.; PIVOVARSKY, A. & TIONGSON, E. (2003) Foreign Aid and
Revenue Response: Does the Composition of Aid Matter?, WIDER Conference on Sharing
Global Prosperity. Helsinki, 6-7 September. [IMF Working Paper 03/176]
GUPTA, S.; POWELL, R. & YANG, Y. (2005) The Macroeconomic Challenges of Scaling Up
Aid to Africa, IMF Working Paper 05/179.
GUSTAFSON, P. (2003) How Random Must Random Assignment Be in Random Assignments
Experiments?, Social Research and Demonstration Corporation Technical Paper 03-01.
HADJIMICHAEL, M.T. et al. (1995) Sub-Saharan Africa : Growth, Savings, and Investment,
1986-93, Occasional Papers 118, IMF, Washington.
HAIR, J.F. et al. (1999) Anlisis multivariante de datos. Prentice-Hall. New Jersey.
HALVORSON-QUEVEDO, R. (2000) Thematic Summary, en CAD, Waging the Global War
on Poverty. Strategies and Case Studies. OECD-DAC. Paris. Pags. 9-22.
HANNER, L. y NASCHOLD, F. (2000) Attaining the International Development Targets: Will
Growth Be Enough?, Development Policy Review 18, 11-36.
HANSEN, H. (2002) The Impact of Aid and External Debt on Growth and Investment Credit
Research Paper 02/26. Centre for Research in Economic Development and International
Trade. University of Nottingham.
HANSEN, H. y TARP, F. (1999) The Effectiveness of Foreign Aid, Development Economics
Research Group, Institute of Economics, University of Copenhagen.
HANSEN, H. y TARP, F. (2000) Aid Effectiveness Disputed, in TARP (ed.) Foreign Aid and
development. Lessons learnt and directions for the future. Routledge. London. pp.103-128.
[Journal of International Development 12, 375-398.]

REFERENCIAS BIBLIOGRFICAS

25

HANSEN, H. y TARP, F. (2001) Aid and Growth Regressions, Journal of Development


Economics 64, 547-570. [Paper at the Joint Development Centre/DAC Experts Seminar on
Aid Effectiveness, Selectivity and Poor Performers, OECD, Paris. 17-Enero-2001.][Credit
Research Paper 00/7. Centre for Research in Economic Development and International
Trade. University of Nottingham.]
HARROD, R. (1939) An Essay in Economic Theory, Economic Journal 49 (193), 14-33.
HAUSMANN, R. & RODRIK, D. (2002) Economic Development as Self-Discovery, NBER
Discussion Paper w8952.
HAYTER, T. (1971) Aid as imperialism, Penguin, Harmondsworth.
HAYTER, T. y WATSON, C. (1985) Aid: Rhetoric and Reality. Pluto Press. London.
HELLEINER, G. (1993) Debt Relief for Africa. UNICEF staff working papers.
HELLER, P. & GUPTA, S. (2002) More AidMaking it Work for the Poor, World Economics
3(4), 131146.
HELLER, P. (2005) Pity the Finance Minister: Issues in Managing a Substantial Scaling Up of
Aid Flows, IMF Working Paper 05/180.
HELLER, P. et al. (2006) Making Fiscal Space Happen: Managing Fiscal Policy in a World of
Scaled-Up Aid, IMF Working Paper 270.
HERMAN, J.L. et al. (1987) Evaluators Handbook.Sage. Newbury Park.
HERNNDEZ ALONSO, J. (1995) Introduccin a la econometra. ESIC. Madrid.
HESTON, A.; R. SUMMERS & B. ATEN (2006) Penn World Table Version 6.2, Center for
International Comparisons of Production, Income and Prices at the University of
Pennsylvania, http://pwt.econ.upenn.edu/php_site/pwt_index.php.
HIDALGO, A.L. (1998) El pensamiento econmico sobre el desarrollo. De los mercantilistas al
PNUD, Universidad de Huelva, Huelva.
HIDALGO, S. (2007) La Evaluacin de la Accin Humanitaria: El Reto Pendiente en la Ayuda
Espaola, Coleccin Escuela Diplomtica 12, 93-108.
HILDEBRAND, D.K. y LYMAN, R. (1997) Estadstica aplicada a la administracin y a la
economa. Addison-Wesley Iberoamericana. Wilmington.
HIRSCHMAN, A. O. (1958) The Strategy of Economic Development, Yale Univ. Press, New
Haven.
HJERTHOLM, P. & WHITE, H. (2000) Foreign Aid in Historical Perspective. Background and
trends, in F. TARP (ed.) Foreign Aid and Development. Lessons learnt and directions for
the future. Routledge. London. Chapter 3, pp. 80-102.
HOLLAND, J. & CAMPBELL, J. (eds.) (2005) Methods in Development Research. Combining
Qualitative and Quantitative Approaches. Swan University Publications & ITDG.
HORTON, D. (2004) Cmo planificar, implementar y evaluar el desarrollo de capacidades?,
ISNAR Briefing Paper 64.

26

REFERENCIAS BIBLIOGRFICAS

HUDSON, J. & MOSLEY, P. (2008) Aid Volatility, Policy and Development, World
Development 36(10), 2082-2102. [(2006) paper presented at UNU-WIDER Conference on
Aid: Principles, Policies and Performance, 16-17 june, Helsinki.]
HUDSON, J. & MOSLEY, P. (2008b) The Macroeconomic Impact of Aid Volatility, Economic
Letters 99, 486-489.
HUTHER, J. & SHAH, A. (2000) Anti-corruption Policies and Programs: A Framework for
Evaluation, World Bank Policy Research Working Paper 2501.
IEO (2005) Draft Isuues Paper for an Evaluation of Structural Conditionality in IMF-Supported
Programs, march 18. Independent Evaluation Office. IMF.
IFAD (2002) A Guide for Project M&E. Managing for Impact in Rural Development. International
Fund for Agricultural Development. http://www.ifad.org/evaluation/guide/index.htm
IGUIZ, J. (1991) Hacia una alternativa de desarrollo, Aportes para la Discusin 1,
FONDAD, Quito.
IMF (2005) The Macroeconomics of Managing Increased Aid Inflows: Experiences of LowIncome Countries and Policy Implications, Policy Development and Review Department,
August 8.
INRA (EUROPE) European Coordination Office (1997) Eurobarometer 46.0: Development
Aid: Building for the Future with Public Support, for the European Commission Directorate
General Development, INRA, Brussels
INRA (EUROPE) European Coordination Office (1999) Eurobarometer 50.1: Europeans and
Development Aid, for the European Commission Directorate General Development, INRA,
Brussels.
INTERMN (2000) La realidad de la ayuda 2000-2001. Intermn-Oxfam. Barcelona.
IPC (ed.) (2007) Does Aid Work? For the MDGs. Poverty in Focus. International Poverty Centre.
Brasilia. October.
JACQUET, P. (2006) Evaluations and Aid Effectiveness, in AA.VV. Rescuing the World Bank.
Center for Global Development. Washington. pp. 171-181
JTTING, J. et al. (2004) Decentralization and Poverty in Developing Countries: Exploring the
Impact, OECD Development Centre Working Paper 236.
KANBUR, R. & SHAFFER, P. (2007) Experiences of Combining Qualitative and Quantitative
Approaches in Poverty Analysis. Monogrfico de World Development 35(2).
KANBUR, R. (1993) "Precios sombra". EATWELL et al. Desarrollo econmico. Fuhem-Icaria.
Madrid. 480-483.
KANBUR, R. (2001) Economic Policy, Distribution and Poverty: The Nature of Disagreements.
World Development 29 (6), 1083-1094.
KANBUR, R. (2004) Growth, Inequality and Poverty: Some Hard Questions, commentary
prepared for the State of the World Conference, Princeton University, 13-14 february.
http://www.people.cornell.edu/pages/sk145/papers/htm.

REFERENCIAS BIBLIOGRFICAS

27

KANBUR, R. (ed.) (2003b) Qual-Quant: Qualitative and Quantitative Poverty Appraisal:


Complementarities, Tensions and the Way Forward. Permanent Black. Dheli.
KANBUR, R. (ed.)(2003) Q-squared. Combining Qualitative and Quantitative Methods in Poverty
Appraisal. Permanent Black. Delhi.
KARRAS, G. (2006) Foreign Aid and Long-run Economic Growth : Empirical Evidence for a
Panel of Developing Countries, Journal of International Development 18, 15-28.
KAUL, I. et al. (eds.) (2001) Bienes pblicos mundiales. La cooperacin internacional en el siglo
XXI. Oxford University Press. Mxico.
KAYIZZI-MUGERWA S. (2003) Reforming Africas Institutions: Ownership, Incentives and
Capabilities, United Nations University Press for UNUWIDER: Tokyo.
KHARAS, H. (2008) Measuring the Cost of Aid Volatility, Working Paper Wolfenshon Center
for Development, The Brookings Institution.
KILLICK, T. (1991) The Developmental Effectiveness of Aid to Africa, World Bank Working
Paper Series 646, Washington.
KILLICK, T. (2004) Politics, Evidence, and the New Aid Agenda, Development Policy Review
22 (1), 5-29.
KILLICK, T. (2005) Dont Throw Money at Africa, IDS Bulletin 36 (3), 14-19.
KNACK, S. & RAHMAN, A. (2004) Donor Fragmentation and Bureaucratic Quality in Aid
Recipients, World Bank Policy Research Working Paper 3186.
KNACK, S. (2004) Does Foreign Aid Promote Democracy?, International Studies Quarterly 48,
251-266.
KOSACK, S. (2003) Effective Aid: How Democracy Allows Development Aid to Improve the
Quality of Life, World Development 31 (1), 1-22.
KRAAY, A. & RADDATZ, C. (2006) Poverty Traps, Aid, and Growth, Journal of
Development Economics 82(2), 315-347. [(2005) World Bank Policy Research Working
Paper 3631]
KRUGMAN, P. (1995) La cada y el resurgimiento de la economa del desarrollo, en
Desarrollo, Geografa y Teora Econmica. Antoni Bosch. Barcelona. pp.3-30.
KRUGMAN, P. (2000) El retorno de la economa de la depresin. Crtica. Barcelona.
KUSEK, J.Z.; R. RIST & E. WHITE (2005) How Will We Know The Millennium
Development Goal Results When We See Them? Biulding a Results-Based Monitoring and
Evaluation System to Give us the Answers, Evaluation 11, 7-26.
LAHIRI, S. (2007) Theory and Practice of Foreign Aid. Elsevier. Amsterdam.
LANCASTER, C. (1999) Aid Effectiveness in Africa: The Unfinished Agenda, Journal of
African Economies 8 (4), 497-503.
LANCASTER, C. (2007) The Chinese Aid System, Center for Global Development Essay, june.

28

REFERENCIAS BIBLIOGRFICAS

LARR, J.M. (2005) La Declaracin de Pars-2005: Principios para una ayuda eficaz y
aplicaciones para las ONGD, Revista de Fomento Social 238, 243-281.
LARR, J.M. (2006) Ayuda al Desarrollo y buen gobierno en los pases de Renta Media.
Recomendaciones para Espaa, Instituciones y Desarrollo 17 (1).
LARR, J.M. (2006b) La ayuda al desarrollo, reduce la pobreza?, Coleccin Escuela
Diplomtica N 10, 75-104.
LARR, J.M. (2000) La evaluacin en los proyectos de cooperacin al desarrollo de las ONGD
espaolas. Tesis Doctoral. Universidad San Pablo-CEU. Madrid.
LARR, J.M. (2002) Razones para implantar un sistema de evaluacin en las ONGD y sus
consecuencias, Revista de Fomento Social 57 (228), 683-710.
LARR, J.M. (2003a) La eficacia de la ayuda al desarrollo. Una revisin al anlisis
macroeconmico y las evidencias empricas, Cooperacin Internacional / International
Cooperation. 9, 87-101.
LARR, J.M. (2003b) Anlisis de los resultados y metaevaluacin de los informes de
EuropeAid Documento de Discusin del CECOD 03/01. www.cecod.net
LARR, J.M. (2003b) La ayuda para los pobres funciona. La eficacia micro de la ayuda al
desarrollo, Revista de Economa Mundial 8, 97-117.
LARR, J.M. (2003c) Empoderamiento y participacin en la evaluacin de acciones de
cooperacin al desarrollo: del discurso terico a la prctica espaola, comunicacin para el
III Congreso de la Sociedad Espaola de Evaluacin de Polticas Pblicas, Conferencia
2003, Los retos tericos y metodolgicos de la evaluacin en los sectores del empleo, la
educacin
y
el
desarrollo.
Jerez,
12-14
de
noviembre
de
2003.
http://www.sociedadevaluacion.org/Eventos.htm
LARR, J.M. (2004) La Retroalimentacin en los Sistemas de Evaluacin. Experiencias en la
Cooperacin al Desarrollo. Centro de Estudios de Cooperacin al Desarrollo. Madrid.
LARR, J.M. (2005b) Nuevos instrumentos y renovados principios de la eficacia de ayuda al
desarrollo: los retos metodolgicos para su evaluacin, Sociedad Espaola de Evaluacin.
Actas de la Conferencia 2005. Evaluacin y Gobierno. Madrid, 7-9 de julio de 2005.
www.sociedadevaluacion.org/docs/conferencias/4thMadrid 2005/com221.pdf
LARR, J.M. (2007a) Los Programas de Desarrollo de la Comunidad de Madrid. Convocatoria
2002. Estudios de Cooperacin al Desarrollo. Comunidad de Madrid. Madrid.
LARR, J.M. (2007b) La Evaluacin de Impacto: Qu es, cmo se mide y qu est aportando
en la Cooperacin al Desarrollo, en J.M. LARR (coord.) Evaluacin en la Cooperacin
para el Desarrollo. Coleccin Escuela Diplomtica N12. Madrid, pgs. 109-133.
LASSO DE LA VEGA, M.C. y URRUTIA, A.M. (2000) HDPI: A framework of pollutionsensitive human development indicators. Discussion Paper n 4. Departamento de
Economa Aplicada IV, Universidad del Pas Vasco.
LAWRENCE, J. (1989) Engaging Recipients in Development Evaluation. The Stakeholder
Approach. Evaluation Review, vol.13, N 3, 243-256.
LAWSON, A. & D. BOOTH (2004) Evaluation of General Budget Support. Evaluation
Framework, ODI, London.

REFERENCIAS BIBLIOGRFICAS

29

LAWSON, A. et al. (2003) General Budget Support Evaluability Study Phase 1. Synthesis
Report, DFID Evaluation Report Ev643.
LZARO, A.J. (1992) La formalizacin de indicadores de evaluacin. Bordn 43-4, 477-494.
LENSINK & MORRISEY, O. (1999) Uncertainty of Aid Inflows and the Aid-Growth
Relationship, Credit Research Paper 99/3. Centre for Research in Economic Development
and International Trade. University of Nottingham.
LENSINK, R. & MORRISSEY, O. (2001) Aid Instability as a Measure of Uncertainty and the
Positive Impact of Aid on Growth, Journal of Development Studies 36 (3) 31-49. [(2000)
Paper at the Joint Development Centre/DAC Experts Seminar on Aid Effectiveness,
Selectivity and Poor Performers, OECD, Paris. 17-Enero-2001.] Volatilidad.
LENSINK, R. & MORRISSEY, O. (2001) Aid Instability as a Measure of Uncertainty and the
Positive Impact of Aid on Growth, Journal of Development Studies 36 (3) 31-49. [(2000)
Paper at the Joint Development Centre/DAC Experts Seminar on Aid Effectiveness,
Selectivity and Poor Performers, OECD, Paris. 17-Enero-2001.]
LENSINK, R. & WHITE, H. (1999a) Assessing Aid: Un manifiesto a favor de la ayuda para el
siglo XXI?, Informacin Comercial Econmica 778, 43-54. [(2000) Assessing Aid: A
Manifesto for Aid in the 21st Century? Oxford Development Studies 28 (1), 5-17.]
LENSINK, R. & WHITE, H. (1999b) Is there an Aid Laffer Curve?, Credit Research Paper
99/6. Centre for Research in Economic Development and International Trade. University of
Nottingham.
LENSINK, R. & WHITE, H. (2000) Asignacin de la ayuda y reduccin de la pobreza: el
informe Evaluacin de la Ayuda, en ALONSO, J.A. y FRERES, Ch.(eds.) Los
Organismos Multilaterales y la Ayuda al Desarrollo. Civitas. Madrid. 217-240. [original:
Aid Allocation, Poverty Reduction and the Assessing Aid Report, Journal of International
Development 12 (3), 399-412.]
LENSINK, R. & WHITE, H. (2001) Are There Negative Returns to Aid?, Journal of
Development Studies 37 (6), 42-65.
LEVIN, H.M. (1985) Cost-effectiveness. A primer. Sage. Beverly Hills.
LEVIN, H.M. y McEWAN, P. (2000) Cost-Effectiveness Analysis: Methods and Applications.
Sage. Thousand Oaks.
LEVINE, R. & SAVEDOFF, D. (2006) The Evaluation Agenda, in AA.VV. Rescuing the
World Bank. Center for Global Development. Washington. pp.183-193.
LIGERO, J.A. (2001) Propuesta de un nuevo criterio de evaluacin de proyectos de ayuda al
desarrollo; la cobertura, Revista Espaola de Desarrollo y Cooperacin 8, 167-181.
LINCOLN, Y.S. y GUBA, E.G. (1987) But is it Rigorous? Trustworthiness and Authenticity in
Naturalistic Evaluation. SHADISH, W.R. y REICHARDT, C.S. Evaluation Studies. Review
Annual. Vol.12 (1987). Sage. Thousand Oaks. 425-436.
LIVERANI, A. & LUNDBERG, H. (2007) Evaluation Systems in Development Aid Agencies,
Evaluation 13 (2), 241-256.
LPEZ MNDEZ, I. y ALCALDE, A.R. (coords.)(1999) Relaciones de Gnero y Desarrollo.
Hacia la equidad de la cooperacin. IUDC-UCM. Madrid.

30

REFERENCIAS BIBLIOGRFICAS

LPEZ MNDEZ, I. y SIERRA, B. (2001) Integrando el anlisis de gnero en el desarrollo.


IUDC. Madrid.
LU, S. & RAM, R. (2001) Foreign aid, government policies and economic growth: further
evidence from cross-country panel data for 1970 to 1993. International Economics 54, 15
29.
LUCAS, H.; D. EVANS & K. PASTEUR (2004) Research on the current state of PRS
monitoring systems, IDS Discussion Paper 382.
LUGRS, J. (2003) Seguimiento y Evaluacin Participativos de Proyectos de Desarrollo en
Yucatn, Documentos de Discusin sobre el Tercer Sector 26, El Colegio Mexiquense.
LUGRS, J. (2008) Seguimiento y evaluacin participativos de proyectos de desarrollo, en
LARR, J.M. y LUGRS, J. Dos modalidades de evaluacin: evaluaciones de impacto
aleatorias y evaluaciones participativas. Documento de Trabajo del CECOD 01/08.
LLAVADOR, H.G. y ROEMER, J.E. (2001) An Equal-Opportunity Approach to the Allocation
of International Aid, Journal of Development Economics 64, 147-171.
LLOYD, T. et al. (1998) Investigating the Relationship Between Aid and Trade Flows, Credit
Research Paper 98/10. Centre for Research in Economic Development and International
Trade. University of Nottingham.
LLOYD, T. et al. (2000) Does Aid Create Trade? An Investigation for European Donors and
African Recipients, European Journal of Development Research 12 (1), 107-123.
LLOYD, T. et al. (2001a) Aid, Exports and Growth in Ghana, Credit Research Paper 01/01.
Centre for Research in Economic Development and International Trade. University of
Nottingham.
LLOYD, T. et al. (2001b) Problems with Pooling in Panel Data Analysis for Developing
Countries: The Case of Aid and Trade Relationships, Credit Research Paper 01/14. Centre
for Research in Economic Development and International Trade. University of Nottingham.
MADAUS, G.F. et al. (1988a) Evaluation Models. Viewpoints on Educational and Human
Services Evaluation. Kluwer-Nijhoff Publishers. Boston. (or.1983)
MADAUS, G.F. et al. (1988b) Program Evaluation: A Historical Overview, MADAUS et al.,
Evaluation Models: Viewpoints on Educational and Human Services Evaluation. KluwerNijhoff Publishers. Boston. 3-22.
MAE (1998) Metodologa de Evaluacin de la Cooperacin Espaola. MAE-SECIPI. Madrid.
MAE (1998a) El sector del cacao en Guinea Ecuatorial. Informes de evaluacin 1/1998. MAESECIPI. Madrid.
MAE (1998b) Fortalecimiento municipal en Flores, Guatemala. Informes de evaluacin 2/1998.
MAE-SECIPI. Madrid.
MAE (1998c) Las Escuelas-Taller en Iberoamrica. Informes de evaluacin 3/1998. MAESECIPI. Madrid.
MAE (1998d) El Fondo de Ayuda al equipamiento en Iberoamrica. Informes de evaluacin
4/1998. MAE-SECIPI. Madrid.

REFERENCIAS BIBLIOGRFICAS

31

MAE (1999a) Programa de Cooperacin Hispano-Peruano. Informes de evaluacin 5/1999.


MAE-SECIPI. Madrid.
MAE (1999b) El programa de Erradicacin del Trabajo Infantil en Iberoamrica. Informes de
evaluacin 6/1999. MAE-SECIPI. Madrid.
MAE (2000a) El programa de Cooperacin Interuniversitaria en Iberoamrica. Informes de
evaluacin 7/1999. MAE-SECIPI. Madrid.
MAE (2000b) Programa de subvenciones y ayudas a ONGD en Hait, Repblica Dominicana y
Filipinas. Informes de evaluacin 8/2000. MAE-SECIPI. Madrid.
MAE (2001) Metodologa de Evaluacin de la Cooperacin Espaola II. MAE-SECIPI. Madrid.
MAE (2001b) El programa de Alfabetizacin y Educacin Bsica de Adultos PAEBA. Informes de
evaluacin 9/2001. MAE-SECIPI. Madrid.
MAE (2001c) El programa SAIL en la isla de Camiguin, Filipinas. Informes de evaluacin
10/2001. MAE-SECIPI. Madrid.
MAE (2002) Evaluacin del Proyecto DRI Cotacachi (1998-2001). Informes de evaluacin
11/2002. MAE-SECIPI. Madrid.
MAE (2002b) Estrategia de la Cooperacin Espaola en Medio Ambiente. Ministerio de Asuntos
Exteriores. Secretara de Estado para la Cooperacin Internacional y Para Iberoamrica.
Madrid.
MAE (2003a) Evaluacin del Programa de Cooperacin Hispano-Boliviano. Informes de
evaluacin 15/2003. MAE-SECIPI. Madrid.
MAE (2003b) Evaluacin del Programa de Cooperacin Hispano-peruano 1999-2000. Informes de
evaluacin 13/2003. MAE-SECIPI. Madrid.
MAE (2003c) Evaluacin del Programa de Patrimonio Cultural de la Cooperacin Espaola.
Informes de evaluacin 14/2003. MAE-SECIPI. Madrid.
MAE (2003d) Evaluacin del Proyecto de Reforma Judicial en la Repblica de Bolivia. Informes
de evaluacin 12/2003. MAE-SECIPI. Madrid.
MAE (2004) Gua prctica para la integracin de la igualdad entre mujeres y hombres en los
proyectos de la Cooperacin Espaola. MAE-SECIPI-OPE. Madrid.
MAE (2004a) Evaluacin del Programa para la Recuperacin del Patrimonio HistricoArquitectnico y para el Desarrollo Turstico y Agrcola de Cidade-Velha, en la Repblica
de Cabo Verde. Informes de evaluacin 16/2003. MAE-SECIPI. Madrid.
MAE (2004b) Estrategia de la Cooperacin Espaola para la Promocin de la Igualdad de
Oportunidades entre Mujeres y Hombres. Ministerio de Asuntos Exteriores. Secretara de
Estado para la Cooperacin Internacional y Para Iberoamrica. Madrid.
MAE KELLY, R. (1987) The politics of meaning and policy inquiry, PALUMBO, D.J.(ed.) The
Politics of Program Evaluation. Sage. Beverly Hills. 270-296.
MAEC (2005a) Evaluacin de la Cooperacin Espaola en Salud en Mozambique. Informe de
evaluacin 18. MAEC-SECI-DGPOLDE. Madrid.

32

REFERENCIAS BIBLIOGRFICAS

MAEC (2005b) Evaluacin del Programa de Alfabetizacin y Educacin Bsica de Adultos en


Honduras y Nicaragua. Informe de evaluacin 19. MAEC-SECI-DGPOLDE. Madrid.
MAEC (2005c) Evaluacin ex -post del Programa de Desarrollo Local y Fortalecimiento
Municipal en Honduras. Informe de evaluacin 20. MAEC-SECI-DGPOLDE. Madrid.
MAEC (2005d) Evaluacin Intermedia del Proyecto Polo de Desarrollo Integral en el Litoral de
Tiguent, Mauritania. Informe de evaluacin 17. MAEC-SECI-DGPOLDE. Madrid.
MAEC (2007) Manual de Gestin de Evaluaciones de la Cooperacin Espaola. Aprender para
mejorar. MAEC-SECI-DGPOLDE. Madrid.
MAEC (2007b) Evaluacin del programa ARAUCARIA de la Cooperacin Espaola para la
Conservacin de la biodiversidad y el desarrollo sostenible en Iberoamrica. Informe de
evaluacin 21. MAEC-SECI-DGPOLDE. Madrid.
MARCUELLO, C. y MARCUELLO, Ch. (1999) Nothern words, Southern readings,
Development in Practice 9, 1-2, 151-158.
MAREN, M. (1997) The Road to Hell: The Ravaging Effect of Foreign Aid and International
Charity, The Free Press. New York.
MARJIT, S. & MUKHERJEE, V. (2007) Poverty, Utilization of Foreign Aid and Corruption,
in S. LAHIRI (ed.) Theory and Practice of Foreign Aid, Elsevier, Amsterdam, Chapter 2,
17-29.
MARKANDYA, A. ; V. PONCZEK & S. YI (2006) What is the Link Between Aid Volatility
and Growth?, paper presented at UNU-WIDER Conference on Aid: Principles, Policies and
Performance, 16-17 june, Helsinki.
MARSDEN, D. et al. (1994) Measuring the process: guidelines for evaluating social development.
Intrac Publications. Oxford.
MARSDEN, D. y OAKLEY, P. (eds.) (1990) Evaluating social development projects. Oxfam.
Oxford.
MARTN, C. (1997a) "Contra el paroxismo de Maastricht: en defensa de la convergencia real",
Cuadernos de Informacin Econmica 122, 1-10.
MARTN, C. (1997b) Espaa en la nueva Europa. Alianza. Madrid.
MASUD, N. & YONTCHEVA, B. (2005) Does Foreign Aid Reduce Poverty? Empirical
Evidence from Nongovernmental and Bilateral Aid, IMF Working Paper 05/100.
MAVROTAS, G. (2002a) Aid and Growth in India: Some Evidence from Disaggregated Aid
Data, South Asia Economic Journal 3(1), 1949.
MAVROTAS, G. (2002b) Foreign Aid and Fiscal Response: Does Aid Disaggregation Matter?,
Weltwirtschaftliches Archiv 138 (3), 534-559.
MAVROTAS, G. (2003) Which Types of Aid Have the Most Impact?, WIDER Conference on
Sharing Global Prosperity. Helsinki, 6-7 September.
MAXWELL, S. (2003) Heaven or Hubris: Reflections on the New New Poverty Agenda,
Development Policy Review 21, 5-25.

REFERENCIAS BIBLIOGRFICAS

33

MAY, E.; D. SHAND; K. McKAY; F. ROJAS y J. SAAVEDRA (eds) (2006) Hacia la


Institucionalizacin de los Sistemas de Monitoreo y Evaluacin en Amrica Latina y El
Caribe. Estudios del Banco Mundial sobre Amrica Latina y El Caribe. Banco Mundial Y
Banco Interamericano de Desarrollo. Washington.
MAYOUX, L. & CHAMBERS, R. (2005) Reversing the Paradigm: Quantification, Participatory
Methods and Pro-Poor Impact Assessment, Journal of International Development 17 (2),
271-298.
McDONNELL, I. et al. (2002) Public opinion research, global education and development cooperation reform: in search of a virtuous circle, paper for Europe-Wide Global Education
Congress, Maastricht, November 15-17 2002.
McDONNELL, I. et al. (eds.) (2003) Public Opinion and the Fight against Global Poverty,
North-South Centre of the Council of Europe & OECD Development Centre, OECD, Paris.
McGEE, R. & NORTON, A. (2000) Participation in Poverty Reduction Strategies: A Synthesis
of Experience With Participatory Approaches to Policy Design, Implementation and
Monitoring, IDS Working Paper 109.
McGILLIVRAY, M, & OUATTARA, B. (2005) Aid, debt burden and government fiscal
behaviour in Cote dIvoire, Journal of African Economies 14(2): 247269.
McGILLIVRAY, M. & AHMED, A. (1999) Aid, adjustment and the public sector in the
Philippines, Journal of the Asia-Pacific Economy 4(2), 381391.
McGILLIVRAY, M. & MORRISSEY, O. (2000) Aid Fungibility in Assessing Aid: Red Herring
or True Concern?, Journal of International Development 12, 413-428.
McGILLIVRAY, M. & MORRISSEY, O. (2000) Aid Illusion and Public Sector Fiscal
Behaviour, Credit Research Paper 00/9. Centre for Research in Economic Development
and International Trade. University of Nottingham.
McGILLIVRAY, M. & WHITE, H. (1992) Measurement Development? A Statistical Critique
of the UNDPs Human Development Index, International Social Studies Working Paper
Series 135. The Hague.
McGILLIVRAY, M. & WHITE, H. (1993) Explanatory Studies of Aid Allocation among
Developing Countries: a Critical Survey, International Social Studies Working Paper 148,
The Hague.
McGILLIVRAY, M. (2003) Aid Effectiveness and Selectivity Integrating Multiple Objectives
into Aid Allocations, WIDER Discussion Paper 2003/71.
McGILLIVRAY, M. (2003) Descriptive and Prescriptive Analyses of Aid Allocation, WIDER
Discussion Paper 2003/21.
McGILLIVRAY, M. (2005) Is Aid Effective?, UNU/WIDER, Helsinki.
McGILLIVRAY, M.; S. FEENY ; N. HERMES & R. LENSINK (2005) It Works; It Doesnt;
It Can, But That Depends 50 Years of Controversy over the Macroeconomic Impact of
Development Aid, WIDER Research Paper 2005/54.
McGILLYVRAY, M. & MORRISSEY, O. (2001) A Review of Evidence on the Fiscal Effects
of Aid, Credit Research Paper 01/13. Centre for Research in Economic Development and
International Trade. University of Nottingham.

34

REFERENCIAS BIBLIOGRFICAS

MICHAELOWA, K. & BORRMANN, A. (2006) Evaluation Bias and Incentive Structures in


Bi- and Multi-Lateral Aid Agencies, Review of Development Economics 10 (2), 313-329.
MISEREOR y AGKED (1991) La Evaluacin en la Cooperacin de las Iglesias para el
Desarrollo. Un documento de trabajo para las Organizaciones de Promocin del Desarrollo y
para las Instituciones de Cooperacin. Obra episcopal de cooperacin al desarrollo
(MISEREOR) y Asociacin de Servicios de la Iglesia para el Desarrollo (AGKED)
alemanas. Sin lugar de edicin.
MISHRA, P. & NEWHOUSE, D. (2007) Health Aid and Infant Mortality, IMF Working Paper
07/100.
MONSERRAT, J. (1984) Epistemologa evolutiva y teora de la ciencia. Universidad Pontificia
Comillas. Madrid.
MORDUCH, J. (1998) Does Microfinance Really Help the Poor? New Evidence from Flagship
Programs in Bangladesh., The World Bank.
MORENO-DODSON, B. (ed.) (2005) Reducing Poverty on a Global Scale. Learning and
Innovating for Development. Findings from the Shanghai Global Learning Initiative. The
World Bank. Washington.
MORRIS, L.L. (1987a) How to Measure Performance and Use Tests. Sage. Newbury Park.
MORRIS, L.L. (1987b) How to Communicate Evaluation Findings. Sage. Newbury Park.
MORRISSEY, O. (2001) Pro-Poor Conditionality for Aid and Debt Relief in East Africa, Credit
Research Paper 01/15. Centre for Research in Economic Development and International
Trade. University of Nottingham.
MORRISSEY, O. (2002) Aid Effectiveness for Growth and Development, ODI Opinions 2.
MOSLEY, P (1985) The Political Economy of Foreign Aid: A Model of the Market for a Public
Good, Economic Development and Cultural Change 33, 373-393.
MOSLEY, P (1986) Aid-Effectiveness: The Micro-Macro Paradox, IDS Bulletin, April 17,
pp.22-35. University of Sussex.
MOSLEY, P. & EECKHOUT, M. (2000) From Project Aid to Programme Assistance, in
TARP, F. (ed.) Foreign Aid and development. Lessons learnt and directions for the future.
Routledge. London. Chapter 5. pp.131-153.
MOSLEY, P. & NOORBAKHSH, F. & PALONI, A. (2003) Compliance with World Bank
Conditionality: Implications for the selectivity Approach to Policy-Based Lending and the
Design of Conditionality, WIDER Conference on Sharing Global Prosperity. Helsinki, 6-7
September.
MOSLEY, P. (1980) Aid, Savings and Growth Revisited, Oxford Bulletin of Economics and
Statistics 42, 79-95.
MOSLEY, P. (1987) Overseas Aid: Its Defence and Reform. Wheatsheaf. Brighton.
MOSLEY, P. (1999) Una gua sencilla de evaluacin de impacto para economistas de
desarrollo, ALONSO, J.A. y MOSLEY, P. (eds.) La eficacia de la cooperacin
internacional al desarrollo: evaluacin de la ayuda. Civitas. Madrid. 25-68.

REFERENCIAS BIBLIOGRFICAS

35

MOSLEY, P. (2003) Ayuda, Reduccin de la Pobreza y Nueva Condicionalidad, en


ALONSO, J.A. & FITZGERALD, V. (eds) Financiacin del Desarrollo y Coherencia en las
Polticas de los Donantes, La Catarata. Madrid. pp.131-152.
MOSLEY, P. y HUDSON, J. (1999) Ha mejorado la eficacia de la ayuda?. Informacin
Comercial Espaola 778, 13-30.
MOSLEY, P. y HUDSON, J. (2001) Aid, policies and growth: in search of the Holy Grail,
Journal of International Development 1, 10231038.
MOSLEY, P.; HUDSON, J. y GOMANEE, K. (2001) Aid, Poverty Reduction and the New
Conditionality, ESRC DESG ANNUAL CONFERENCE 2002. University of Sheffield.
http://www.shef.ac.uk/uni/projects/desg/cinfo/cpapers/mosley.pdf
[sintetizado en
MOSLEY, P. (2003) Ayuda, reduccin de la pobreza y Nueva Condicionalidad en
ALONSO, J.A. y FITZGERALD, V. (eds.) Financiacin del Desarrollo y coherencia en las
polticas de los donantes. La Catarata. Madrid. pgs. 131-152.]
MOSLEY, P.;HUDSON, J. y HORRELL, S. (1987) Aid, the Public Sector and the Market in
Less Developed Countries, The Economic Journal 97 (sep.) 616-641.
MOSLEY, P.;HUDSON, J. y HORRELL, S. (1992) Aid, the Public Sector and the Market in
Less Developed Countries: A Return to the Scene of the Crime, Journal of International
Development 4 (2), 139-150.
MOSS, T. & SUBRAMANIAN, A. (2005) After the Big Push? Fiscal and Institutional
Implications of Large Aid Increases, CGD Working Paper 71.
MOSS, T.; D. ROODMAN & S. STANDLEY (2005) The Global War on Terror and U.S.
Development Assistance: USAID allocation by country, 1998-2005, CGD Working Paper
62.
MOSS, T.; G. PETTERSSON & N. VAN DE WALLE (2006) An Aid-Institutions Paradox? A
Review Essay on Aid Dependency and State Building in Sub-Saharan Africa, CGD
Working Paper 74.
MOURMOURAS A. & MAYER, W. (2004) The Political Economy of Conditional and
Unconditional Foreign Assistance: Grants Versus Loan Rollovers, IMF Working Paper
04/38.
MOURMOURAS A. & RANGAZAS, P. (2006) Foreign Aid Policy and Sources of Poverty: A
Quantitative Framework, IMF Working Paper 06/14.
MURSHED, S.M. (2001) Short-run models of natural resource endowment, in Auty R.M. (ed.).
Resource Abundance and Economic Development, Oxford University Press for UNU
WIDER: Oxford.
NAGEL, S. (2002) Handbook of Public Policy Evaluation. Sage. Thousand Oaks.
NANCY, G. & YONTCHEVA, B. (2006) Does NGO Aid Go to the Poor? Empirical Evidence
from Europe, IMF Working Paper 39.
NANTHIKESAN, S. (2003) Indicators for Development Effectiveness, Report prepared for the
Evaluation Office of UNDP.
NANTHIKESAN, S. (2003) Indicators for Development Effectiveness. Prepared for the
Evaluation Office of UNDP. http://www.undp.org/eo/documents/DER/DE-Indicators.pdf

36

REFERENCIAS BIBLIOGRFICAS

NARAYAN, D. (2000) La Voz de los Pobres. Hay alguien que nos escuche? Banco Mundial y
Mundi-Prensa. Madrid.
NARAYAN, D. et al. (2002) La Voz de los Pobres. Clamando por el Cambio. Banco Mundial y
Mundi-Prensa. Madrid.
NARAYAN, D. y PETESCH, P. (eds.) (2002) La Voz de los Pobres. Desde muchas Tierras.
Banco Mundial y Mundi-Prensa. Madrid.
NKUSU, M. & SAYEK, S. (2004) Local Financial Development and the Aid-Growth
Relationship, IMF Working Paper 04/238.
NKUSU, M. (2004) Are There Negative Returns to Aid? A Comment, IMF Working Paper
04/212. parece que no
NKUSU, M. (2004b) Aid and the Dutch Disease in Low-Income Countries: Informed Diagnoses
for Prudent Prognoses, IMF Working Paper 04/49.
NKUSU, M. (2004c) Financing Ugandas Poverty Reduction Strategy: Is Aid Causing More Pain
Than Gain?, FMI Working Paper 04/170. la Aid no ha causado Dutch Disease
NORAD (1997) Evaluacin de proyectos de ayuda al desarrollo. Manual para evaluadores y
gestores. IUDC-UCM. Madrid.
NOVALES, A. (1997) Econometra. McGraw-Hill.
NSANG, J.A. (1999) Seguimiento y control de proyectos de cooperacin internacional al
desarrollo. Una aproximacin a los mecanismos de la AECI. Revista Espaola de
Desarrollo y Cooperacin 4, 165-177.
NUNNENKAMP, P. (2002) Shooting the Messenger of Good News: A Critical Look at the
World Banks Success Story of Effective Aid, Kiel Institute for World economics, Working
Paper 113. www.uni-kiel.de/ifw/pub/kap/2002/kap1103.htm
NUNNENKAP, P. (2001) Too Much, Too Little, or Too Volatile? International Capital Flows to
Developing Countries in the 1990s, Kiel Working Paper 1036.
NURKSE, R. (1953) Problems of Capital Formation in Underdeveloped Countries. B.Blackwell.
Oxford.
OCONNELL, S. y SOLUDO, C. (2001) Aid Intensity in Africa, World Development 29 (9),
1527-1552.
OAKLEY, P. (ed.) (2001) THE MONITORING AND EVALUATION OF EMPOWERMENT:
Reviewing the Concept and Practice. INTRAC Publications. Oxford.
OCDE (1989) Sustainability in Development Programmes: A Compendium of Evaluation
Experience. Selected Issues in Aid Evaluation. N 1. OCDE, Pars.
OCDE (2000) Directrices del CAD sobre la reduccin de la pobreza. Ministerio de Asuntos
Exteriores y AECI. Madrid.
ODEDOKUM, M. (2003) Economics and Politics of Official Loans versus Grants, WIDER
Discussion Paper 2003/04.

REFERENCIAS BIBLIOGRFICAS

37

ODEDOKUM, M. (2004) multilateral and Bilateral Loans versus Grants: Issues and Evidence,
World Economy 27, 239-263.
OECD-DAC (----) International Development Statistics (IDS) online. Databases on aid and other
resource flows. www.oecd.org/dac/stats/idsonline
OECD-DAC (2006) Statistical Reporting Directives. DCD/DAC/STAT(2006)11/REV1. OECD.
Paris.
OECD-DAC (2006b) Is it ODA? Factsheet-October 2006.
OECD-DAC (2007) Final ODA Flows in 2006, DCD/DAC/RD(2007)15/RD2. 10 December.
OECD-DAC (2008) Debt Relief is down: Other ODA rises slightly. 04/04/2008.
OECD-DAC (2008b) Accra Agenda for Action. 3rd High Level Forum on Aid Effectiveness,
September 2-4.
OECD-DAC (2008c) Scaling Up: Aid Fragmentation, Aid Allocation and Aid Predictability.
Report of 2008 Survey of Aid Allocation Policies and Indicative Forward Spending Plans.
OECD. Paris.
OLSEN, G. R. (2001) European Public Opinion and Aid to Africa: Is There a Link?, Journal of
Modern African Studies 39 (4), 645-674 .
OPE (2000) Programa de subvenciones y ayudas a ONGD en Hait, Repblica Dominicana y
Filipinas. Informes de evaluacin 8/2000. MAE-SECIPI. Madrid.
OUATTARA, B. & STROBL, E. (2004) Disaggregating the aid and growth relationship,
Discussion Paper No. 0414. School of Economic Studies, University of Manchester:
Manchester.
OVASKA, T. (2003) The Failure of Development Aid, Cato Journal 23(2), 175-188. AID
prejudicial para crec. Interactivo con ndice de libertad ec. Mundial.
PACK, H Y J. PACK (1993) "Foreign Aid and the Question of Fungibility", Review of Economics
and Statistics, 75, 258-266.
PADAKI, V. (ed.) (1995) Development Intervention and Programme Evaluation. Sage. New
Delhi.
PALUMBO, D. J. (ed.) (1987) The Politics of Program Evaluation. Sage. Beverly Hills.
PALLAGE, S. & ROBE, M. (2001) Foreign Aid and the Business Cycle, Review of
International Economics 9 (4), 641-672. Volatilidad.
PALLAGE, S. & ROBE, M. (2001) Foreign Aid and the Business Cycle, Review of
International Economics 9 (4), 641-672.
PAMPILLN, R. (1991) El dficit tecnolgico espaol. Instituto de Estudios Econmicos.
Madrid.
PAPANEK, G. (1972) The Effect of Aid and Other Resource Transfers on Savings and Growth
in Less Developed Countries, The Economic Journal 82 (sep.) 934-950.

38

REFERENCIAS BIBLIOGRFICAS

PAPANEK, G. (1973) Aid, Foreign Private Investment, Savings, and Growth in Less Developed
Countries, The Journal of Political Economy 81, 120-130.
PATILLO, C.; J. POLAR & J. ROY (2007) Measuring the Effect of Foreign Aid on Growth
and Poverty Reduction or The Pitfalls of Interaction Variables, IMF Working Paper 07/145.
PATRICK, S. (2006) U.S. Foreign Aid Reform: Will it Fix What is Broken?, Center for Global
Development Essay, September.
PATTON, M.Q. (1978) Utilization-Focused Evaluation. Sage. Beverly Hills.
PATTON, M.Q. (1982) Practical Evaluation. Sage. Newbury Park.
PATTON, M.Q. (1987a) Creative Evaluation. Sage. Newbury Park.
PATTON, M.Q. (1987b) How to Use Qualitative Methods in Evaluation. Sage. Newbury Park.
PATTON, M.Q. (1990) (or.1980) Qualitative Evaluation and Research Methods. Sage. Newbury
Park.
PATTON, M.Q. (19973) Utilization-Focused Evaluation. The New Century Text. Sage. Thousand
Oaks.
PEDERSEN, K.R.(1996) "Aid, Investment and Incentives", Scandinavian Journal of Economics,
98 (3), 423-437.
PEA, D. (1994) Estadstica. Modelos y mtodos. 2. Modelos lineales y series temporales. Alianza
Universidad. Madrid.
PICCIOTO, R. (2002) The Logic of Mainstreaming, Evaluation 8 (3), 322-339.
PICCIOTO, R. (2005) The Evaluation of Policy Coherence for Development, Evaluation 11
(3), 311-330.
PICHARDO, A. (1997) Evaluacin del impacto social. El valor de lo humano ante la crisis y el
ajuste. Limen Humanitas. Buenos Aires.
PINTO, J.L. (1998) El uso del anlisis coste-efectividad en el establecimiento de prioridades
sanitarias. Valores sociales incluidos y excluidos. Papeles de Economa Espaola 76, 148158.
PIPA (2001) Americans on Foreign Aid and World Hunger; A Study of US Public Attitudes.
Program on International Policy Attitudes. Washington.
PNUD (1999) Informe sobre el Desarrollo Humano 1999. Mundi-Prensa. Madrid.
PNUD (2000) Development Effectiveness. Review of evaluate evidence. UNDP. New York.
PNUD (2001) Development Effectiveness. Review of evaluate evidence. UNDP. New York.
PNUD (2001) Development Effectiveness. Review of evaluate evidence. UNDP. New York.
PNUD (2001) Managing for Results: Monitoring and Evaluation in UNDP. A Rsults-Oriented
Framework. UNDP Evaluation Office. Washington.

REFERENCIAS BIBLIOGRFICAS

39

PNUD (2002) Manual de vigilancia y evaluacin de resultados. Oficina de evaluacin del PNUD.
http://stone.undp.org/undpweb/eo/evalnet/docstore3/yellowbook/spanish/index.htm
PNUD (2005) Informe sobre el Desarrollo Humano 2005. La cooperacin internacional ante una
encrucijada: Ayuda al Desarrollo, Comercio y Seguridad en un mundo desigual. MundiPrensa. Madrid.
PNUD (2006) Informe sobre el Desarrollo Humano 2006. Mundi-Prensa. Madrid.
PONS CORTS, G. (2002) El naufragio. Un anlsis de las estrategias de desarrollo econmico de
las ONGD.
POWELL, A. & BOBBA, M. (2006) Multilateral Intermediation of Foreign Aid: What is the
Trade-Off for Donor Countries?, Inter-American Development Bank Working Paper 594.
PRATI, A. & TRESSEL, T. (2006) Aid Volatility and Dutch Disease: Is There a Role for
Macroeconomic Policies?, IMF Working Paper 145.
PRATS, J. (2005) La ayuda externa en busca de calidad, Gobernanza 28, 12 de julio.
PRATS, J. (2005b) Reestructurar la ayuda externa: Ideas para un debate, Gobernanza 30, 6 de
septiembre.
PREBISCH, R. (1950) The Economic Development of Latin America and its Principal Problems,
ONU, Nueva York.
PROWSE, M. (2007) Aid Effectiveness: The Role of Qualitative Research in Impact
Evaluation, ODI Background Note, December.
PROWSE, M. (2007) Aid Effectiveness: The Role of Qualitative Research in Impact
Evaluation, ODI Background Note, December.
PUENTE, C. de la (1995) SPSS/PC+. Una gua para la investigacin. Complutense. Madrid.
PULIDO, A. (1993) Modelos economtricos. Pirmide. Madrid.
QUARTEY, P. (2003) Innovative Ways of Making Aid Effective in Ghana: Tied Aid versus
Direct Budgetary Support, WIDER Conference on Sharing Global Prosperity. Helsinki, 6-7
September.
QUIBRIA, M.Q. (2005) Rethinking Development Effectiveness, World Economics 6 (1), 101117.
RADELET, S. (2002) Challenging Foreign Aid: A Policymakers Guide to the Millennium
Challenge Account, Center fro Global development. Washington.
RADELET, S. (2004) Aid Effectiveness and the Millennium Development Goals, Center for
Global Development Working Paper 39.
RAJAN, R. & SUBRAMANIAN, A. (2005a) Aid and Growth: What Does the Cross-Country
Evidence Really Show?, IMF Working Paper 05/127. [NBER WP 11513]
RAJAN, R. & SUBRAMANIAN, A. (2005b) What Undermines Aids Impact on Growth?,
IMF Working Paper 05/126.

40

REFERENCIAS BIBLIOGRFICAS

RAJAN, R. & SUBRAMANIAN, A. (2007) Does Aid Affect Governance, American Economic
Review 97(2), 322-327.
RAJAN, R. (2005) Ayuda y crecimiento como retos econmicos. La ayuda no basta para quebrar
el ciclo de la pobreza, Finanzas y Desarrollo (diciembre), 53-55.
RAM, R. (2003) Roles of bilateral and multilateral aid in economic growth of developing
countries, Kyklos 56, 95110.
RAM, R. (2004) Recipient countrys policies and the effect of foreign aid on economic growth
in developing countries: additional evidence, Journal of International Development 16,
201211.
RAMCHARAN, R. (2002) How Does Conditional Aid (Not) Work?, IMF Working Paper
02/183.
RANAWEERA, T. (2003) Foreign Aid, Conditionality and Ghost of the Financing Gap: A
Forgotten Aspect of the Aid Debate, World Bank Policy Research Working Paper 3019.
RANIS, G. (2004) The Evolution of Development Thinking: Theory and Policy, Paper prepared
for the Annual World Bank Conference on Development Economics, Washington, D.C. May
3-4.
RANIS, G. (2007) Toward the Enhanced Effectiveness of Foreign Aid, UNU-WIDER Research
Paper 42.
RANIS, G. y STEWART, F. (2000) Strategies for Success in Human Development, QEH
Working Papers Series, 32. Oxford University.
RATHA, D. (2005) Dinero para los hogares: El movimiento de las remesas, Finanzas y
Desarrollo, diciembre, 44-45.
RAVALLION, M. & CHEN, S. (2004) Chinas (Uneven) Progress Against Poverty, World
Bank Policy Research Working Paper 3408.
RAVALLION, M. & CHEN, S. (2007) Chinas (Uneven) Progress Against Poverty, Journal of
Development Economics 82 (1), 1-42.
RAVALLION, M. (1998) Poverty Lines in Theory and Practice, Living Standard Measurement
Study Working Paper 133.
RAVALLION, M. (2001) The Mystery of the Vanishing Benefits: An Introduction to Impact
Evaluation, The World Bank Economic Review 15 (1), 115-140.
RAVALLION, M. (2004) Have We Already Met the Millennium Development Goal for
Poverty?,
Institute
for
International
Economics,
Washington,
http://www.iie.com/publications/papers/ravallion0203.pdf
RAVALLION, M. (2005) Evaluating Anti-Poverty Programs, World Bank Policy Research
Working Paper 3625.
RAVALLION, M.; S.CHEN & P. SANGRAULA (2007) New Evidence on the Urbanization of
Global Poverty, World Bank Policy Research Working Paper 4199.
RAVALLION, M.; S. CHEN & P. SANGRAULA (2008) Dollar a Day Revisited, World Bank
Policy Research Working Paper 4620

REFERENCIAS BIBLIOGRFICAS

41

RAY, D. (2002) Economa del Desarrollo. Antony-Bosch. Barcelona.


REDDY, S. & POGGE, T. (2003) How not to Count the Poor, Unpublished paper, University
of Columbia, http://www.columbia.edu/~sr793/count.pdf
REINIKKA, R. & SVENSSON, J. (2004) Local Capture: Evidence From a Central Government
Transfer Program in Uganda, Quarterly Journal of Economics 119 (2), 679-705.
REINIKKA, R. & SVENSSON, J. (2005) Fighting Corruption to Improve Schooling: Evidence
Fro a Newspaper Campaign in Uganda, Journal of the European Economic Association 3,
259-267.
RENGIFO, A. (1999) Dimensin econmica de la cooperacin internacional al desarrollo,
Informacin Comercial Econmica 778, 81-101.
RENZIO, P. de (2005) Can more aid be spent in Africa?, ODI Opinions 30.
REY, F. y URGOITI, A. (2005) La evaluacin en la accin humanitaria. Manual de gestin del
ciclo del proyecto en la accin humanitaria. Volumen 3. Obra Social Fundacin La Caixa.
Barcelona.
RIDDELL, R. (1990) Judging Success. Evaluating NGO Approaches to Alleviating Poverty in
Developing Countries. Overseas Development Institute. Working Paper 37. London.
RIDDELL, R. (1998) Evaluating NGO Development Interventions. Documento de trabajo del
Seminario: ALONSO, J.A. y MOSLEY, P. (Dtores.) "La eficacia de la cooperacin
internacional al desarrollo: evaluacin de la ayuda". UIMP. Santander. [Traducido y
publicado en ALONSO y MOSLEY (1999) pp.239-265].
RIDDELL, R. (2007) Does Foreign Aid Really Work?, Oxford University Press. Oxford.
RIDDELL, R. et al. (1995) Promoting Development by Proxy. An Evaluation of the Development
Impact of Government Support to Swedish NGOs. SIDA Evaluation Report. SIDA.
Estocolmo.
RIDDELL, R. y ROBINSON, M. (1992) The Impact of NGO Poverty Alleviation Projects:
Results of the Case Study Evaluation. Overseas Development Institute. Working Paper 68.
London.
RIDDELL, R. y ROBINSON, M. (1995) Non-Governmental Organizations and Rural Poverty
Alleviation. Clarendon Press. Oxford.
ROBB, C. (2003) Poverty and Social Impact Analysis. Linking Macroeconomic Policies to
Poverty Outcomes: Summary of Early Experiences, IMF Working Paper 03/43.
ROCHA, A. & ROGERSON, A. (2006) Which Way the Future of Aid? Southern Civil Society
Perspectives on Current Debates on Reform to the International Aid System, ODI Working
Paper 259.
ROCHE, C. (2004) Evaluacin de impacto para agencias de desarrollo. Cuadernos de
Cooperacin de Intermn-Oxfam. Barcelona.
RODRGUEZ GIL, A. (2002) El dilema de las ONGD: o solidaridad o lgica comercial, en
NIETO, L. (coord) La tica de las ONGD y la lgica mercantil. Icaria. Barcelona. Cap. 1,
pp.11-27.

42

REFERENCIAS BIBLIOGRFICAS

RODRGUEZ SIZ, L. y SOTELO, J. (1999) Educacin y poltica econmica, FERNNDEZ


DAZ, A. (Dtor.) Fundamentos y papel actual de la poltica econmica. Pirmide. Madrid.
367-383.
RODRGUEZ, F. y RODRIK, D. (1999) Trade policy and economic growth: a skeptics guide to
the cross-national evidence. NBER Working Paper N 7081. Cambridge, MA.
RODRGUEZ-ARIZA, C. y PEREIRA, D. (2002) Revision of the Published International Cooperation Evaluations by the Evaluation and Planning Office (Oficina de Planificacin y
Evaluacin (OPE) of the International Co-operation State Secretary (SECIPI) of the Spanish
Foreign Affairs Ministry, Paper presented at the The 2002 EES Conference: Three
Movements in Contemporary Evaluation: Learning, Theory and Evidence. Sevilla.
RODRGUEZ-CARMONA, A. (1999) El problema de la evaluacin en las ONG. Los enfoques
alternativos de sistematizacin: un caso prctico en Bolivia. Revista Espaola de
Desarrollo y Cooperacin 4. 83-101.
RODRGUEZ-CARMONA, A. (2002a) La cooperacin en zonas rurales: Por qu fracasan los
proyectos de desarrollo? en RAMREZ DE HARO, G. Et al. (coords.) Desarrollo y
cooperacin en zonas rurales de Amrica Latina y frica. La Catarata. Cap.XI. Pgs 219239.
RODRGUEZ-CARMONA, A. (2002b) Las restricciones derivadas del actual sistema de
cooperacin internacional en RAMREZ DE HARO, G. Et al. (coords.) Desarrollo y
cooperacin en zonas rurales de Amrica Latina y frica. La Catarata. Cap.XIII. Pgs 257278.
RODRGUEZ-CARMONA, A. (2002c) Los problemas de aprendizaje de las ONG de
Desarrollo: Por qu no aprenden de sus errores?, en RAMREZ DE HARO, G. Et al.
(coords.) Desarrollo y cooperacin en zonas rurales de Amrica Latina y frica. La
Catarata. Cap.XV. Pgs 299-318.
RODRGUEZ-CARMONA, A. (2004) Los problemas estructurales de la cooperacin espaola
para luchar contra la pobreza: el caso de Bolivia, Revista Espaola de Desarrollo y
Cooperacin 13, 113-134.
RODRIK, D. (2007) One Economics, Many Recipes: Globalization, Institutions, and Economic
Growth. Princeton Univ. Press. Princeton, NJ.
ROGERSON, A. (2004) The International Aid System 2005-2015: Forces For and Against
Change, ODI Working Paper 235.
ROGERSON, A. (2005) Southern Voices for Change in the International Aid System, ODI
Workshop 14-16 November. Scoping paper.
ROLAND-HOLST, D. y TARP, F. (2004) "New Perspectives on Aid Effectiveness" in
Tungodden et al. (eds.) Toward Pro-Poor Policies. Aid, Institutions, and Globalization.
World Bank and Oxford University Press. Washington. Pags. 43-62. [(2002)ABCDE World
Bank Conference. Oslo, June 24-26.]
ROODMAN, D. & STANLEY, S. (2006) Tax Policies to Promote Private Charitable Giving in
DAC Countries, CGD Working Paper 82.
ROODMAN, D. (2004) The Anarchy of Numbers: Aid, Development, and Cross-country
Empirics, Center for Global Development Working Paper 32.

REFERENCIAS BIBLIOGRFICAS

43

ROODMAN, D. (2005) "An Index of Donor Performance," Center for Global Development
Working Paper 67. base de datos AOD 1960-2006.
ROODMAN, D. (2006) Aid Project Proliferation and Absorptive Capacity, Center for Global
Development Working Paper 75.
ROODMAN, D. (2007) Macro Aid Effectiveness Research: A Guide for the Perplexed, Center
for Global Development Working Paper 134.
ROODMAN, D. (2007) The Anarchy of Numbers: Aid, Development, and Cross-country
Empirics, World Bank Economic Review 21 (2), 255-277.
ROODMAN, D. (2008) Through the Looking Glass, and What OLS Found There: On Growth,
Foreign Aid, and reverse Causality, Center for Global Development Working Paper 137.
ROSENSTEIN-RODAN, P. (1961) International aid for underdeveloped countries, Review of
Economics and Statistics, 43(2), 107-38.
ROSSI, P.H. y FREEMAN, H.E. (1989) Evaluation. A Systematic Approach. Sage. Newbury
Park.
ROUND, J. y ODEDOKUM, M. (2003) Aid Effort and its Determinants, WIDER Discussion
Paper 2003/03.
RUBIN, F. (1995) A Basic Guide to Evaluation for Development Workers. Oxfam. London.
RUBIO, G.; PRENNUSHI, G. y SUBBARAO, K. (2000) Seguimiento y evaluacin. Lneas
generales y notas tcnicas. Estrategias de reduccin de pobreza. Libro de consulta. Banco
Mundial. Washington.
RUHASHYANKIKO, J-F. (2005) Why Do Some Countries Manage to Extract Growth from
Foreign Aid?, IMF Working Paper 05/53.
RUZ-MAYA, L. Et al. (1995) Anlisis estadstico de encuestas: datos cualitativos. AC. Madrid.
SACHS, J. (2005) El fin de la pobreza.Cmo lograrlo en nuestro tiempo. Debate. Barcelona.
SAGASTI, F. et al. (1999) Equidad, Integracin Social y Desarrollo. Universidad del Pacfico.
Lima
SALA-i-MARTN, X. (1994) Apuntes de crecimiento econmico. Antoni Bosch Editor.
Barcelona.
SALA-I-MARTIN, X. (2002a) The World Distribution of Income (estimated from Individual
Country Distributions), NBER Working Paper8933.
SALA-I-MARTIN, X. (2002b) The Disturbing Rise of Global Income Inequality, NBER
Working Paper 8904.
SALA-I-MARTIN, X. (2006) The World Distribution of Income: Falling Poverty and
Convergence, Period, The Quarterly Journal of Economics 121 (2), 351-397.
SALAS, J. (2002) Introduccin a la prctica de la evaluacin de proyectos de cooperacin,
Cuadernos Bakeaz 52.

44

REFERENCIAS BIBLIOGRFICAS

SALMEN, L. (1987) Listen to the People: Participant Observer Evaluation of Development


Projects. Oxford University Press. New York.
SALMEN, L. (1995) Participatory Poverty Assessment. Incorporating Poor Peoples Perspectives
into Poverty Assessment Work, Environment Department Papers N 24. The World Bank.
SALMEN, L. (1995) Participatory Poverty Assessment. Incorporating Poor Peoples Perspectives
into Poverty Assessment Work, Environment Department Papers N 24. The World Bank.
SALMEN, L. (1998) Toward a Listening Bank: A Review of Best Practices and the Efficacy of
Beneficiary Assessment, Social Development Papers N 23. The World Bank.
SALMEN, L. (1998) Toward a Listening Bank: A Review of Best Practices and the Efficacy of
Beneficiary Assessment, Social Development Papers N 23. The World Bank.
SANAHUJA, J.A. (1999) Ayuda econmica y seguridad ncional: la ayuda externa de Estados
Unidos, del Plan Marshall a la posguerra fra, Entinema. Serie Con-Textos de CC.Socialers
n4. Facultad de CC. Polticas y Sociologa. Universidad Complutense de Madrid. Madrid.
SANAHUJA, J.A. (2000) La ayuda humanitaria y de emergencia espaola, en INTERMN, La
realidad de la ayuda 2000-2001. Intermn, Barcelona. pp. 83-126.
SANAHUJA, J.A. (2001) Del inters nacional a la ciudadana global: La cooperacin al
desarrollo y las transformaciones de la sociedad internacional, en GMEZ GALN, M. y
SANAHUJA, J.A. (coords.) (2001) La cooperacin al desarrollo en un mundo en cambio.
Perspectivas sobre nuevos mbitos de intervencin. CIDEAL. Madrid. 51-127.
SNCHEZ GONZLEZ, C. (1999) Mtodos economtricos. Ariel. Barcelona.
SANDHU-ROJON, R. (2003) Selecting Indicators for Impact Evaluation, Contribution to DACOECD Working Party, Partners in Development Evaluation: Learning and Accountability.
Paris, 25-26 march 2003. http://www.minefi.gouv.fr/TRESOR/cicid/atelier/contrib/29.pdf
SANZ CORELLA, B. (1999) Las ONGs en los conflictos internacionales: crisis de identidad y
fortaleza institucional. Working Paper N8. Instituto Internacional de Gobernabilidad.
http://www.iigov.org/pnud/bibliote/paper/paper8
SANZ CORELLA, B. (1999) Las ONGs en los conflictos internacionales: crisis de identidad y
fortaleza institucional. Working Paper N8. Instituto Internacional de Gobernabilidad.
http://www.iigov.org/pnud/bibliote/paper/paper8/htm.
SAVEDOFF, W.; R. LEVINE & N. BIRDSALL (2005) When Will We Ever Learn?
Recommendations to Improve Social Development through Enhanced Impact Evaluation,
Consultation Draft. Sep.15. Center for Global Development Initiative, Washington.
SAVEDOFF, W.; R. LEVINE & N. BIRDSALL (2006) When Will We Ever Learn? Improving
Lives Through Impact Evaluation, Report of the Evaluation Gap Working Group. Center
for Global Development, may.
SAVEDOFF, W.; R. LEVINE (2006) Learning from Development: the Case for an International
Council to Catalyze Independent Impact Evaluations of Social Sector Interventions, CGD
Brief, may. Center for Global Development. Washington.
SCRIVEN, M. (1967) The Methodology of evaluation, TYLER, R.; GAGNE, R.; y SCRIVEN,
M. (eds.) Perspective of Curriculum Evaluation. Rand McNally. Chicago.

REFERENCIAS BIBLIOGRFICAS

45

SCRIVEN, M. (1973) Goal-Free Evaluation, HOUSE, E.R. (ed.) School Evaluation. The politics
and process. McCutchan. Berkeley.
SCRIVEN, M. (1987) New Frontiers of Evaluation, CORDRAY, D. y LIPSEY, M. (eds.)
Evaluation Studies. Review Annual. Vol.11.(1986). Sage. Newbury Park. 93-130.
SCRIVEN, M. (1988) Evaluation ideologies, MADAUS, G.F. et al.(eds.) Evaluation Models.
Viewpoints on Educational and Human Services Evaluation. Kluwer-Nijhoff Publishers.
Boston. 229-260.
SCRIVEN, M. (19914) Evaluation Thesaurus. Sage. Thousand Oaks.
SCWEINBERGER, A. & LAHIRI, S. (2006) On the provision of official and private foreign
aid, Journal of Development Economics 80, 179-197.
SEN, A.K. (1981) Poverty and Famines. An Essay on Entitlement and Deprivation, Oxford Univ.
Press, Oxford.
SEN, A.K. (1989) Development as Capability Expansion, Journal of Development Planning 19,
41-58.
SEN, A.K. (2000) Desarrollo y libertad. Planeta. Barcelona.
SHABAN, R. (1987) Testing between Competing Models of Sharecropping, Journal of Political
Economy 95(5), 893-920.
SHADISH, W.R. y REICHARDT, C.S. (1987) Evaluation Studies. Review Annual. Vol.12
(1987). Sage. Thousand Oaks.
SHAW, I y LISHMAN, J. (eds.) (1999) Evaluation and Social Work Practice. Sage. London.
SHORTELL, S.M. y RICHARDSON, W.C. (1978) Health Program Evaluation. Molby. Sant
Louis. New York.
SIERRA BRAVO, R. (1994) Tcnicas de investigacin social. Teora y ejercicios. Paraninfo.
Madrid.
SIERRA, B. (2000) Criterios para la evaluacin con perspectiva de gnero, Revista Espaola de
Desarrollo y Cooperacin 6, 95-112.
SIMON, D. (2003) Developed Countries, the Three Drivers, and Instruments to Promote
Development, Report for the UNDP Evaluations Office.
SIMON, D. (2003) Developed Countries, the Three Drivers, and Instruments to Promote
Development. For the United Nations Development Program Evaluations Office, as a
Background
Paper
for
the
Development
Effectiveness
Report
2002.
http://www.undp.org/eo/documents/DER/Background%20Paper_Development_Friendliness
_Donor%20Side.doc
SINGER, H.W. (1950) The distribution of Gains Between Investing and Borrowing Countries,
American Economic Review 40, 473-485.
SINGH, R. (1985) State Intervention, Foreign Economic Aid, Savings and Growth in LDCs:
Some Recent Evidence, Kyklos 38 (2), 216-232.

46

REFERENCIAS BIBLIOGRFICAS

SMILLIE, I. (1999) At Sea in a Sieve? Trends and Issues in the Relationship Between Northern
NGOs and Northern Governments, SMILLIE, I. y HELMICH, E. (eds.) Stakeholders.
Government-NGO Partnership for International Development. OEDC. Earthscan
Publications. London. Cap. 2. 7-35.
SMILLIE, I. y HELMICH, E. (eds.) (1999) Stakeholders. Government-NGO Partnership for
International Development. OEDC. Earthscan Publications. London.
SOGGE, D. (2004) Dar y Tomar. Qu sucede con la ayuda internacional? Icaria-Antrazyt.
Barcelona.
SOLOW, R. (1956) A contribution to the theory of economic growth, Quarterly Journal of
Economics, 70, feb.
STAKE, R. (1967) The Countenance of Educational Evaluations, Teachers College Record 68,
523-540.
STAKE, R. (1975a) Evaluating the arts in education: A responsive approach. Merril. Columbus.
STAKE, R. (1975b) Program evaluation: Particularly responsive evaluation. Occasional Paper
n5. Western Michigan University. Tambin recogido en MADAUS, G.F. et al. (1988a)
Evaluation Models. Kluwer-Nijhoff Publishers. Boston. 287-312.
STAKE, R. (1976) A theoretical statement of responsive evaluation Studies in Educational
Evaluation 2, 19-22.
STECHER, B. y DAVIS, W.A. (1987) How to Focus an Evaluation. Sage. Newbury Park.
STERN, M. (1998) Development Aid: What the Public Thinks. Working Paper 4. Office of
development Studies. UNDP/ODS. New York.
STERN, N. (2001) A Strategy for Development, ABCDE Keynote Address, Washington, World
Bank.
STEWART, S. et al. (1995) Participatory Rural Appraisal: Abstracts of Sources: An Annotated
Bibliography. IDS Development Bibliography 11. London.
STIGLITZ, J. (1998) Towards a New Paradigm for Development: Strategies, Policies, and
Processes., Prebisch Lecture at UNCTAD, Geneva, 19-Oct.-1998.
STOCK, I. (2002) Learning from Evaluation: A Case Study of Spanish Non Governmental
Organisations, Thesis submitted to the University of Nottingham, School of Sociology and
Social Policy fro the Master Degree by Research and Thesis in Evaluation Research,
September.
STOCK, I. (2005) Aprendizaje a travs de evaluaciones en las ONGD espaolas: Una utopa?,
Revista Espaola de Desarrollo y Cooperacin 16, 189-207.
STOREY, A. (1997) Non neutral humanitarism: NGOs and the Rwanda crisis, Development in
Pactice 7 (4), 384-394.
STOREY, A. (1997) Non-neutral humanitarianism: NGOs and the Rwanda crisis, Development
in Practice vol.7, n.4 (nov.) 384-394.
STUFFLEBEAM, D.L. y SHINKFIELD, A.J. (1993) Evaluacin sistemtica. Gua terica y
prctica. Temas de educacin Paids./M.E.C. Barcelona.

REFERENCIAS BIBLIOGRFICAS

47

SUBRAMANIAN, S. (2007) International Aid in Light of Global Poverty and Inequality. Some
Unsubtle Propositions, UNU-WIDER Research Paper 2007/31.
SUMNER, A. (2007) Meaning versus Measurement: Why Do Economic Indicators of Poverty
Still Predominate?, Development in Practice 17 (1), 4-13.
SVENSSON, J. (1999) Aid, Growth and Democracy, Economics and Politics 11(3), 275-297.
SVENSSON, J. (2000a) Foreign Aid and Rent-Seeking, Journal of International Economics 51,
437-461.
SVENSSON, J. (2000b) "When is Foreign Aid Policy Credible? Aid Dependence and
Conditionality", Journal of Development Economics 61, 61-84.
SVENSSON, J. (2003) Why Conditional Aid Does Not Work and What Can Be Done About It?,
Journal Of Development Economics 70, 381-402.
SWAROOP, V.; JHA, S, & RAJKUMAR, A. (2000) Fiscal effects of foreign aid in a federal
system of governance: the case of India, Journal of Public Economics 77, 307330.
SZKELY, M.; N. LUSTING; M. CUMPA & J.A. MEJA (2000) Do We Know How Much
Poverty There Is?, Inter-American Development Bank Working Paper 437.
TARP, F. (ed.) (2000) Foreign Aid and development. Lessons learnt and directions for the future.
Routledge. London.
TAVARES, J. (2003) Does Foreign Aid Corrupt?, Economic Letters 79, 99-106.
TELFORD, J. & COSGRAVE, J. (2006) Joint Evaluation of the International response to the
Indian Ocean Tsunami: Synthesis Report, Tsunami Evaluation Coalition, London.
TEZANOS, S. (2006) Es progresiva la distribucin geogrfica de la ayuda espaola?, Coleccin
Escuela Diplomtica 10, 131-166.
THE ECONOMIST (1998) Making Aid Work, Nov. 14th.
THE ECONOMIST (1999) How to Make Aid Work, June 14th.
THE JOINT COMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION (1981)
(19942) Standards for Evaluations of Educational Programs, Projects, and Materials.
McGraw-Hill. New York. [De la primera edicin, hay traduccin castellana de 1988, en la
editorial Trillas, Mxico].
THOMPSON, M. y FORTESS, E. (1980) Cost-effectiveness analysis in health program
evaluation, Evaluation Review vol.4. Sage. Beverly Hills.
THORBECKE, E. (2000) The Evolution of The Development Doctrine in F. TARP (ed.)
Foreign Aid and Development. Lessons learnt and directions for the future. Routledge.
London. Chapter 1, pp. 1-47.
THORBECKE, E. (2004) Conceptual and Measurement Issues in Poverty Analysis, WIDER
Discussion Paper 04.
THORBECKE, E. (2005) The Evolution of The Development Doctrine, WIDER Conference
Thinking Ahead: The Future of Development Economics, Helsinki, 17-18 june.

48

REFERENCIAS BIBLIOGRFICAS

TOKARICK, S. (2006) Inmiserizing Foreign Aid: The Roles of Tariffs and Nontraded Goods,
IMF Working Paper 129.
TOOLEY, J. & DIXON, P. (2006) Los fracasos de la educacin pblica en los pases en
desarrollo y la respuesta popular, en MILES, M.; K.R. HOMES & M.A. OGRADY (eds.)
Index of economic Freedom, Chapter 2, pp.29-39. The Heritadge Foundation & Wall Street
Journal. Washington
TORROBA, I. (1992) Evaluar a travs de la observacin. Bordn 43-4, 495-507.
TORSVIK, G. (2004) Foreign Economic Aid; Should Donors Cooperate?, Journal of
Development Economics 77, 503-515.
TOUZA, I. (2007) Respuestas vlidas a Preguntas tiles: Consecuencias de un Diseo de
Evaluacin Orientado a las Necesidades de los Usuarios, Coleccin Escuela Diplomtica
12, 43-72.
TRUMBULL, W. y WALL, H. (1994) Estimating Aid-allocation Criteria with Panel Data,
Economic Journal 104, 876-882.
TSIKATA, T. (1998) Aid Effectiveness: A Survey of the Recent Empirical Literature, IMF
Papers on Policy Analysis and Assessment. PPAA/98/1.
TUNGODDEN, B.; N. STERN & I. KOLSTAD (eds). (2004) Toward Pro-Poor Policies. Aid,
Institutions, and Globalization. Annual World Bank Conference on Development
Economics, Europe, 2003. World Bank and Oxford University Press. Washington.
TYLER, R.W. (1942) General statement on evaluation, Journal of Educational Research 35,
492-501.
TYLER, R.W. (1988) A Rationale for Program Evaluation, MADAUS, G.F. et al.,(eds.)
Evaluation Models. Viewpoints on Educational and Human Services Evaluation, KluwerNijhoff Publishers. Boston. 67-78.
URIEL, E. et al. (1990) Econometra. El modelo lineal. AC. Madrid.
URIEL, E. y MUIZ, M. (1988) Estadstica econmica y empresarial. Teora y ejercicios. AC.
Madrid.
USAID (1996) Conducting a participatory evaluation. Performance Monitoring and Evaluation
TIPS N1. Washington.
VALLS, M. (1997) Tcnicas cualitativas de investigacin social. Reflexin metodolgica y
prctica profesional. Sntesis. Madrid.
VAN WIJNBERGEN, S. (1986) Macroeconomic Aspects of the Effectiveness of Foreign Aid:
on the Two-Gap Model, Home Goods Disequilibrium and Real Exchange Rate
Misalignment, Journal of International Economics 21, 123-136.
VARELA DE UGARTE, F. (2007) Los fundamentos del desarrollo y la pobreza. Qu tipo de
desarrollo se est promoviendo verdaderamente a travs de las acciones?, en VARELA DE
UGARTE, F. (dir.) La Calidad de las Intervenciones de Desarrollo. Fundamentos y
herramientas para mejorar su diseo. CIDEAL y EPTISA Int. Madrid. Cap. 6, pp.195-245.
VARELA DE UGARTE, F. (dir.) (2007) La Calidad de las Intervenciones de Desarrollo.
Fundamentos y herramientas para mejorar su diseo. CIDEAL y EPTISA Int. Madrid.

REFERENCIAS BIBLIOGRFICAS

49

VARELA DE UGARTE, F. y SANTOM, J.M. (2007) La sostenibilidad y los factores de


desarrollo, en VARELA DE UGARTE, F. (dir.) La Calidad de las Intervenciones de
Desarrollo. Fundamentos y herramientas para mejorar su diseo. CIDEAL y EPTISA Int.
Madrid. Cap. 5, pp.157-198.
VASQUEZ, E. (2000) La oferta de programas social satisface la demanda social?, en Cmo
reducir la pobreza y la inequidad en Amrica Latina? Universidad del Pacfico. Lima, 189210.
VASQUEZ, E. (2000) La oferta de programas social satisface la demanda social?, en Cmo
reducir la pobreza y la inequidad en Amrica Latina? Universidad del Pacfico. Lima, 189210.
VERSCHOOR, A. (2003), Aid and the Poverty Focus of Public Spending, mimeo, DFID
Research Programme on Risk, Labour Markets and Pro-Poor Growth (Sheffield,
Nottingham, Cambridge and OU).
VISAUTA, B. (1997) Anlisis estadstico con SPSS para WINDOWS. Estadstica bsica.
McGraw-Hill. Madrid.
VISAUTA, B. (1998) Anlisis estadstico con SPSS para WINDOWS. Estadstica multivariante.
McGraw-Hill. Madrid.
WEBSTER, A.L. (1996) Estadstica aplicada para la administracin y economa. Irwin. Madrid.
WEIL, D. (2006) Crecimiento econmico. Pearson Educacin. Madrid.
WEISS, C.H. (1972) (19982) Evaluation Research. Prentice-Hall. Englewood Cliffs, New Jersey.
[Hay traduccin castellana en Trillas, Mxico (1975 y 1992)].
WHITE, H. (1992) What Do We Know about Aids Macroeconomic Impact? An Overview of
the Aid Effectiveness Debate, Journal of International Development 4 (2), 121-137.
WHITE, H. (1992a) The Macroeconomic Impact of Development Aid: A Critical Survey., The
Journal of Development Studies 28 (2), 163-240. [Hay traduccin espaola en los materiales
del seminario UIMP La eficacia de la cooperacin internacional al desarrollo: evaluacin de
la ayuda, Santander, 27-31 de julio de 1998.]
WHITE, H. (1992b) Aid and Government: A Dynamic Model of Aid, Income and Fiscal
Behaviour, International Social Studies Working Paper 126, The Hague.
WHITE, H. (1992c) Should We Expect Aid to Increase Economic Growth? International Social
Studies Working Paper 127, The Hague.
WHITE, H. (1999) Algunas consideraciones sobre el futuro de la ayuda, ALONSO, J.A. y
MOSLEY, P. (eds.) La eficacia de la cooperacin internacional al desarrollo: evaluacin de
la ayuda. Civitas. Madrid. 125-183.
WHITE, H. (2002) Combining Quantitative and Qualitative Approaches in Poverty Analysis,
World Development 30 (3), 511-522.
WHITE, H. (2002) Long-run Trends and Recent Developments in Official Assistance from
Donor Countries, WIDER Discussion Paper 2202/106.
WHITE, H. (2005) Challenges in Evaluating Development Effectiveness, IDS Working Paper
242.

50

REFERENCIAS BIBLIOGRFICAS

WHITE, H. (2005) The Case for Doubling Aid, IDS Bulletin 36 (3), 8-13.
WHITE, H. (2007a) Evaluating Aid Impact: Approaches and Findings, in LAHIRI, S. (2007)
Theory and Practice of Foreign Aid. Elsevier. Amsterdam. Chapter 12, pp.187-209.
WHITE, H. (2007b) Evaluating Aid Impact: Approaches and Findings, in LAHIRI, S. (2007)
Theory and Practice of Foreign Aid. Elsevier. Amsterdam. Chapter 12, pp.187-209.
WHITE, H. (2007c) Evaluating Aid Impact, UNU-WIDER Research Paper 75.
WHITE, H. y LUTTIK, J. (1994) The Countrywide Effects of Aid, Policy Research Working
Paper 1337, World Bank, Washington.
WHITE, H. y McGILLIVRAY, M. (1992) Descriptive Measures of the Allocation of
Development Aid, International Social Studies Working Paper 125, The Hague.
WHITE, S.C. (2002) Despolitizando el desarrollo: los usos y abusos de la participacin, en
AA.VV. Desarrollo, ONG y Sociedad civil. Intermn-Oxfam. Barcelona. pp.158-173.
WHYTE, W.F. (ed.) (1991) Participatory Action Research. Sage. Newbury Park.
WIEGERSMA, N. y MEDLEY, J. (2000) US Development Policies Towards the Pacific Rim.
Successes and Failures of US Aid. Macmillan Press. London.
WIESNER, E. (2002) La Evaluacin de Resultados en la Modernizacin del Estado en Amrica
Latina, Revista de Economa Institucional 4 (6), 132-152.
WOLFENSOHN, J. & BOURGUIGNON, F. (2004) Development and Poverty Reduction.
Looking Back, Looking Ahead. The World Bank. Washington.
WOLFENSOHN, J. (1999) Comprehensive Development Framework. Banco Mundial. New
York.
WORLD BANK (1997) 1997 Annual Review of Development Effectiveness. Operations
Evaluation Department. World Bank. Washington.
WORLD BANK (1998) Assessing Aid. What Works, What Doesnt, and Why. Oxford University
Press. New York.
WORLD BANK (1999) 1998 Annual Review of Development Effectiveness. Operations
Evaluation Department. World Bank. Washington. [Resumen ejecutivo disponible en
castellano].
WORLD BANK (1999) 1999 Annual Review of Development Effectiveness: Toward a
Comprehensive Development Strategy. Operations Evaluation Department. World Bank.
Washington.
WORLD BANK (2000) 2000 Annual Review of Development Effectiveness: From Strategies to
Results. Operations Evaluation Department. World Bank. Washington. [Resumen ejecutivo
disponible en castellano].
WORLD BANK (2001) 2001 Annual Review of Development Effectiveness: Making Choices.
Operations Evaluation Department. World Bank. Washington.

REFERENCIAS BIBLIOGRFICAS

51

WORLD BANK (2002) TOOL KIT. Techniques and tools for evaluating the poverty impact of
economics
policies.
World
Bank.
Washington.
http://www.worldbank.org/poverty/psia/tools.htm
WORLD BANK (2002b) 2002 Annual Review of Development Effectiveness. Achieving
Development Outcomes: The Millennium Challenge. Operations Evaluation Department.
World Bank. Washington.
WORLD BANK (2003) Evaluating Development Effectiveness: Challenges and the Way
Forward.-Papers.
Operations
Evaluation
Department
Conference
2003.
http://www.worldbank.org/oed/conference2003/papers.html
WORLD BANK (2004) Influential Evaluations: Evaluations that Improved Performance and
Impacts of Development Programs. The World Bank. Washington. [hay traduccin espaola:
Evaluaciones influyentes: evaluaciones que mejoraron el desempeo y los efectos de los
programas de desarrollo. Departamento de Evaluacin de Operaciones. Banco Mundial.
Washington.]
WORLD BANK (2005) Improving the World Banks Development Effectiveness. What Does
Evaluation Show? Operations Evaluation Department. Washington.
WORLD BANK (2005b) World Development Report 2006. Equity and Development. Oxford
University Press. Washington.
WORLD BANK (2006a) Impact Evaluation and the Project Cycle, Thematic Group on Poverty
Analysis, Monitoring and Impact Evaluation, Doing Impact Evaluation Series 1. The World
Bank. Washington.
WORLD BANK (2006b) Conducting Quality Impact Evaluations under Budget, Time and Data
Constraints, Independent Evaluation Group. World Bank. Washington.
WORLD BANK (2006c) Impact Evaluation for Slum Upgrading Interventions, Thematic Group
on Poverty Analysis, Monitoring and Impact Evaluation, Doing Impact Evaluation Series 3.
The World Bank. Washington.
WORLD BANK (2006d) A Guide to Water and Sanitation Sector Impact Evaluation, Thematic
Group on Poverty Analysis, Monitoring and Impact Evaluation, Doing Impact Evaluation
Series 4. The World Bank. Washington.
WORLD BANK (2006e) Impact Evaluation: The Experience of the Independent Evaluation
Group of the World Bank. World Bank. Washington.
WORLD BANK (2008) Global Monitoring Report 2008. MDGs and the Environment Agenda for
Inclusive and Sustainable Development. World Bank. Washington.
WORLD BANK (2008b) Governance, Growth, and development Decision-making. Reflections by
Douglass North, Daron Acemoglu, Francis Fukuyama, Dani Rodrik. World Bank.
Washington.
ZALL KUSEK, J. & RIST, R. (2005) Diez Pasos Hacia un Sistema de Seguimiento y Evaluacin
Basado en Resultados. The World Bank. Washington.
ZIMMERMANN, F. (2005) The International Aid System: A Question of Perspective, OECD
Development Centre Policy Insights 12.

52

REFERENCIAS BIBLIOGRFICAS

ZINNES, C. & BOLAKY, A. (2002) Harnessing the Power of Incentives. A framework for
Increasing Aid Effectiveness by Design, Forum Series on the Role of Institutions in
Promoting Growth. USAID. IRIS Center. Washington.

S-ar putea să vă placă și