Chapitre 4

Exploiter les Meilleures Pratiques

des valuations d'impact *


Les chapitres prcdents ont prsent les mthodes cls, les questions et les dfis
qui peuvent surgir dans l'valuation d'impact d'un projet. Dans l'examen des tudes de
cas inscrites au tableau 4.1, plusieurs exemples illustratifs mergent des approches
intressantes dans la conception, l'utilisation des donnes, le choix et l'application des
mthodes analytiques et le renforcement des capacits nationales. Ces exemples, aussi
bien qu'un expos des dpenses relatives aux valuations et aux questions d'conomie
politiques qui peuvent surgir dans la mise en uvre des programmes sont mis en
vidence ci-dessous.
Les 15 tudes de cas comprises dans la revue ont t slectionnes partir d'une
gamme des valuations effectues par la Banque Mondiale, d'autres agences de
donateurs, des institutions de recherches et des socits prives de consultation. Ils ont
t slectionns comme un chantillon "de meilleure pratique pour leur rigueur
mthodologique, essayant de reflter une gamme d'exemples provenant de secteurs et
de rgions diffrents. Bien que chaque valuation d'impact ait ses forces et ses
faiblesses, les leons tires de ces expriences doivent aider le directeur de projet ou
l'analyste de politique qui se propose de concevoir et de mettre en uvre un projet
futur.

Planification soigne et faite ds le dbut de la conception d'une valuation

Une prparation adquate ds les toutes premires tapes de l'identification du
projet permettra de s'assurer que l'information juste est collecte et que les rsultats
peuvent tre exploits pour les rajustements mi-parcours des composantes du projet.
Avec une planification prcoce et soigne, il est possible d'incorporer tous les lments
qui contribuent une valuation d'impact rigoureuse comme les enqutes de base avec
un groupe tmoin alatoire et des donnes qualitatives sur les processus qui peuvent
affecter l'impact.

Projet d'Alimentation et de Dveloppement de la Petite Enfance en Ouganda.
Cette valuation, quoi que n'tant pas encore mise en uvre, fournit un excellent
exemple de la planification faite tt et soigne ( voir Banque Mondiale 1998a; Garcia,
Alderman et Rudqvist 1999). Le projet l ui-mme est centr sur le renforcement des
capacits des parents et des communauts s'occuper des enfants en leur fournissant
une connaissance des meilleures pratiques de la protection infantile et en augmentant
leurs


* Ce chapitre a t dvelopp dans les dtails dans un document dtudes de cas sur les
meilleures pratiques des valuations d'impact en annexe 1 et des revues prpares par
Gillette Hall et Julia Lane, Subbarao et autres (1999)
65
66 EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

opportunits d'accrotre leur revenu. Cette conception d'valuation est base sur la
communaut et mise en uvre par un rseau d'organisations non gouvernementales
(ONG). La composante de l'valuation qui a t intgre au cycle du projet ds le
premier jour est proche de l'idal en terme de conception d'valuation. D'abord il
produit les donnes de base et des donnes d'enqutes de suivi avec un groupe tmoin
alatoire pour que l'impact du programme sur les rsultats du bnficiaire puisse tre
rigoureusement valu. Deuximement elle augmente cette composante qualificative
par un processus participatif (qualificatif) de suivi et d'valuation (M & E). Du point
de vue quantitatif, le projet a t conu pour permettre une conception d'tude
exprimentale dans laquelle les communes seront alatoirement affectes dans le
groupe de traitement et le groupe tmoin. Les cartes de sant seront alors employes
pour enregistrer des donnes sur le poids de l'enfant dans les communes de contrle et
de traitement. De plus l'enqute de base sur les mnages sera mene avant que les
services ne soient fournis aux communauts, de mme qu'une enqute de suivi sur les
mmes mnages deux ans plus tard. Un examen rapide de ces donnes est sens
informer la dcision d'augmenter proportionnellement certaines composantes de
l'intervention pendant l'examen mi-parcours du projet. Une analyse plus approfondie
des donnes la fin du projet guidera la conception de la deuxime phase du projet.
67 EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

Tableau 4.1 Rsum des valuations d'impact de la Meilleure Pratique


Approche conomtrique
Projet Pays Types de
donnes
Unit
d'analyse
Mesures des rsultats Randomi-
sation
Harmoni-
sation
Comparaisons
rflchies
Double
diffrence
Variables
instru-
mentales
Qualita-
tive
Forces
Education
Radio
Nicaragua

Nicaragua

Enqutes de
base et de
post
intervention

Etudiants et
salles de
classe

Evaluation par score

Oui

Non

Oui

Non

Non

Non

Conception du
questionnaire
Rforme de
l'autonomie
scolaire
Nicaragua Evaluations
et enqutes
par panel
qualitatives
Etudiants,
parents,
professeurs,
directeurs
Evaluation par score,
degr de prise de
dcision locale
Non Oui Oui Non Non Oui Mx qualitative
et quantitative
Livres Kenya Enqutes de
base et de
post
intervention
Etudiants,
salles de
classe,
professeurs
Evaluation par score Oui Non Oui Oui Oui Non Analyse des
facteurs de
confusion
Abandon
scolaire
Philippines Enqutes de
base et de
post-
intervention
Etudiants,
salles de
classe,
professeurs
Evaluation par score
et tat d'abandon
scolaire
Oui Non Oui Oui Oui Non Analyse du
cot -bnfice;
renforcement
de capacit
Programmes
du travail
TRABAJAR
Argentine Enqute sur
les mnages,
recense-ment,
fichiers ad-
ministratifs,
valuations
sociales
Travailleurs,
mnages
Gain, cots cibls Non Oui Non Non Oui Oui Utilisation
Judicieuse des
sources de
donnes
existantes,
techniques
analytiques
innovatrices

(Le tableau continue sur la
page suivante)

EXPLOITER LES MEILLEURES PRATIQUES DES EVALUATIONS D'IMPACT 68

Tableau 4.1 Rsum des valuations d'impact de la Meilleure Pratique (suite)

Approche conomtrique
Projet Pays Types de
donnes
Unit
d'analyse
Mesures des rsultats Randomi-
sation
Harmoni-
sation
Comparaisons
rflchies
Double
diffrence
Variables
instru-
mentales
Qualita-
tive
Forces
PROBECAT Mexique Enqutes sur
la popu-
lation active
et les forces
de travail
rtros-
pectives
Travailleurs Gains et revenus du
travail
Non Oui Non Non Non Non Technique
d'harmoni-
sation
Programmes
actifs de
travail
Rpublique
Tchque
Enqutes sur
les fichiers
rtrospectifs
Travailleurs Gains et revenus du
travail
Non Oui Non Non Non Non Technique
d'harmonisation
Finance
Micro
Finance
Bangladesh Enqutes
post
intervention
+ fichiers
adminis -
tratifs
Mnages Consommation et
ducation
Oui Oui Non Oui Non Non Analyse de
facteurs de
confusion
Crdit
l'ducation
Ghana Enqutes de
base et de
post
intervention
Paires de
mre-enfant
Revenu, sant,
renforcement de
capacit
Oui Oui Oui Non Non Oui Utilisation
qualitative et
quantitative de
l'information

(Le tableau continue sur la page
suivante)






69 EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

Tableau 4.1 Rsum des valuations d'impact de la Meilleure Pratique (suite)

Approche conomtrique
Projet Pays Types de
donnes
Unit
d'analyse
Mesures des rsultats Randomi-
sation
Harmoni-
sation
Comparaisons
rflchies
Double
diffrence
Variables
instru-
mentales
Qualita-
tive
Forces
Sant
Financement
Niger Enqutes de
base et de
post inter-
vention plus
fichiers ad-
ministratifs
Mnage et
centre de sant
Amortissement des
cots et accs
Non Oui (dans
des
districts)
Oui Non Non Non Utilisation de
donnes
administra-tives
Alimenta-tion
et nutrition
Alimenta-tion
pour
l'ducation
Bangladesh Enqutes sur
les dpenses
des mnages
Mnages et
communauts
Assiduit scolaire Non Non Non Non Oui Non Utilisation
imaginative pour
traiter le
problme de
slection relatif
aux donnes de
base
Sant,
ducation et
nutrition
Mexique Enqutes de
base et de
post
intervention
Mnages Rsultats sur la sant,
l'ducation et la
nutrition
Oui Oui Oui Non
inconnu
Non
inconnu
Non Conceptualisation
claire; analyse
des facteurs de
confusion
Infrastruc-
ture Fonds
d'investis-
sement social
Bolivie Enqutes de
base et de
suivi
Mnages
,projets
Indicateur de sant et
d'ducation
Oui Oui Oui Oui Oui Non Gamme des
mthodologies
d'valuation
appliques

(Le tableau continue sur la page
suivante)





EXPLOITER LES EVALUATIONS DE L'IMPACT DE LA MEILLEURE PRATIQUE 68


Tableau 4.1 Rsum des valuations de l'impact de la Meilleure Pratique (suite)


Approche conomtrique
Projet Pays Types de
donnes
Unit
d'analyse
Mesures des rsultats Randomi-
sation
Harmoni-
sation
Comparaisons
rflchies
Double
diffrence
Variables
instru-
mentales
Qualita-
tive
Forces
Routes rur ales Vit-Nam Enqutes de
base et de
suivi
Mnages et
communauts
Indicateur de bien tre
aux niveaux des
mnages et des
communes
Non Oui Oui Oui Oui Oui Mesure des
rsultats de
bien tre
Agriculture
Projet national
d'extension
Kenya Donnes de
base par
panel
Mnages,
fermes,
Efficacit et
productivit de la
ferme
Non Non Oui Non Non Non Rsultats de la
pertinence
politique




Projet de crdit et d'ducation au Ghana. L'valuation de ce projet tait trs
complexe avec beaucoup d'tapes intermd iaires. Le projet combine les lments d'un
programme de prt de groupe avec l'ducation sur les lments essentiels de sant,
nutrition, planification et espacement des naissances et les capacits dorganiser une
petite entreprise. L'valuation est gnralement focalise sur le statut alimentaire des
enfants, la capacit conomique des femmes pour investir dans l'alimentation et les
soins mdicaux, la connaissance et l'adoption par les femmes de l'allaitement au sein et
du sevrage. Il commence par une structure conceptuelle trs claire qui est illustre ci-
dessous. Ce schma trace clairement les ressources, les bnficiaires intermdiaires et
les rsultats long terme de sorte qu'il facilite le dveloppement de plusieurs modles
ainsi que leur interprtation. En projetant judicieusement l'valuation et en travaillant
avec un schma une tape prcoce, il fut possible de clarifier beaucoup de points
d'une conception relativement complexe (voir l'Annexe 1.6).

Approches d'valuation en l'absence des donnes de base

En pratique beaucoup d'valuations n'ont pas de donnes adquates. Les
valuations sont ajoutes aprs qu'il tait possible de faire une enqute de base ou en
l'absence de groupes de comparaison. Quelques exemples de ce cas sont les
valuations du Programme : Vivres pour ducation au Bangladesh, le programme
PROBECAT au Mexique, les Programmes de travail actifs tchques, et les
valuations de TRABAJAR en Argentine. En l'absence de donnes de base, les
contrles doivent tre mis en place en employant les mthodes harmonises traites
dans les chapitres prcdents. Cela peut, cependant, tre tout fait difficile. La
technique du score de
(Le texte continue la page 71)
EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE 71

propension employe dans le programme TRABAJAR en Argentine pour former un
groupe tmoin ax sur des donnes croises des participants et des non participants au
programme fournit un bon exemple.

Le projet TRABAJAR II en Argentine. Ce projet tait focalis sur une offre
d'emploi bas salaires dans de petits micro-projets d'infrastructure sociale et
conomique choisie par les communauts. L'valuation de l'impact du programme a
t conue pour dterminer si les revenus des participants au programme taient plus
levs qu'ils ne l'auraient t si le programme n'avait pas t mis en place. Les
mthodes les plus gnralement employes pour valuer le revenu des mnages sans
intervention du projet n'taient pas praticables dans le cas du programme TRABAJAR
: aucune slection alatoire n'avait t employe pour former un groupe tmoin
utiliser dans la comparaison des revenus des bnficiaires du projet; et aucune enqute
sur les donnes de base n'tait disponible, excluant la possibilit de conduire une
valuation "avant et aprs".
L'valuation du programme TRABAJAR par contre a exploit des donnes
existantes pour former un groupe de comparaison par l'harmonisation des participants
et des non participants de la population nationale au programme sur un jeu de variables
socio-conomiques comme la scolarisation, le genre, le logement, les perceptions
subjectives du bien-tre et l'appartenance aux partis politiques et associations de
voisinage, en employant une technique appele score de propension. L'tude dmontre
une utilisation ingnieuse des donnes existantes sur les mnages. - (Encuesta de
Desarrollo Social (EDS) - dans la formation du groupe de comparaison associe une
enqute plus petite sur les participants au programme TRABAJAR mene
spcifiquement pour les besoins de l'valuation. L'enqute a t judicieusement conue
pour employer le mme questionnaire que celui de (EDS) et les mmes quipes
d'intervieweurs et taient menes approximativement la mme priode en vue de
russir l'exercice de l'harmonisation. Cette technique tait possible dans le cas du
programme TRABAJAR parce qu'une enqute nationale sur les mnages a t
sollicite et les valuateurs ont pu profiter de cette enqute pour sur chantillonner les
participants au programme TRABAJAR. Les mmes quipes d'intervieweurs ont t
employes aussi bien pour l'enqute nationale que pour l'enqute du projet dans la
collecte des donnes (voir l'Annexe 1.1)

Evaluation des programmes de march du travail tchque. Cette valuation a
essay de couvrir cinq programmes actifs du travail pour (a) dterminer si les
participants aux diffrents programmes avaient plus russi rintgrer le march du
travail que les non participants au programme et si cela variait travers les
sous-groupes et avec les conditions du march du travail ; et (b) dterminer la
rentabilit de chaque programme et faire des suggestions pour des amliorations.
L'valuation a employ une technique d'harmonisation parce qu'aucune donne de base
n'tait collecte. Les valuateurs ont enqut sur les participants et ont ensuite
slectionn un chantillon alatoire de non participants. Puisque les non participants
taient systmatiquement plus gs et moins

72 EXPLOITER LES MEILLEURES PRATIQUES DES EVALUATIONS D'IMPACT

instruits, les valuateurs ont eu besoin de former un groupe de comparaison
raisonnable pour chaque programme. Ceci a t fait en prenant chaque participant
son tour et en le comparant chaque individu du groupe non participant sur la base de
sept caractristiques : l'ge, le genre, l'ducation, le nombre de mois d'emploi avant
l'enregistrement, la taille de la ville, la situation de famille et le dernier type d'emploi.
L'harmonisation la plus proche a t alors mise dans le groupe de comparaison. Bien
que cette approche soit directe, la possibilit d'une distorsion de slection subsiste
- que le groupe de non participants diffre systmatiquement du groupe de participants
sur la base de variables inobservables (Annexe 1.5).

Grer les contraintes qui affectent le dveloppement de bons contrles

De temps en temps la slection alatoire ou des contrles exprimentaux sont
possibles, mais ne sont pas politiquement faisables. Dans ce cas, la slection alatoire
peut tre effectue en profitant de toute occasion pour piloter le projet dans certains
secteurs limits. Les secteurs dans lesquels le projet sera pilot peuvent au
commencement tre alatoirement slectionns avec des futurs secteurs potentiels du
projet comme contrles. Au fil du temps, des communauts complmentaires peuvent
tre alatoirement incluses dans le projet. Trois exemples illustrent comment
manipuler une situation dans laquelle la slection alatoire tait politiquement ou
autrement non faisable. Au Vit-Nam, un projet de transport rural sera valu avec une
information limite et sans slection alatoire. Au Honduras, le Fonds d'Investissement
Social fournit un exemple de la manire de former un groupe tmoin dans des projets
dont l'objectif principal est le contrle, employant une comparaison harmonise ex
post base sur un simple croisement de donnes. L'valuation des projets dont
l'objectif principal est le contrle peut tre particulirement difficile tant donn quon
ne connat pas lavance quels projets ou communauts participeront au programme.
Et, troisimement, l'valuation du Fonds d'Investissement Social Bolivien dans la
Rgion de Chaco fournit un bon exemple de la manire d'intgrer la slection alatoire
dans des projets qui sont guids par le contrle et qui permet un ciblage.

Projet de Pistes Rurales au Vit-Nam. Ce projet se propose de rduire la pauvret
en milieux ruraux en amliorant l'accs aux communauts rurales et en les reliant aux
rseaux routiers des provinces et des districts. La conception de l'valuation d'impact
est centre sur des donnes d'enqute de base et de suivi collectes pour un chantillon
de projet et des communauts de groupe de comparaison identifies par des techniques
de comparaison - harmonisation. Les donnes de base et les renseignements post
intervention sur des indicateurs comme le niveau des productions agricoles, la
diversification des sour ces de revenu, les offres d'emploi, la disponibilit des
marchandises, des services et des quipements et les avoirs et la distribution seront
collectes partir d'un chantillon alatoire de communes de projet (traitement) et de
non projet (comparaison). Ces donnes seront employes pour comparer le
changement des rsultats avant et aprs l'intervention entre les communauts du projet
et de non-projet en utilisant la " double diffrenciation ".
EXPLOITER LES MEILLEURES PRATIQUES DES EVALUATIONS D'IMP ACT 73


Idalement, les communes de traitement et les communes de comparaison doivent
tre quivalentes dans toutes leurs caractristiques observes et non observes, la seule
diffrence entre elles tant que les communes de traitement tirent profit de
l'intervention et les communes de comparaison non. Puisque la dsignation alatoire
des groupes de traitement et de comparaison n'avait pas t faite et que les donnes
ncessaires pour faire des choix informs et des contrles appropris n'taient pas
disponibles au moment du choix type, les chantillons alatoires des communes de
projet et de non-projet ont t constitus. Spcifiquement, les communes de projet ont
t slectionnes d'une liste de toutes les communes avec des projets dans chaque
province. Ensuite, les communes de comparaison ont t slectionnes d'une liste de
toutes les communes restantes sans projet, mais dans les mmes zones que les
communes de traitement. En employant des informations collectes pour l'valuation,
le score de propension correspondant aux techniques sera alors employ pour assurer
que les communes sans projet seront des groupes de comparaison appropris. Tous les
contrles avec des attributs inhabituels relatifs aux communes de traitement seront
limins de l'chantillon (Annexe 1.15).

Fonds d'Investissement Social hondurien. Le Fonds d'Investissement Social
Hondurien (FHIS) (Voir Banque Mondiale 1998b) vise amliorer les conditions de
vie des groupes sociaux marginaux en finanant des micro-projets d'infrastructure
sociale et conomique petite chelle. Le FHIS est une institution dont l'objectif
principal rpond aux initiatives des municipalits, des ministres, des organisations
non gouvernementales et des groupes communautaires en finanant des
investissements dans les infrastructures, l'quipement et la formation. L'valuation
d'impact du FHIS emploie des techniques d'harmonisation de la comparaison, tirant
l'chantillon du groupe de traitement alatoirement d'une liste de communauts dans
lesquelles les projets du FHIS ont t mis en excution pendant au moins un an. Le
groupe de comparaison, au contraire, a t choisi d'une liste de projets en rserve -
ceux qui ont t sollicits et approuvs, mais pour lesquels l'investissement FHIS n'a
pas encore eu lieu. En thorie, les communauts du groupe de comparaison sont
automatiquement couples avec des communauts de projet selon le processus d'auto
slection et les critres d'approbation de projet FHIS. Une enqute sur les mnages a
t conduite tant dans les communauts du groupe de traitement que dans les
communauts du groupe de comparaison, complte par une composante d'valuation
qualitative (des groupes cibles et des interviews avec des informateurs cls) mene
dans un sous-ensemble des communauts du groupe de traitement. Cette valuation
initiale est une premire tape vers l'tablissement d'un systme M & E en cours qui
sera ventuellement intgr aux oprations FHIS. En particulier, les donnes collectes
auprs des communauts avec des projets potentiels deviendront des donnes de base
utiles partir desquelles de futurs changements dans les indicateurs d'impact seront
suivis aprs que l'investissement du FHIS ait lieu.

Investissements dans l'ducation dans la rgion Chaco en Bolivie. Les projets
d'ducation financs par le Fonds d'Investissement Social bolivien (SIF) sont destins
74 EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

moderniser linfrastructur e scolaire et la formation des enseignants des coles
publiques rurales. Les retards dans la mise en uvre du projet de la rgion de Chaco et
des fonds limits pour la modernisation de l'cole ont permis de faire une valuation
exprimentale en s'assurant aussi que les coles les plus indigentes profitent du projet.
Les coles dans la rgion de Chaco ont t classes selon un indice de qualit scolaire
bas sur la somme de cinq indicateurs d'infrastructure scolaires et dquipements :
lumire lectrique, systme d'vacuation, source d'eau potable, tables par tudiant et
mtre carr d'espace par tudiant. Seules des coles au-dessous d'une valeur limite
particulire avaient droit une intervention SIF. Parmi les quipements ligibles, les
coles les moins nanties ont t automatiquement slectionnes pour profiter des
investissements financs par SIF. Le premier groupe de priorit plus grande
comprenait cent vingt coles mais les fonds taient disponibles pour mettre niveau
seulement moins de la moiti d'entre elles. Ainsi, des coles ligibles dans le deuxime
groupe de priorit ont t alatoirement rparties en groupes de traitement et de
comparaison, fournissant les conditions pour une conception d'valuation
exprimentale (Annexe 1.4)

Combinaison des mthodologies

Pour la plupart des valuations, plus d'une technique est ncessaire pour raliser des
rsultats solides qui traitent plusieurs questions d'valuation. Chaque question peut
ncessiter des techniques diffrentes, mme dans une seule conception de projet. Trois
exemples illustrent comment plusieurs techniques ont t combines dans une
valuation; le Fonds Social de la Bolivie, l'valuation du programme TRABAJAR en
Argentine et la rforme scolaire au Nicaragua.

Le Fonds Social de la Bolivie. Les fonds sociaux incluent gnralement plusieurs
diffrents types de micro-projets et ainsi la conception d'une valuation peut comporter
plusieurs approches. Dans le cas du Fonds Social de la Bolivie, le modle de la mise
en uvre du projet a dict les mthodes d'valuation. Dans le domaine de l'ducation,
les coles qui devaient recevoir l'intervention avaient dj t identifies ; donc la
slection alatoire ne pouvait pas tre employe. A la place, des mthodes
d'harmonisation ont t adoptes. Dans le cas des projets de sant, des mthodes
rflexives ont t employes parce que l'intervention devait tre mise en uvre dans
tous les centres mdico-sociaux de la rgion (Voir Annexe 1.4).

Utilisation d'une large combinaison de composantes d'valuation
Programme TRABAJAR II de l'Argentine. L'valuation du programme
TRABAJAR comprend une gamme de composantes conues pour valuer le
programme de ralisation de ses objectifs politiques. La premire composante s'appuie
sur les donnes des enqutes sur les mnages pour valuer les acquis de revenu des
participants au programme TRABAJAR. La deuxime composante contrle
l'allocation de financement du programme (ciblage), dpistant les changements sur une
priode de temps comme rsultat de la rforme. Cette composante produit un feedback
deux fois par an


EXPLOITER LES MEILLEURES PRATIQUES DES EVALUATIONS D'IMPACT 75

pour raffiner le ciblage du programme. Des composantes d'valuation
complmentaires comprennent une analyse cots bnfices des projets d'infrastructures
et des valuations sociales conues pour fournir des ractions de la communaut la
mise en uvre du projet. Chacune de ces composantes a t mene deux fois. Trois
composantes futures sont projetes. La technique de la recherche d'harmonisation de
la comparaison sera applique de nouveau pour valuer l'impact de la participation au
programme TRABAJAR sur l'activit du march du travail. La qualit du projet
d'infrastructure sera rvalue, cette fois-ci pour les projets qui ont t achevs
pendant au moins un an pour valuer la durabilit, lentretien et les taux d'utilisation.
Finalement, une composante de recherche qualitative examinera les oprations et les
procdures du programme en interviewant des membres du personnel des agences qui
sponsorisent les projets aussi bien que les bnficiaires du projet.
Les rsultats de l'valuation fournissent une direction claire la rforme de la
politique. La premire composante d'valuation rvle que le programme TRABAJAR
a connu un grand succs par le ciblage des pauvres lauto slection des participants,
en offrant des bas salaires est une stratgie qui marche en Argentine et les participants
apprcient les gains de revenu comme un rsultat de la participation. La deuxime
composante constate que l'affection gographique du financement du programme s'est
amliore au fil du temps - le programme connat maintenant plus de succs avec
l'allocation des fonds des secteurs pauvres ; cependant, le processus d'valuation en
cours indique que la performance varie et est constamment faible dans certaines
provinces, des constats auxquels une attention politique plus pousse est actuellement
consacre. Des rsultats d'valuation dcevants sur la qualit du projet d'infrastructure
ont entran des efforts normes de l'quipe du projet visant amliorer la
performance dans ce secteur travers une rforme politique insistant sur des visites
accrues de site pour l'valuation et le suivi, pnalisant les agences dont la performance
est mdiocre l'achvement du projet et renforant le manuel d'valuation. Et
finalement, les valuations sociales ont mis jour le besoin d'accrotre une meilleure
assistance technique aux organisations non gouvernementales et aux municipalits
rurales pendant la prparation et la mise en uvre du projet aussi bien quune plus
grande publicit et une transparence de linformation sur le programme TRABAJAR
(Annexe 1.1).

Rforme de l'autonomie des coles du Nicaragua. En 1993, le gouvernement nicaraguayen a
pris des mesures dcisives pour mettre en uvre une importante initiative de dcentralisation dans le
secteur de l'ducation, en accordant une autonomie de gestion et budgtaire certaines coles
primaires et secondaires. Le but des rformes est de renforcer l'apprentissage de l'tudiant : comme la
gestion scolaire devient plus dmocratique et participative, la gestion scolaire locale et des modles de
dpenses peuvent tre consacrs des efforts qui amliorent directement la pdagogie et renforcent
l'apprentissage de l'tudiant. L'impact de cette rforme a t valu en employant une combinaison de
techniques quantitatives et qualitatives pour valuer le rsultat aussi bien que le processus de la
dcentralisation. Le but de cette composante qualitative est de rvler si rellement ou non la


76 EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

gestion projete et les rformes de financement ont lieu dans les coles et pourquoi ou
pourquoi pas. La composante quantitative renforce ces rsultats en rpondant la
question "les changements dans la gestion et le financement scolaire produisent-ils en
ralit de meilleurs rsultats d'tude pour les enfants ?" Les rsultats qualitatifs
montrent que la mise en uvre couronne de succs des rformes dpend en grande
partie du contexte scolaire et de l'environnement (c'est--dire le seuil de pauvret de la
communaut), tandis que les rsultats quantitatifs indiquent que le processus
dcisionnel accru des coles est en fait significativement associ l'amlioration de la
performance de l'tudiant.
Des mthodologies et des sources de donnes diffrentes mais complmentaires ont
t employes pour combiner les deux approches. D'une part, l'valuation quantitative
a suivi une conception quasi exprimentale dans laquelle les rsultats de test d'un
chantillon d'tudiants des coles autonomes (le groupe de traitement) sont compars
avec ceux d'un chantillon correspondant des coles publiques non autonomes et des
coles prives (le groupe de comparaison). Les donnes pour cette composante de
l'valuation ont t collectes dun panel de deux enqutes couples cole-mnage et
les rsultats dun test sur la performance des tudiants. La conception de l'valuation
qualitative, d'autre part, a consist en une srie d'interviews des informateurs cls et
des discussions du groupe cible avec diffrent personnel, des coles et des parents dans
un sous chantillon des coles autonomes et traditionnelles comprises dans l'tude
quantitative.
L'utilisation des techniques de recherche tant qualitative que quantitative a produit
une combinaison apprciable de rsultats utiles politiquement pertinents. Le travail
quantitatif a fournit une large vue d'ensemble, statistiquement valable des conditions et
des rsultats scolaires; le travail qualitatif a renforc ces rsultats avec la
comprhension de la raison pour laquelle certains rsultats attendus du programme de
la rforme avaient t couronns de succs tandis que d'autres avaient chou et ont
donc aid guider des rajustements politiques. En outre, parce que c'est plus intuitif,
le travail qualitatif tait plus accessible et donc intressant pour le personnel du
Ministre, qui son tour a facilit un renforcement des capacits et une crdibilit
rapide pour le processus d'valuation dans le ministre (Annexe 1.11).

Exploitation des sources de donnes existantes

Des sources de donnes existantes comme une enqute nationale sur les mnages, le
recensement, le registre du programme administratif ou des donnes municipales
peuvent souvent fournir une ressource de valeur aux efforts d'valuation. Exploiter des
sources existantes rduit le besoin de la collecte de donnes coteuse pour le seul but
de l'valuation comme illustr dans le cas de l'valuation des pistes rurales au Vit-
Nam. En outre bien que des donnes existantes puissent ne pas contenir toutes les
informations que l'on collecterait idalement pour les buts de l'valuation, des
techniques d'valuation innovatrices peuvent souvent compenser des donnes
manquantes comme indiqu dans le Projet d'Extension Agricole au Kenya.


EXPLOITER LES MEILLEURES PRATIQUES DES EVALUATIONS D'IMPACT 77

Projet de Routes Rurales au Vit-Nam. Les donnes utilises dans cette
valuation exploitent une combinaison efficace des sources de donnes nationales et
locales existantes avec des enqutes conduites spcifiquement pour les buts de
l'valuation. L'valuation de l'enq ute sur les mnages est efficacement conue pour
reproduire un nombre de questionnaires de l'Enqute sur le Niveau de Vie du Vit-
Nam pour que, exploitant l'information commune aux deux enqutes, les techniques de
rgression puissent tre employes pour valuer la position de chaque mnage dans la
distribution nationale du bien tre.
L'valuation repose largement sur des donnes du niveau de la commune collectes
annuellement par les communes, couvrant les donnes dmographiques, l'utilisation de
la terre et les activits de production. Cette source de donnes a t renforce par une
enqute du niveau de vie de la commune conduite pour les buts de l'valuation. Deux
bases de donnes complmentaires ont t constitues utilisant l'information existante.
Une base de donnes de grande envergure au niveau de la province a t tablie pour
aider comprendre le choix des provinces dans le projet. Cette base de donnes couvre
les provinces de tout le Vietnam et englobe des donnes sur un grand nombre de
variables socio-conomiques. Finalement, une base de donnes au niveau du projet,
pour chacun des secteurs de projet enquts, a t aussi constitue, en vue de contrler
l'ampleur du projet et la mthodologie de mise en uvre de l'valuation de l'impact du
projet (Annexe 1.15).

Projet National d'Extension du Kenya (PNE). La performance du Projet National
d'Extension du Kenya (PNE) a t controverse et fait partie dun plus grand dbat sur
la rentabilit de l'approche de formation et de visite (T&V) des services d'extension
agricole. Dans le contexte kenyan, le dbat a t soulev par, des retours en force de
T&V d'une part, annoncs dans une tude (Bindlish, Evenson et Gbetibouo 1993,
1997) et d'autre part, le manque de rsultats visibles convaincants y compris la pitre
performance de l'agriculture kenyane ces dernires annes.
Le dsaccord sur la performance du PNE a persist en attendant les rsultats de
cette valuation qui a t conue pour adopter une approche rigoureuse, empirique,
l'valuat ion du dveloppement institutionnel du programme et l'impact sur la
performance agricole. L'valuation utilise une combinaison de mthodes qualitative et
quantitative pour poser des questions politiques hautement pertinentes et rvle des
faiblesses srieuses dans le programme : (a) le dveloppement institutionnel du PNE a
t limit et aprs 15 ans d'existence, il y a peu d'amlioration de l'efficacit de ses
services, (b) la qualit et la quantit de ses prestations de service sont faibles ; et (c) les
services d'extension ont seulement un petit impact positif sur l'efficacit de la ferme et
aucun impact sur la productivit de la ferme.
L'valuation est en mesure de dresser un tableau des conclusions politiques
concrtes de ces rsultats, dont beauco up sont relatifs la conception de futurs projets
d'extension agricole. D'abord, l'valuation rvle un besoin de renforcer le ciblage de
T&V se concentrant sur des secteurs et des groupes dont l'impact va probablement tre
le plus grand. En outre, le conseil doit tre soigneusement model pour rpondre

78 EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

aux besoins du paysan en tenant compte des variations des conditions technologiques
et conomiques locales. Raliser avec succs ce niveau de ciblage de service demande
des flux appropris d'informations opportunes et fiables dont un sphre de Programme
M&E gnrant un flux de feedback des bnficiaires sur le contenu du service. Pour
renforcer l'efficacit du programme, une prsence plus discrte et moins intense avec
une couverture plus large va probablement tre plus rentable. L'approche gnrale du
programme de la prestation des services, utilisant une mthodologie unique (des visites
de la ferme) pour livrer des messages standard, limite aussi l'efficacit du programme.
La rforme institutionnelle va probablement renforcer l'efficacit de la prestation des
services, la dcentralisation du programme de conception comprenant les mcanismes
participatifs qui donnent la parole au paysan (comme le partage des cots et les
organisations de paysans) doivent devenir une partie intgrante du mcanisme de la
prestation de service. Finalement, l'amortissement des cots, mme partiel, fournirait
des motivations appropries, aborderait les questions de la responsabilit et du contrle
de la qualit, rendra le service plus exigeant et sensible et fournira une certaine
amlioration budgtaire (Annexe 1.8).

Cots et Financements

Il y a sans doute beaucoup de dpenses impliques dans l'excution d'une
valuation d'impact, ce qui explique pourquoi certains pays sont rticents financer de
telles tudes. Ces cots comprennent la collecte des donnes et le cot du temps du
personnel composant l'quipe d'valuation. Le financement dune valuation d'impact
peut provenir de l'intrieur d'un projet, d'autres ressources du gouvernement, dune
bourse de recherche ou un donateur extrieur. L'information sur un chantillon des
valuations de la Banque Mondiale dmontre que bien que beaucoup de pays aient
assum la majorit des dpenses d'valuation, la russite de la mise en uvre d'une
valuation d'impact a ncessit des ressources extrieures substantielles au-del de
celles prvues pour le prt ou le crdit d'un projet. Ces ressources proviennent d'une
combinaison des sources suivantes : (a) un prt de la Banque Mondiale ou un
financement de crdit pour la collecte et le traitement des donnes, (b) le
gouvernement, par les salaires pays au personnel local affect l' effort de l'valuation
(comme expliqu dans le tableau 4.1, ces dpenses de personnel n'ont pas t incluses
dans le calcul des dpenses d'valuation fait pour les cas passs en revue ici cause
des limitations de donnes) ; (c) des bourses de recherche de la Banque Mondiale et
des subventions de donateurs bilatraux qui ont financ l'assistance technique des
consultants avec l'expertise spcifique ncessaire pour l'valuation, et (d) les frais
gnraux de la Banque Mondiale pour rgler les honoraires du personnel fourni pour
guider l'valuation d'impact et qui souvent participent activement au travail danalyse.
Bien que peu d'valuations d'impact documentent le cot du travail, le tableau 4.2
fournit des devis, pour un chantillon d'valuations d'imp act avec la participation de la
Banque Mondiale. Ces devis ne comprennent pas cependant la valeur du temps du
personnel apport comme contribution par les pays bnficiaires

EXPLOITER LES MEILLEURES PRATIQUES DES EVALUATIONS D'IMPACT 79

Tableau 4.2 Rsum des cots estims partir
de plusieurs valuations d'impact de la Banque mondiale

Rcapitulation de l'valuation des
cots (%)



Projet
Evaluation
des cots
estims
($)
a

Cot en
% du cot
total du
projet
b

Cot en
% cot du
prt de la
BIRD ou
du crdit
de l IDA
b

Voyage Personnel
de la
Banque
Mondiale
Consul-
tants
Collecte
de
donnes
Nicaragua
Gestion base sur
l'cole

495 000

1,20

1,5

8,1

18,1

39,0

34,8
El Salvador
Gestion base sur
l'cole

443 000

0,60

1,3

7,7

7,4

25,8

59,2
Colombie
Programme de Bon 266 000 0,20 0,3 9,4 9,8 21,8 59,0
Honduras Fonds
social

263 000

0,23

0,9

3,0

11,5

53,2

32,3
Nicaragua Fonds
social

449000

0,30

0,8

4,9

33,0

7,8

55,7
Bolivie Fonds
social

878 000

0,50

1,4

3,4

14,6

12,9

69,1
Trinit et Tobago
Formation des
jeunes

238 000

0,80

1,2

7,6

11,5

17,9

63,1
Moyenne 433 000 0,56 1,0 6,3 15,1 25,5 53,3

a. Ces cots ne comprennent pas les cots des quipes locales de contrepartie qui ne sont pas financs partir du
prt ou du crdit. Les chiffres ports en rfrence au titre desquels les projets en valuation ont t slectionns,,
non pas le financement total fourni par la BanqueMondiale et d'autres institutions.
b. Ces cots en pourcentage du prt ou de crdit ou du projet sont prsents seulement comme rfrence. Dans
beaucoup de cas le financement rel de l'valuation a t obtenu de sources extrieures au financement du proj et.
c. Les estimations de cot de voyage comprennent(voyage de mission pour le personnel de la Banque Mondiale
et les consultants internationaux jusqu'aux pays bnficiaires aussi bien que le voyage des partenaires des pays
bnficiaires, particulirement pour participer aux sessions de stratgie et aux ateliers analytiques avec les
consultants internationaux et le personnel de la Banque Mondiale.
Source: archives de projet de la Banque Mondiale.

partenaires (qui peut tre significative) parce que cette information n'tait pas
disponible. Comme repre, dans les huit cas ci-dessus, il n'tait pas inhabituel d'avoir
jusqu' cinq membres du personnel affects au travail d'valuation pendant plusieurs
annes, un niveau d'effort suffisant pour augmenter substantiellement le cot de
l'valuation dans beaucoup de ces cas.

80 EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

Le cot estimatif moyen de l'valuation de l'impact tait 433 000$. Ceci reflte un
ordre de grandeur des cots de 263 000$ pour l'valuation d'un programme de
formation de comptences professionnelles pour la jeunesse sans emploi Trinit et
Tobago, 878 000$ pour l'valuation du Fonds d'Investissement Social Bolivien. Les
dpenses relatives lvaluation d'impact pour les projets ci-dessous refltent en
moyenne 0,6 pour cent du cot total du projet (qui incluait parfois le financement de
plusieurs donateurs), ou 1,3 pour cent du cot du prt de la Banque Internationale pour
la Reconstruction et le Dveloppement (BIRD) ou du crdit de l'Association
Internationale de Dveloppement (IDA). Les composantes les plus coteuses des
valuations inscrites ci-dessous taient la collecte des donnes et les consultants, tant
locaux qu'internationaux. Dans beaucoup de cas, les dpenses de voyage comprennent
le voyage du personnel local pour rencontrer le personnel de la Banque Mondiale et
des chercheurs pour des sessions de stratgie et la formation parce que le renforcement
des capacits du personnel du pays bnficiaire tait un objectif cl. Les deux
exemples ci-dessus relatifs aux valuations d'impact de projets Trinit et Tobago et
en Bolivie illustrent quelque variation qui peut surgir dans les dpenses de programme.
L'valuation du programme de formation des comptences professionnelles en
Trinit et Tobago a bnfici d'une enqute sur le revenu national et sur l'emploi pour
sur chantillonner des diplms du programme et crer un groupe de comparaison
partir d'un sous-ensemble de l'chantillon national. De plus, l'quipe d'valuation a
aid concevoir et utiliser des donnes administratives disponibles, des rapports de
demandeurs de programme, ainsi des donnes pr- intervention taient disponibles et
aucun dcompte ntait ncessaire pour localiser les diplms du programme. La taille
type de l'chantillon pour chacune des trois tudes de contrle tait environ 2 500
jeunes gens, comprenant tant des groupes de comparaison que de traitement. Il y avait
seulement un court questionnaire administrer dans l'enqute et on a donn le
questionnaire seulement aux diplms du programme. Trinit et Tobago est un petit
pays dont les communauts sont relativement faciles d'accs par la route et l'anglais est
la langue commune dans le pays et parmi les diplms du programme.
Lvaluation du Fonds Social de la Bolivie (SIF) a men ses propres enqutes de
base et de suivi sur les groupes de traitement et de comparaison pour valuer des
interventions en sant, ducation, eau et assainissement. Il n'y avait aucune enqute
nationale disponible partir de laquelle conduire des analyses pour effectuer le sur
chantillonnage, ce qui a mis la charge entire de la collecte des donnes sur
l'valuation. L'chantillon des groupes de traitement et de comparaison a consist en
prs de 7 000 mnages et 300 quipements interviews aussi bien dans l'enqute de
base de 1993 que dans l'enqute de suivi de 1998.
En Bolivie, les instruments de la collecte des donnes pour l'valuation d'impact ont
consist en des laboratoires ambulants pour conduire des tests de qualit deau en
laboratoire, des tests de confirmation et huit questionnaires pour des informateurs
provenant des mnages et des structures. Les huit questionnaires ont consist en deux
questionnaires sur le mnage (un pour l'informateur principal et un pour les femmes en
ge de procrer), un questionnaire pour la communaut, quatre diffrents

EXPLOITER LES MEILLEURES PRATIQUES DES EVALUATIONS 81

questionnaires du centre mdico- social pour les diffrents types de centres mdico-
sociaux (allant des petites cliniques de communaut aux hpitaux) et un questionnaire
scolaire pour le directeur d'cole. Pour valuer le ciblage, l'valuation a inclus une
mesure de la pauvret base sur la consommation qui a ncessit la collecte de
donnes de consommation dtailles fournies par les mnages aussi bien que les
donnes des prix rgionaux fournies aux communauts. Le travail de terrain a t
men en milieux ruraux o la majorit des projets du FIS est focalise et comprenant
un chantillon alatoire des mnages ruraux qui taient souvent accessibles seulement
pied ou cheval. Finalement, les questionnaires ont d tre dvelopps et
administrs en espagnol, Quechua et Aymara.

Questions d'conomie politique

Il y a plusieurs questions d'conomie politique qui affectent non seulement la
ralisation dune valuation, mais aussi sa mise en uvre. La dcision de poursuivre
une valuation est beaucoup plus contingente dun appui politique fort. Beaucoup de
gouvernements ne voient pas limportance dvaluer des projets et, en consquence, ne
veulent pas y investir des ressources. En plus, il peut y avoir la rticence permettre
une valuation indpendante qui peut trouver des rsultats contraires la politique du
gouvernement, particulirement dans des rgimes autoritaires ou ferms. Des
gouvernements ouverts peuvent, cependant, considrer les valuations et la diffusion
des conclusions comme une partie importante du processus dmocratique.
Les valuations sont aussi sensibles au changement politique. Trois des huit tudes
d'impact inscrites dans le tableau 4.2 ont t annules cause des questions
d'conomie politique. Un changement de rgime ou de postes cls dans un bureau du
gouvernement partenaire et des changements de stratgie politique peuvent affecter
non seulement l'effort d'valuation mais plus fondamentalement la mise en uvre du
programme valuer. Un exemple de ce type de risque vient de l'exprience d'une
quipe travaillant sur la conception et l'valuation d'impact d'une gestion pilote base
sur l'cole au Prou, comme partie d'un projet d'ducation primaire financ par la
Banque Mondiale. L'quipe compose des fonctionnaires du Ministre de l'Education
nationale, du personnel de la Banque Mondiale et des consultants internationaux et
locaux avait travaill pendant plus d'un an dvelopper des modles de gestion bass
sur l'cole- pilote en projet, tablir une conception exprimentale, concevoir des
instruments d'enqute et des tests de confirmation et collecter des donnes de base
sur des caractristiques scolaires et la performance de l'tudiant. Juste avant
l'introduction du test pilote dans les coles alatoirement choisies, des reprsentants
gouvernementaux de haut niveau ont annul l'exprience de la gestion base sur l'cole
en raction aux retombes politiques perues du test pilote. Une rforme semblable a
t prsente plusieurs annes plus tard mais sans l'avantage d'un test pilote ou d'une
valuation.
Au Vnzula, une valuation dun programme de sant maternelle et infantile et
de nutrition a t reprise trois fois avec trois diffrents partenaires bnficiaires de

82 EVALUATION DE L'IMPACT DES PROJETS DE DEVELOEMENT SUR LA PAUVRETE

contreparties puisque le gouvernement a dplac la responsabilit de l'valuation d'une
agence une autre. Chaque changement a t accompagn dune rengociation du
contrat avec la socit du secteur priv qui avait t identifie pour effectuer la collecte
des donnes et la majorit de l'analyse pour l'valuation. Quand la lgitimit de la
troisime contrepartie du gouvernement a commenc tre mise en doute, la socit a
annul le contrat et l'valuation a t abandonne ! Ces incidents sont arrivs pendant
une priode d'instabilit politique caractrise par les nombreux remaniements
ministriels qui ont fini par l'croulement du gouvernement lu servant comme
contrepartie pour le projet, donc l'valuation tait presque seule souffrir de
linstabilit politique. Nanmoins, dans les cas tant pruvien que vnzulien, il est
sage de rflchir sur limportance des ressources consacres un effort qui n'a jamais
t men bout. Un exemple moins dramatique de l'effet du changement politique sur
des stratgies d'valuation vient du Salvador, o le succs reconnu d'une rforme
prsente aux coles rurales a incit le gouvernement prsenter une rforme de
l'ducation semblable dans toutes les coles urbaines en mme temps, au lieu d'une
intgration progressive alatoire dans les coles comme originalement programm.
Cette dcision a limin la possibilit d'employer une conception exprimentale et a
laiss l'utilisation d'une comparaison rflchie moins rigoureuse comme la seule option
d'une conception d'valuation viable.