344 Int Guide 2007

DIRECTION GNRALE DE LA COOPRATION INTERNATIONALE ET DU DVELOPPEMENT
GUIDE DE LVALUATION 2007

Nouvelle dition complte et rvise
Bernadette Cavelier Antoine du Buysson Claude Fandre Richard Rquna Michael Ruleta Daniel Voizot
Ont galement particip la conception et la ralisation des premires versions de ce guide : Mmes Marie-France Fabre-Baudry, Quiterie Pincent, Elisabeth Barsacq, Aude de Amorim, et MM. Jean-Marc Berthon, Alain Boucher, Jean-Franois Lantri, Yves Yard.
MINISTRE DES AFFAIRES TRANGRES
Ce document est accessible sur le site du MAE : France-Diplomatie > Le ministre > Publications > Coopration internationale et dveloppement > Srie valuations
Ministre des Affaires trangres Direction de la coopration internationale et du dveloppement Service des moyens et du rseau Bureau de lvaluation 244, boulevard Saint-Germain 75303 Paris 07 SP Tl. +33 (0)1 43 17 83 74 Fax +33 (0)1 43 17 83 17 messagerie : evaluation.dcgid@diplomatie.gouv.fr
Depuis dbut 2007, un forum valuation des projets de dveloppement est accessible sur Intranet (Diplonet) aux agents du ministre. Il suffit de sy inscrire
Ce guide nest pas un manuel sur les mthodes de lvaluation. Le lecteur intress dapprofondir ses connaissances sur la mthodologie et les outils peut consulter le site de la Comission europenne : EUROPA > Comission europenne > EuropeAid > Evaluation > Mthodologie http//ec.europa.eu/comm/europeaid/evaluation/methodology/index fr.htm
Conception graphique couverture : Aurette Leroy et Anne Caminade Cration / Impression : mediatys / Groupe Corlet Photos de couverture : IRD, Bernard COLONGES, Hamadoum MAGA Ministre des Affaires trangres, 2007
Avant-propos
Comme les prcdentes ditions, le guide de lvaluation 2007 prsente les principaux concepts, objectifs, mthodes et outils utiliss par la DGCID pour lvaluation des projets, programmes, instruments et politiques de coopration et daide au dveloppement quelle met en uvre. Il est destin aux dcideurs mais aussi et surtout aux oprateurs de plus en plus nombreux qui, en dehors du bureau de lvaluation de la DGCID et notamment dans les services et les postes, conduisent des valuations. Danne en anne, le guide senrichit des travaux et rflexions mens aussi bien dans un cadre national quinternational. Certains enjeux rcents replacent lvaluation au centre des processus de dcision et des modes de gestion et dallocation de lAPD franaise, dont le guide 2007 tente de rendre compte.
La mise en uvre de la LOLF : en organisant le budget par programmes et actions, la LOLF implique
une analyse de la performance des actions conduites au regard des moyens mobiliss. Les procdures prvues privilgient le contrle de gestion sur lvaluation, mais, avec le recul, la complmentarit entre les deux instruments devrait simposer. En effet, seule lvaluation sintresse au pourquoi et au comment amliorer la performance, en faisant porter lanalyse sur la stratgie et les politiques, sur un cycle plus long que lexercice budgtaire et sur le point de vue des partenaires et des bnficiaires de laction publique, plutt que sur laction publique elle-mme.
La rforme du CICID et le rle accru des oprateurs : le renforcement du rle de lAFD, oprateurpivot de laide franaise, la cration de nouvelles agences (Cultures-France, Campus-France,..) et la dcision daugmenter les crdits dAPD transitant par le canal des ONG et de la coopration dcentralise, imposent de dfinir avec ces oprateurs, dans le cadre des contrats dobjectifs et de moyens conclus avec eux, des modalits dvaluation de projets conduits sur les crdits du Dpartement qui se rapprochent de la pratique actuelle de la DGCID ou de convenir de nouvelles modalits. Lagenda sur lefficacit de laide : la Dclaration de Paris de mars 2005 et les engagements des pays
membres du CAD de lOCDE en faveur de lappropriation, de lalignement, de lharmonisation, de la gestion axe sur les rsultats et de la responsabilit mutuelle de laide, mettent clairement en vidence la ncessit de rendre laide plus efficace. Les membres du CAD rflchissent un cadre commun dvaluation de la mise en uvre de lagenda sur lefficacit de laide avec la participation des pays partenaires. Cette rflexion devrait nous amener revoir et enrichir les mthodes et critres dvaluation traditionnels utiliss jusqualors, en mettant laccent sur les engagements contenus dans la dclaration de Paris (appropriation, alignement, harmonisation, responsabilit mutuelle).
Le partenariat : les travaux dvaluation sont encore trop centrs sur les intrts des donateurs. La logique du partenariat, prne par la dclaration de Paris et illustre par les nouveaux Documents Cadres de Partenariat conclus avec les pays de la ZSP, devrait conduire une meilleure prise en compte du point de vue des bnficiaires, voire au transfert de la conduite des valuations sous leur responsabilit. Tel est lobjectif que se donne le bureau de lvaluation de la DGCID en se consacrant davantage au renforcement des capacits en valuation des partenaires du Sud et lappui mthodologique aux services et aux postes, en rflchissant en particulier llaboration dune mthodologie dvaluation dconcentre et partenariale des DCP.
Guide de lvaluation 2007
Ministre des Affaires trangres - DgCiD
Sommaire
Avant-propos Chapitre I : Quest-ce que lvaluation ? 3 7
9 11 13 15
Fiche 1 Dfinitions Fiche 2 Quest-ce que lvaluation des politiques publiques

en France ?
Fiche 3 Lvaluation : mieux connatre pour mieux dcider Fiche 4 Les diffrentes approches de lvaluation
Chapitre II : Comment conduire une valuation externe* ?
17
19 21 33 35
Fiche 5 Lvaluation externe* type Fiche 6 Comment laborer les termes de rfrence
dune valuation ?
Fiche 7 Le cadre logique de lvaluation Fiche 8 Comment concevoir des indicateurs dans le cadre
dune valuation ?
37 Fiche 9 Le comit de pilotage 39 Fiche 10 Profil et choix de lexpertise 43 Fiche 11 La mise en concurrence Fiche 12 La validation, la restitution et les suites de lvaluation 47
Chapitre III : Le cas spcifique du suivi-valuation
49
51 53
Fiche 13 Dans quels cas raliser une revue interne* ? Fiche 14 Le suivi - valuation
Chapitre IV : Les dispositifs dvaluation dans la coopration internationale
55
57 59 61
Fiche 15 Quel dispositif en France pour valuer la coopration

internationale et laide publique au dveloppement ?
Fiche 16 Quels dispositifs au sein des instances multilatrales ? Fiche 17 Les co-valuations : partenariales, conjointes,
parallles ou croises
Chapitre V : Le Bureau de lvaluation
63
65 69
Fiche 18 Prsentation du Bureau de lvaluation Fiche 19 Mini-guide de lvaluation destin aux dcideurs
Annexes
1. Modle de devis prvisionnel 2. Modle de tableau de dpouillement pour le choix de lexpertise 3. Fiche de suivi de projet FSP (ou de revue mi-parcours*) 4. Modle de fiche-rsum 5. Exemples dindicateurs 6. Liste des valuations publies 7. Bibliographie 8. Glossaire du CAD de lOCDE 9. Fiche rsum de la mta-valuation 10. Fiche rsum du projet FSP mobilisateur partenariat en valuation 11. Charte (socit franaise de lvaluation) 12. Normes pour une valuation de qualit 13. Charte qualit du bureau de lvaluation 14. Mini-guide de lvaluation destin aux dcideurs
71
73 75 77 79 81 83 89 91 99 101 103 105 107 109
Quest-ce que lvaluation ?
Fiche 1
Dfinitions*
1. Lvaluation* dune action, dun projet*, dun programme*, dune politique
L valuation* rtrospective, mene dans un cadre mthodologique et institutionnel formalis, a pour but* de porter un jugement, empiriquement et normativement, sur la valeur dune action, dun projet*, dun programme*, dune politique. L valuation* vise : vrifier la pertinence* et la cohrence des objectifs de dpart ; mesurer lefficacit* de laction, cest dire le degr datteinte des objectifs ; apprcier la mise en uvre des moyens ainsi que leur adquation au contexte et aux objectifs ; examiner la durabilit des effets observs. En fonction du moment de ralisation* de lexercice, on distingue trois types dvaluations* : la revue1 mi-parcours* permet de suivre et, ventuellement, rorienter laction ; lvaluation* finale prend place la fin de laction, elle examine les rsultats* et permet den observer les consquences court terme ; lvaluation ex post* se situe nettement aprs la clture de laction et sintresse aux effets moyen ou long terme (impacts*). Attention : dans certaines organisations, le concept dvaluation* ex ante* est utilis pour dsigner ltude de faisabilit dun projet*. Selon le mode de ralisation* de lvaluation*, on distingue : lauto-valuation* assiste ralise par une ou plusieurs personnes directement impliques dans laction value, avec lappui dun expert extrieur ; la revue interne* effectue par un agent relevant de la structure responsable de laction, mais nayant pas t impliqu dans la conception ou la mise en uvre de celle-ci (cf. fiche 13) ; Lexpertise valuative pratique lorsque ladministration souhaite obtenir un bilan et des recommandations* dans un dlai court ; lvaluation* externe qui implique un recours des consultants extrieurs (du secteur priv), ce qui favorise un regard neutre et neuf. Elle est toujours souhaitable compte tenu des enjeux financiers, stratgiques et oprationnels. Selon la nature de lexercice, le bureau de lvaluation distingue quatre catgories dvaluations* rtrospectives :
valuations* doprations (actions, projets*, programmes*) ; valuations* transversales (thmatiques* ou sectorielles) ; valuations* dinstruments (organismes, oprateurs, moyens) ; valuations* gographiques (actions menes dans un pays, une rgion ...).
* Tous les termes suivis dun astrisque sont dfinis dans un glossaire du Comit daide au Dveloppement (OCDE) en annexe 10 1) Le bureau de lvaluation propose dutiliser le terme revue mi-parcours, plutt quvaluation mi-parcours qui porte souvent confusion.
2. Quelques confusions viter

L valuation* des politiques publiques porte sur les actions et non sur les personnes. Des confusions sont frquentes avec linspection, le contrle de gestion et laudit*. Si leurs finalits* sont proches (amlioration du fonctionnement de lorganisation) et si les mthodes font appel des concepts comparables, les modalits de ces exercices sont diffrentes :
laudit* sassure que la mise en uvre du projet seffectue dans le respect des rgles et procdures. Il
est ralis par des auditeurs spcialiss et accrdits, internes ou externes. L audit* ne sintresse ni la pertinence* ni limpact* du projet.
le contrle de gestion et le pilotage sont des processus continus permettant dassurer un suivi rgulier
de lactivit*. Ils sont effectus en interne, sur la base des donnes renseignes dans les systmes dinformation, qui permettent dlaborer des tats synthtiques, des indicateurs* dactivit, des analyses de cots et des agrgats. Ces outils* peuvent tre rassembls dans un tableau de bord pour faciliter la prise de dcision.
linspection procde un contrle de conformit par rapport aux normes financires, aux procdures
administratives et aux orientations politiques. Effectue par des inspecteurs internes, elle exige un suivi* et ses recommandations* ont un caractre obligatoire et contraignant.
N. B. Plusieurs agences daide ont mis en place des structures et des procdures de suivi*-valuation (Monitoring and Evaluation - M&E) qui ont la responsabilit, simultanment, de conduire des valuations* et dapporter un appui mthodologique au suivi-contrle des projets et des programmes*.
10
Fiche 2
Quest ce que lvaluation* des politiques publiques en France ?
1. Linstitutionnalisation de lvaluation* des politiques publiques en France
L valuation* de laction des pouvoirs publics se dveloppe en France depuis le milieu des annes 1980, poque laquelle un certain nombre de ministres se sont dots de structures charges dvaluer leurs actions. Le dcret n 90-82 du 22 janvier 1990 relatif lvaluation* des politiques publiques instaure lvaluation* dans laction de ltat en vue d"amplifier les initiatives" existantes et "gnraliser la politique de lvaluation* dans ladministration" ; ce dcret : - invite les administrations, les collectivits territoriales et les tablissements publics se doter de structures dvaluation* ; - porte cration dun dispositif interministriel dvaluation*. Modifi en 1998 (dcret n98-1048 du 18 novembre 1998), ce dispositif est bas sur le Conseil national de lvaluation (CNE) situ au Commissariat gnral du Plan (CGP). Mais en 2004, le CGP dcide de se consacrer uniquement des tudes prospectives et en 2006 le Centre danalyse stratgique est cr et se substitue au CGP. L valuation* de politiques publiques est laisse la seule initiative des dpartements ministriels. De leur ct, les parlementaires ont cr des commissions dvaluation* aussi bien lAssemble Nationale quau Snat. Les collectivits territoriales ont, elles aussi, mis en place des dispositifs dvaluation* de leurs actions.
2. Une double exigence de modernisation de ltat et de dmocratisation

Daprs les textes officiels, lvaluation* des politiques publiques rpond deux exigences :
une exigence technique : lvaluation* est un outil permettant damliorer lefficacit* et le rendement
de laction publique. Elle sinscrit ainsi parmi les instruments de la modernisation de ltat ; une exigence politique : lvaluation* constitue, pour les pouvoirs publics, un moyen de rendre compte de leurs actions aux citoyens. Elle contribue ainsi renforcer la dmocratie. Dans le cadre de la LOLF, quatre programmes relvent du ministre des Affaires trangres, dont deux La loi organique relative aux lois de finances (LOLF) du 1er aot 2001 combine ces deux exigences. L article 7 dispose en effet que les crdits ouverts par les lois de finances pour couvrir chacune des charges budgtaires de ltat sont regroups par mission relevant dun ou plusieurs services dun ou plusieurs ministres. Une mission comprend un ensemble de programmes concourant une politique publique []. Un programme regroupe les crdits destins mettre en uvre une action ou un ensemble cohrent dactions relevant dun mme ministre et auquel sont associs des objectifs prcis, dfinis en fonction de finalits* dintrt gnral, ainsi que des rsultats* attendus et faisant lobjet dune valuation*. Par ailleurs, des annexes explicatives relatives chaque programme seront jointes au projet de loi de finances. On y trouvera notamment : La prsentation des actions, des cots associs, des objectifs poursuivis, des rsultats* obtenus et attendus pour les annes venir, mesurs au moyen dindicateurs* prcis dont le choix est justifi (article 51). concernent en particulier la DGCID :
programme rayonnement culturel et scientifique (n 185), mis en uvre avec le ministre de

lducation et de la recherche, et qui relve de la mission action extrieure de ltat (laquelle inclut deux autres programmes du MAE : action de la France en Europe et dans le monde (n 105) et Franais ltranger et trangers en France (n 151).
11
programme solidarit lgard des pays en dveloppement (n 209), mis en uvre avec le
ministre de lconomie, des finances et de lindustrie, et qui relve de la mission solidarit avec les pays en dveloppement. Le bureau de lvaluation* dispose de deux enveloppes de crdits, respectivement pour les programmes 185 et 209.
3. La dontologie de lvaluation*
Au fil de ses diverses publications, le Conseil national de lvaluation (ainsi que le rseau valuation1 du Comit daide au dveloppement, CAD) a trac un cadre dontologique lvaluation* des politiques publiques en prconisant :
un dispositif type caractris par la distinction entre :

- une instance charge de piloter lvaluation* la demande du commanditaire; - un prestataire devant raliser lvaluation* conformment un cahier des charges. L instance dvaluation* est compose de personnes concernes par lobjet valuer et ayant sur celui-ci une diversit de points de vue. Le prestataire est slectionn, en rgle gnrale, sur la base dune mise en concurrence. Les experts quil mobilise -consultants privs, membres de corps dinspection, universitaires...- doivent matriser les techniques valuatives, suivre les principes dontologiques de lvaluation* et connatre le domaine concern sans tre partie prenante des actions valuer.
un questionnement type qui invite les valuateurs examiner la valeur dune action publique en sinterrogeant sur sa "pertinence*", sa "cohrence", son "efficacit*", son "efficience*", son "impact*", sa "viabilit*" (cf. fiche 5). une dmarche type pour linstance dvaluation* : laboration des termes de rfrence, choix du prestataire, suivi de son travail, rception et discussion des rapports dtudes, gestion des suites de lvaluation*. une mthodologie type pour le prestataire devant raliser lvaluation*, compose des techniques de
collecte et danalyse de linformation, la fois qualitatives et quantitatives, telles que celles utilises dans le champ des sciences administratives, politiques et sociales. Il est noter quune Socit franaise de lvaluation (SFE) a t constitue en 1999 afin de rassembler les professionnels de la discipline et den structurer les pratiques (cf. fiche 15). Elle a adopt une charte en estimant que les enjeux de lvaluation* des politiques et programmes* publics dpassent ceux de ses protagonistes* directs et concernent lensemble des citoyens.
1) EVALUNET
12
Fiche 3
L valuation* : mieux connatre pour mieux dcider
1. Mieux connatre...
Le dcideur et le citoyen ont une connaissance limite des actions publiques. Du fait de la particularit de leur position, ils nembrassent jamais la totalit des implications et des consquences de ces actions. Intresss par la russite de laction publique. Il leur est par ailleurs difficile den produire une reprsentation impartiale et objective. Dans ce contexte, lvaluation* a dabord une fonction de connaissance. Elle permet daccrotre les informations disponibles sur une action. Elle permet surtout den construire, selon une dmarche empruntant sa mthode aux sciences sociales, une reprsentation globale et aussi indpendante* que possible. Par cette seule fonction de connaissance, lvaluation* possde dj une certaine utilit. Elle claire les agents sur leur action. Elle les renseigne sur ses enjeux, ses objectifs, ses moyens et rsultats*. Ainsi, elle rpond leur demande de sens et de lisibilit. De cette faon, elle participe au renforcement de leur motivation. La connaissance que produit lvaluation* ayant vocation tre partage, elle contribue aussi rapprocher les points de vue, renforcer la communication, forger une vision commune de laction value.
2... pour mieux apprcier la valeur dune action...

En amliorant la connaissance quils ont des actions publiques, lvaluation* permet surtout au dcideur et au citoyen de porter une plus juste apprciation sur leur valeur. Ces actions valaient-elles dtre conduites ? Les moyens dploys taient-ils adapts aux objectifs poursuivis ? Les rsultats* attendus ont-ils t atteints ? Dans quelle mesure ? Des effets non escompts ont-ils t produits ? Quels effets moyen ou long terme, dans ce domaine ou dans un autre, faut-il attendre de ces actions ? Les rsultats* sont-ils la mesure des sommes dpenses ? Les structures ou les pratiques engendres par laction sontelles viables ? En rpondant ces questions, lvaluation* permet de porter un jugement de valeur sur les actions, de les qualifier positivement ou ngativement. Fond sur une connaissance mthodique et dsintresse de laction publique, ce jugement possde une crdibilit et une autorit suprieures celles du jugement spontan. Si les conclusions* des valuateurs ne sont pas automatiquement reprises leur compte par les dcideurs, lesquels disposent dautres lments dapprciation sur leur action, elles permettent, en tout tat de cause, dclairer les termes du dbat autour de laction value.
3... et mieux dcider

Enfin, en amliorant la connaissance quils ont de leur action et le jugement quils portent sur sa valeur, lvaluation* donne aux responsables des informations utiles la prise de dcision. Faut-il poursuivre laction ? Linterrompre ? La rorienter ? Ltendre ? L valuation* permet de rpondre ces questions. Connaissance oriente vers la dcision, elle a dabord une dimension fonctionnelle.
13
Fiche 4
Les diffrentes approches de lvaluation*
1. valuation* managriale et valuation* dmocratique
On oppose parfois deux types dvaluation* qui se distinguent par leur fonction :
lvaluation* managriale : amliorer la gestion ; lvaluation* dmocratique : accrotre la qualit du dbat dmocratique.
Ces deux objectifs ne sont pas contradictoires ; ils peuvent devenir complmentaires. En France, lvaluation* a lambition dtre la fois managriale et dmocratique. L valuation* managriale a les caractristiques suivantes :
la dmarche dvaluation* est intgre dans la gestion de ladministration. Cest le cas, la

DGCID, avec les valuations* des projets du Fonds de solidarit prioritaire (FSP). elle vise essentiellement optimiser les moyens budgtaires ; lindpendance de lvaluateur (prestataire) et lobjectivit de la mthode en sont les conditions ncessaires. Remarque : Cette conception de lvaluation* valorise lvaluateur et prsente le risque de "sacraliser" sa parole. L valuation* dmocratique sinscrit dans la logique suivante :
la dmarche dvaluation* vise surtout la transparence de lintervention publique et le dbat avec

des acteurs ou des utilisateurs concerns par cette intervention ; lvaluation* est dfinie comme un jugement port sur la valeur de lintervention publique. Le processus* est public et les experts apportent essentiellement leurs techniques valuatives. Remarque : Cette conception de lvaluation* confre un rle important aussi bien linstance dvaluation (comit de pilotage) qu lvaluateur. Le bureau de lvaluation du ministre des Affaires trangres (DGCID) privilgie cette approche par la constitution de comits de pilotage (cf. fiche 9) ouverts aux autres administrations, la socit civile et au monde de la recherche.
2. valuation* pour les services et/ou valuation* pour les dcideurs

Les valuations* se distinguent galement par le public auquel elles sadressent. Certaines valuations* sont conduites principalement lintention des services dans le but* de les aider amliorer leur action. Cest le cas, notamment, des valuations* de fin de projet* (permettant de tirer des enseignements pour un nouveau projet*). On parle alors dvaluations formatives*. Dautres valuations* sont menes lintention dacteurs qui ne sont pas directement impliqus dans la gestion de lintervention (les dcideurs, les media, les usagers) dans le but* de rendre des comptes. Ces valuations* permettent de juger lintervention publique et donnent les moyens aux autorits responsables de dcider du maintien de celle-ci, de sa suppression ou de sa reproduction. Ainsi, ces valuations* constituent une aide la dcision. On parle ici dvaluations rcapitulatives*. Une troisime catgorie est parfois mentionne : contribuer la connaissance gnrale : extrapoler des principes sur la base des rsultats* positifs, construire une thorie, synthtiser des modles transversaux, raliser des publications universitaires, difier une stratgie et/ou une politique.
15
3. valuation* pluraliste et valuation* partenariale

Ces deux types dvaluations* sont trs proches. La dmarche dvaluation* pluraliste est conue comme un processus* collectif de rsolution de problmes associant lensemble des parties concernes. Un exemple : en France, dans le cadre de lvaluation nationale de la prvention des risques naturels, linstance dvaluation comprenait des acteurs dorigines diverses : ministres, collectivits locales, agences publiques, associations... Les valuations* conduites par lex-Conseil national de lvaluation taient gnralement des valuations* pluralistes. Lvaluation* partenariale : concernant laide publique au dveloppement et la coopration internationale, les bailleurs de fonds sefforcent de rechercher la participation des reprsentants des tats et de la socit civile des pays bnficiaires* de laide. Les diffrentes conceptions de lvaluation* ne sexcluent pas mme si laccent peut tre mis sur lune dentre elles.
4. Les revues par les pairs

Les revues par les pairs (peer reviews) sont des mcanismes dvaluation bass sur le consensus existant au sein dun groupe de dcideurs, qui consentent une valuation par leurs pairs de leurs propres politiques. L efficacit de ce type dvaluation tient au fait que la pression par la rputation aura une porte importante pour modifier les pratiques. Les revues ou examens par les pairs des politiques daide au dveloppement ont commenc tre mis en uvre par le Comit dAide au Dveloppement de lOCDE dans les annes 90. Le CAD sest dot dun tel processus pour assurer un suivi des efforts dploys par ses membres en matire de coopration pour le dveloppement. Les politiques et les efforts daide de chaque membre font ainsi lobjet dun examen critique environ une fois tous les quatre ans. Cinq six programmes environ sont examins chaque anne. La France a fait lobjet dun examen par les pairs en 2004 et la prochaine revue interviendra en 2008. Les revues par les pairs peuvent sappliquer aux dispositifs dvaluation eux-mmes : lunit dvaluation dune agence daide value le dispositif dvaluation dune autre agence. On parle alors de mtavaluation. Cette pratique sest dveloppe au sein des organisations multilatrales, dans le cadre du rseau informel MOPAN et certaines agences bilatrales recourent galement de plus en plus frquemment ce type dvaluation, qui a pour objectif de faire voluer les pratiques dvaluation et de dfinir, partir des expriences concrtes, des normes et des standards dvaluation plus performants. Le bureau de lvaluation de la DGCID a fait lobjet dune mta-valuation, ralise par lunit dvaluation de la coopration belge en 2005 (cf. annexe 9).
16
Comment faire une valuation externe ?
17
Fiche 5
L valuation* externe type
1. Quentend-on par valuation* externe?
Une valuation* est qualifie dexterne lorsque la structure qui souhaite valuer ses actions fait appel des valuateurs extrieurs appartenant ladministration, au secteur priv, associatif ou lUniversit. Une valuation* externe est ncessaire car : elle favorise lindpendance, limpartialit, et lobjectivit tant des analyses que des recommandations*; elle permet de disposer de comptences spcifiques (conomie, mdecine, ducation, audiovisuel, urbanisme...) qui ne sont pas toujours disponibles en interne.
2. Prsentation dune dmarche-type

Une dmarche en dix tapes successives est propose : 1- Constitution du comit de pilotage (cf. fiche 9) Constitu par le service ayant la responsabilit de raliser lvaluation* et compos de personnes concernes par laction valuer (quils soient directement impliqus1 ou compltement extrieurs), le comit de pilotage anime lintgralit du processus* dvaluation*. 2- Rdaction des termes de rfrence (cf. fiche 6) et premire runion du comit de pilotage Prpars par le service commanditaire de lvaluation*, les termes de rfrence (le cahier des charges contenant les questions auxquelles lvaluation* devra rpondre et ses modalits de mise en uvre) sont examins et approuvs, en rgle gnral, lors de la premire runion du comit de pilotage. 3- Mise en concurrence de lexpertise extrieure (cf. fiche 11) Il est procd une mise en concurrence afin dtre en mesure de slectionner la meilleure offre auprs de consultants extrieurs (et conformment aux rgles du code des marchs publics). Le bureau de lvaluation* recommande dtablir, au cours de la premire runion du comit de pilotage, la liste restreinte des consultants invits faire parvenir leurs propositions. 4- Deuxime runion du comit de pilotage Le comit se runit une deuxime fois pour examiner les propositions et formuler un avis consultatif sur loffre la mieux-disante aprs une analyse technique et financire, et sur la base dun tableau de dpouillement (cf. annexe 2). 5- Attribution de la commande Le service prpare la lettre de commande qui sera prsente pour signature la personne responsable des marchs publics, puis soumise au visa du contrle financier. Le consultant ne pourra dmarrer sa prestation quaprs notification de la commande. 6- Premire phase de lexpertise et troisime runion du comit de pilotage (1re runion avec le consultant) Le consultant slectionn effectue, en fonction des termes de rfrence, la collecte et lanalyse de linformation ncessaire la rdaction de son rapport prliminaire. Il rencontre au moins une fois le comit de pilotage. Cette rencontre permet lvaluateur de prsenter, dans un document dtape, les
1) Selon les cas, les oprateurs (directement responsables de la ralisation de laction value) sont invits participer une plusieurs runions du comit de pilotage. Le bureau de lvaluation recommande leur participation, au moins titre dexperts, car lvaluation est avant tout formative.
19
premiers lments de sa rflexion. Le comit de pilotage, garant du bon droulement de lexercice, valide la mthodologie, le programme denqutes et de missions (sites visiter, guides dentretien, questionnaires, liste des personnes rencontrer). Le comit fournit lexpert les contacts, laccs aux archives et la base documentaire dont il pourrait tre demandeur. 7- Compte rendu de mission (facultatif) L valuateur devra rendre compte de sa mission au SCAC avant de quitter le pays, et il peut tre demand de faire parvenir une note rcapitulative (visites, rencontres, etc.) donnant quelques orientations gnrales avant la rdaction du rapport final. 8- Troisime phase de lexpertise et quatrime runion du comit de pilotage Aprs avoir effectu ses missions de terrain, lvaluateur rdige un rapport provisoire. L valuateur et le comit de pilotage engagent un dbat sur la base de ce rapport au cours dune runion spcifique. Le comit de pilotage sassure du respect des termes de rfrence par lvaluateur. 9- Remise du rapport dfinitif (cf. fiche 12) L valuateur tablit la version dfinitive de son rapport en prenant connaissance des observations des membres du comit de pilotage. 10- Utilisation de lvaluation* (cf. fiche 12) Le commanditaire, avec les services concerns, propose les suites rserver au rapport dvaluation*, qui peuvent tre discutes au cours dune sance de restitution. Selon les cas, la restitution sera limite aux seuls dcideurs ou ouvert toutes les parties prenantes*. Le service commanditaire organise la diffusion du rapport dvaluation*. Remarque : le nombre de runions du comit de pilotage peut varier de 3 6, ou plus, en fonction de lampleur de ltude, des difficults rencontres par les valuateurs et des modalits de ralisation* de lexercice.
20
Fiche 6
Comment laborer les termes de rfrence dune valuation* ?
La prsente fiche dcrit le canevas propos par le bureau de lvaluation* pour la rdaction des termes de rfrence (TDR) dune valuation* rtrospective. La longueur de la fiche rsulte de lintroduction dans ce document des principes directeurs (y compris des normes dontologiques), dinformations sur la procdure de la conduite dune valuation*, ainsi que des modalits de contrle de la qualit du processus* et du produit final. Une fois approuvs, ces termes de rfrence sont utiliss pour la mise en concurrence (consultation auprs des bureaux dtudes), la contractualisation puis pour la validation du rapport final. Schmatiquement, les termes de rfrence se divisent en six grandes parties : I) Description de laction valuer II) Description des enjeux et de la dmarche gnrale III) Description du travail demand lvaluateur IV) Description de la prestation fournir V) Description du processus dvaluation* VI) Description des livrables Choix dun titre
Prvoir un intitul relativement court et explicite. Eviter les sigles et codifications de projets. Un sous-titre est souhaitable pour donner des informations supplmentaires (n projet, pays,
secteur, thme, oprateur). Signaler dans le titre, ou le sous-titre, quil sagit dune valuation* rtrospective. Prciser le pays, la zone et la priode prise en compte.
1. Description de laction valuer

1.1. Prsentation de laction valuer et de son contexte
Prsenter laction valuer avec un rappel historique. Situer lobjet valuer dans le cadre de la coopration internationale et des relations bilatrales
avec lorganisme ou le pays partenaire*. Indiquer les principaux objectifs initiaux de la coopration valuer. Quels sont les intrts en jeu, la raison dtre du projet, ses objectifs principaux ? Rappeler les moyens humains, financiers et techniques mobiliss. Prciser les activits* concernes, les bnficiaires*, la zone couverte et la priode prise en compte. Enumrer les divers partenaires* et oprateurs impliqus. Fournir, sils existent, les indicateurs* permettant dassurer le suivi* et le contrle.
21
Principe dopportunit (extrait de la charte de lvaluation1) Les moyens financiers et humains disponibles pour piloter et raliser des valuations* sont consacrs en priorit aux oprations les plus susceptibles de produire des rsultats* du point de vue des finalits* mentionnes dans le prambule de la prsente charte : compte-rendu dmocratique, efficacit* de la dpense publique et apprentissage organisationnel. Les procdures de dcision en matire de choix des thmes dvaluation* doivent garantir cette bonne utilisation des moyens. 1.2. Justification de lvaluation*
Lvaluation* a-t-elle t prvue ds le lancement de lopration ? A quel moment cette valuation* intervient-elle (mi-parcours*, finale, ex post*) ? Qui demande lvaluation* ? Quels sont les raisons motivant lvaluation* ? Quels sont les objectifs initiaux ? En quoi lvaluation* sintgre dans les objectifs gnraux du commanditaire ? Quelles sont les principales interrogations et hypothses pralables concernant lobjet valuer ? Comment prvoit-on dutiliser les rsultats* de lvaluation* ?
En principe, ce quil adviendra de lvaluation* aprs la remise du rapport final ne concerne pas directement le consultant (et nest pas indiqu dans les TDR). Le commanditaire devra, pour sa part, se projeter la fin du processus* afin de prvoir les suites et ainsi anticiper les modalits dutilisation du rapport.
2. Description des enjeux et de la dmarche gnrale

2.1. Problmatique de lvaluation*
Quelles sont les principales proccupations du commanditaire ? Sagit-il dune valuation rcapitulative* (destine rendre compte aux dcideurs) et/ou dune
valuation formative* (destine tirer des enseignements pour les oprateurs) ? Quel est la proccupation principale ? Quelles sont les interrogations et les attentes des autres parties prenantes* ? Y a-t-il une priorit ou une hirarchie dans les questions ? Y a-t-il eu des interactions avec dautres projets* ou politiques qui auraient induit des consquences imprvues ? Gnralement, dans le cadre dune valuation de projet*, les modes de ralisation* de lvaluation* sont dj fixes (par exemple dans le rapport de prsentation du projet FSP), mais il nest pas inutile de sinterroger sur les modalits dun exercice conjoint (avec dautres bailleurs de fonds), en partenariat (avec le pays concern), dans une perspective plus large (sectorielle). 2.2. Dmarche de lvaluation*
Quelles sont les grandes lignes de la mthode dvaluation* choisie ? (mission de terrain notamment ; cette partie sera dveloppe par lvaluateur).
1) La charte de lvaluation des politiques publiques et des programmes publics a t adopte par lAssemble gnrale de la Socit franaise dvaluation (SFE) en 2003, et rvise en 2006. Elle est consultable sur le site de lassociation : www.sfe.asso.fr. Dautres associations dans le monde ont galement adopts des principes gnraux, dont lAfrEA, lassociation africaine dvaluation, disponible sur le site en version franaise www.afrea.org . Lassociation europenne dvaluation travaille galement llaboration de standards de qualit, de principes thiques et de normes : www.europeanevaluation.org
22
Quel est le planning dintervention (dates souhaites pour la mission de terrain, pour la remise du
rapport final provisoire). Sagit-il dune valuation* conjointe (avec un autre bailleur de fonds) ou partenariale (avec le pays bnficiaire) ? Description prcise du droulement des diffrentes tches de la dmarche valuative (cette rubrique sera dveloppe par lvaluateur). Les TDR ne sont pas un cahier des charges respecter stricto sensu, mais une trame relative une tude qui se doit de prvoir (sans les fixer) les modalits de linvestigation raliser, partir de laquelle les consultants laborent des propositions techniques et mthodologiques. Il existe un dosage variable et changeant entre les indications du commanditaire sur les mthodes dvaluation* (qui doivent tre envisages dans les TDR) et les propositions avance par les consultants. En tout tat de cause, lapprciation des propositions portera sur la description des mthodes denqute (qui ne peuvent se rsumer la seule consultation des documents et des interviews des personnes concernes). Les TDR sont annexs la commande et sont donc contractuels, mais ils doivent aussi pouvoir tre rexamins en cours dexercice. 2.3. Le champ de lvaluation*
Quelle sont les limites (temporelles, spatiales, etc.) de lopration valuer ?

Dans le cas de lvaluation dun projet* FSP, le champ de lvaluation* correspond au primtre du projet (secteur, partenaire*, acteurs, dure, moyens, etc.). Dans tous les autres cas, ce point relatif au champ est essentiel. Dailleurs, mme dans le cas dun projet* circonscrit il nest pas inutile de prciser le champ (qui peut par exemple prendre en compte la phase de prparation du projet, exclure certaines activits* ou prciser les acteurs en prsence).
3. Description du travail dvaluation*

3.1. Les faits : tablir un bilan global de laction de coopration Processus* : partir dobservations recueillies, classes et tries pour en dduire des constatations*
Description de laction de coopration sur la priode de rfrence. Prsentation des attentes et des demandes du (des) partenaire(s)* en termes de coopration sur la
priode de rfrence.
Expos des objectifs de dpart de laction. Prsentation des diffrents acteurs de la coopration. Rappel des lments de contexte et des grandes volutions des relations sur la priode tudie. Description de la logique dintervention de la coopration et de son cadre juridique. Prsentation des volutions quantitatives et qualitatives des moyens utiliss. Examen des instruments utiliss. Etude des modalits de partenariat. Prsentation des modalits de suivi* et de pilotage de laction. Comparaison avec les actions ventuelles dautres bailleurs de fonds bilatraux et multilatraux
(montants, contenus).
23
Principe de respect des personnes (extrait de la charte de lvaluation) Les participants au processus* dvaluation* respectent les droits, lintgrit et la scurit de toutes les parties concernes. Ils sinterdisent de rvler lorigine nominative des informations ou opinions recueillies, sauf accord des personnes concernes. 3.2. La dmarche analytique : valuer laction de coopration Processus* : partir des constatations*, appliquer les critres de lanalyse pour aboutir aux jugements Sur la base des questions valuatives poses dans les TDR, les valuateurs laborent des critres de jugements (=hypothses de travail et trame de leur questionnement), en dterminant les indicateurs*, quantitatifs et qualitatifs, qui leur permettront dy rpondre. Il sagit dvaluer laction partir des critres admis dans le domaine de lvaluation* des politiques publiques, reconnus en France et par la communaut internationale. Si cette action est relative plusieurs projets* ou plusieurs secteurs, les lments dont lampleur est significative (tant en termes financiers quen termes dimpact*) font lobjet de dveloppements spcifiques. Principe de comptence (extrait de la charte de lvaluation) Les personnes participant au processus dvaluation* titre professionnel mettent en uvre des comptences spcifiques en matire de conception et de conduite de lvaluation*, de qualit de la commande, de mthodes de collecte de donnes et dinterprtation des rsultats*. Elles ont le souci damliorer et de mettre jour leurs comptences. Elles sappuient sur des mthodes reconnues, notamment celles en usage dans la communaut internationale de lvaluation*. Elles utilisent ces mthodes en explicitant leurs limites. Les critres prsents ci-aprs devraient tre repris selon un questionnement (les questions valuatives) qui sapplique laction valuer. Il nest pas ncessaire de les reprendre en totalit, et il est souhaitable dtablir des priorits. Le rdacteur des TDR, et les membres du comit de pilotage, peuvent sinspirer des critres dvaluation* prsents ci-aprs, avec leur dfinition couramment admise, pour laborer les questions valuatives spcifiques lopration concerne. Les critres sont un support pour llaboration des TDR, non une obligation. Ils peuvent tre complts par dautres critres : qualit des services, partenariat, renforcement des capacits, etc. A noter cependant que les critres forment la trame de lanalyse, ils ne sont pas abords en fin dexercice.
La pertinence* examine le bien-fond de laction au regard des objectifs et enjeux dtermins au

dpart. Les lments suivants peuvent tre examins : Concordance avec les finalits* de la politique nationale du pays (CLSP, DSRP, politiques sectorielles) ; Correspondance avec les besoins et les demandes des bnficiaires* ; Conformit avec les orientations gnrales du ministre (dcisions du Cicid, stratgies sectorielles, document-cadre de partenariat).
La cohrence apprcie les rapports entre les divers lments constitutifs de laction. Les lments
suivants peuvent tre examins :
Cohrence interne : Concordance des divers moyens et instruments mobiliss pour concourir
la ralisation* des objectifs. Il sagit de dterminer si la conception du projet*, du programme*, a
24
t correctement effectue au regard des objectifs viss et des rsultats* recherchs (conception, moyens envisags, choix des oprateurs, planification des oprations, pertinence* des hypothses initiales) ; Cohrence externe : concordance avec les politiques des partenaires* (administrations centrales et dcentralises), les actions entreprises par les organisations internationales, autres bailleurs et institutions rgionales, et ventuellement les organisations non gouvernementales. Cohrence transversale : cohrence entre les politiques publiques susceptibles davoir un impact* sur le dveloppement (commerce, finance, migration, scurit) et la politique de dveloppement.
Leffectivit rend compte de la ralit des actions conduites. Les lments suivants peuvent tre
examins :
Nature et modalits des ralisations* ; Degr de ralisation* des activits* ; Taux dexcution financire ; Respect des dlais et du chronogramme ; Qualit du suivi* et de la gestion des imprvus ; Recherche des lments de surcot ventuel et de leurs causes ; Runions du comit de pilotage du projet (ou autres modalits de relations partenariales) ; Vrification, le cas chant, de lapplication des clauses (signature de la convention, dblocage
des fonds, conditions suspensives) ;
Lefficacit* apprcie le degr de ralisation* des objectifs de laction ainsi que ses ventuels effets
non attendus (effets positifs ou ngatifs). Les lments suivants peuvent tre examins :
Rsultats* attendus et rsultats* effectifs de laction ; Rsultats* imprvus (ngatifs ou positifs, effets daubaine) ; Analyse des carts constats. Lefficience* tudie la relation entre les cots et les avantages, entre les rsultats* obtenus et les
ressources* utilises. Les lments suivants peuvent tre examins :
Modalits de mobilisation des ressources* financires, techniques, organisationnelles et humaines (ont-elles t bien mobilises en temps voulu et au moindre cot ?) ; Comparaison des cots avec des lments de rfrence pertinents (benchmarking) ; Rapprochement des rsultats* obtenus avec les sommes dpenses ; Explication des ventuels surcots et retards observs ; Analyse de modalits possibles qui auraient permis datteindre les mmes rsultats* avec des moyens plus restreints ou des instruments diffrents (exemple : comparaison avec des actions quivalentes dautres bailleurs de fonds).
25
Limpact* juge les retombes de laction, attendus ou non, moyen et long terme en tudiant les effets
de celle-ci dans une perspective largie. On mesure ici aussi bien les effets immdiats de laction que les impacts* long terme dans une vision plus vaste. Au-del de la constatation des faits, il sagit galement dexpliquer pourquoi les changements observs ont eu lieu et dans quelle mesure ils sont imputables lopration analyse. Les lments suivants peuvent tre examins :
Identification des catgories de la population ayant bnfici (directement ou indirectement) de

laction et estimation du nombre de personnes concernes par catgorie ; Description quantitative de limpact* de laction ; Description qualitative de limpact* de laction (ngatif, positif, attendu, imprvu) : cration ou consolidation dune structure ou dune politique du pays bnficiaire, renforcement des capacits, promotion dune politique de genre, modification souhaitable des pratiques, valorisation de lexpertise franaise, visibilit de lopration, sensibilisation des groupes cibles, image de la coopration
La viabilit* (ou la prennit, ou encore la durabilit) examine si laction a engendr une structure ou
des pratiques capables de vivre et de se dvelopper aprs la fin de lintervention. Les lments suivants peuvent tre examins :
Viabilit* financire et oprationnelle des mcanismes ; Prise en charge institutionnelle des activits* par les responsables de laction et/ou les autorits
locales des activits* ; Maintien de la coopration en fonction de lvolution de son contexte local (stabilit institutionnelle et politique, contexte conomique, perception de la coopration par les bnficiaires*, etc.) et des relations bilatrales ; Possibilit de reproduire ou de gnraliser lopration. Mthodes : les valuateurs veilleront prsenter clairement les mthodes dinvestigation et danalyse utilises afin de dmontrer les procdures suivies pour collecter linformation, sassurer de sa qualit et de sa validit* (triangulation*), tablir progressivement les tapes entre les observations (donnes brutes), les constatations* (indicateurs* labors, ratios), les jugements ports (qui font rfrence lexprience des experts) et les conclusions* auxquels ils aboutissent. Les valuateurs fourniront un calendrier reprenant les diverses tches effectues (questionnaires, enqutes, tudes de cas, etc.). Les valuateurs doivent galement justifier des choix de leurs analyses, rendre compte des limites de leurs travaux et expliquer les dficiences. Ces lments peuvent figurer en annexe de leur rapport. Le rapport dvaluation* sera jug au regard des lments proposs dans la fiche standards de qualit (cf. annexe 12). Processus* : partir des jugements tablis dterminer les conclusions* 3.3. Les conclusions* Les valuateurs parviendront des conclusions* explicites de faon claire (par type daction, dacteur...) et dcriront les moyens utiliss pour arriver ces conclusions* valuatives.
Quelles conclusions* dduit-on des jugements ? Les conclusions* rpondent-elles clairement aux questions des TDR ? Quelles ont t les forces et les faiblesses du projet ? Quelles sont les causes des carts par rapport aux rsultats* prvus ?
Les points forts et les points faibles de laction seront souligns.
26
3.4. Les recommandations* Sur la base des rsultats* de laction et dune analyse du contexte de laction value, les experts formuleront des recommandations*. Ces propositions doivent tre ralistes. Les recommandations* doivent contribuer amliorer les performances de la coopration.
Quelle(s) conclusion(s) induisent quelle(s) recommandation(s)* ? Comment les atouts (ou forces) du projet peuvent tre consolids ? Dans quelle mesure les difficults (ou faiblesses) du projet pourraient tre rsolues ? Quelle est la hirarchie des prconisations, selon leur importance ? Quelle est la hirarchie des prconisations selon un calendrier prvisionnel ? Quelles sont les recommandations* dordre stratgique et celles dordre oprationnel ? Quels sont les enseignements caractre plus gnral qui peuvent tre tirs ?
Dans la mesure du possible, les valuateurs affecteront chacune des recommandations* aux diverses parties concernes (services techniques, partenaires*, oprateurs, direction gnrale, etc.), en prvoyant un calendrier (CT, MT, LT) et en proposant des indicateurs* de suivi* de ces recommandations*. 3.5. Tirer des enseignements A partir des conclusions* et des recommandations* de lvaluation*, les valuateurs pourront tirer des enseignements caractre plus gnral pouvant tre tendus dautres actions (sectoriels, oprationnels, techniques, institutionnels, ou options stratgiques, etc.). Les valuateurs devront distinguer les prconisations qui sadressent directement lopration value, orientes vers les acteurs du projet et qui rpondent aux questions valuatives, dautres prconisations qui rsulteraient de leur investigation (qui concernent par exemple les instruments, les modalits financires, lexpertise, etc.) et dont la dcision nest pas de la responsabilit des services oprationnels. 3.6. Etablir une synthse
Quels sont les objectifs de lvaluation* ? Quelles sont les diffrentes questions auxquelles lvaluateur a tent de rpondre induites par la
problmatique de lvaluation* ? Quelles sont les conclusions* apportes chaque question ? Quelles sont les recommandations* apportes chaque conclusion ? N.B. La synthse (de 2 10 pages selon les rapports) se distingue de la fiche rsum qui sera tablie selon un canevas standardis et limite deux pages.
4. Conditions particulires de la mise en concurrence

4.1. Description de lexpertise attendue Prciser le profil souhait pour les experts, les connaissances spcifiques et les expriences requises. Signaler quune comptence effective est attendue en matire dvaluation* des politiques publiques. Les CV doivent tre fournis. Il sera demand au consultant dexpliquer, dans sa proposition, la mthodologie quil se propose dutiliser (contexte, activits*, problmatiques, acteurs, dlais, moyens) :
techniques de collecte et de traitement de linformation : recherche documentaire, examen des

dossiers et archives, observation directe, enqute statistique, questionnaires, enqutes, opinions dexperts et de responsables, ateliers, tudes de cas ;
27
techniques danalyse (cadre logique*, tude des changements, mthodes participatives*, dmarche systmique, etc.); hypothses de travail ; mode dorganisation du travail (rpartition des tches), chronogramme. Un certain nombre de rgles doivent prsider la slection des consultants : La premire est celle du caractre externe et indpendant des experts ; La mise en concurrence est la procdure privilgier : elle est obligatoire pour les prestations de plus de 4 000 (elle nest videmment pas ncessaire dans le cas dexperts publics pour lesquels il nest prvu que la prise en charge des frais de dplacements et de leur per diem) ; Indiquer les qualifications requises, les comptences mobiliser, les connaissances attendues ; Prciser, ventuellement, la composition de lquipe dexperts (seniors, juniors, consultants locaux) ; Promouvoir, dans la mesure du possible, les valuations* conjointes, avec les partenaires* locaux ou dautres cofinanceurs. Principe de distanciation (extrait de la charte de lvaluation) Lvaluation* est conduite de faon impartiale. Les personnes participant lvaluation* titre professionnel informent les autres partenaires de tout conflit dintrt ventuel. Le processus dvaluation* est conduit de faon autonome par rapport aux processus de gestion et de dcision. Cette autonomie prserve la libert de choix des dcideurs publics. 4.2. Choix du prestataire Les termes de rfrence indiqueront les modalits (dates prvisibles, mise en place dune commission ad hoc) et les critres qui seront appliqus pour choisir le prestataire. Le bureau de lvaluation recommande une slection en deux tapes (cf. fiches 10 et 11). Dans un premier temps, le commanditaire informe, aussi largement que possible, les candidats potentiels manifester leur intrt (par lenvoi dune lettre dintention, de CV et de rfrences ad hoc), puis dans un second temps, partir dune liste restreinte, de faire des propositions sur la base des TDR. Le nouveau code des marchs publics admet dornavant la voie lectronique. Le bureau de lvaluation peut sur demande (et pour le compte des autres services) diffuser les avis dinformation. Prvoir environ 15 jours pour la 1re tape et trois semaines (21 jours) pour la 2me tape. Les catgories suivantes peuvent tre retenues pour la slection partir des TDR (cf. annexe 2) :
Comprhension du sujet, qualit rdactionnelle et prsentation gnrale ; Proposition mthodologique relative au processus* dinvestigation et danalyse ; Rfrences du cabinet dtude, connaissances (outils de la coopration,
gographique), comptences (valuation*) et qualifications (sectorielles) des experts ; Chronogramme et organisation gnrale ; Devis prvisionnel (cf. annexe 1).
APD, zone
Les termes de rfrence doivent permettre aux consultants dexprimer leur proposition dans les meilleures conditions et dans le respect dune mise en concurrence libre, ouverte et intgre. Le commanditaire se doit donc dtre aussi prcis que possible sur son attente, les conditions de ralisation*, les cots (nombre dexperts, de jours dexpertise, de dure de la mission) ainsi que le calendrier
28
Il peut tre indiqu le nombre total de jours experts total envisag pour mener lvaluation*, ou ventuellement le montant des crdits rservs pour lexercice, charge pour le consultant dindiquer le nombre de jours experts propos. Dans le cas dune quipe dvaluateurs, la proposition du consultant devra mettre en vidence les comptences respectives des membres qui couvrent toutes les qualifications attendues et la rpartition des temps, des fonctions et des tches. respecter.
5. Processus* dvaluation*
5.1. Le comit de pilotage Il est souhaitable de mettre en place une instance charge de la prparation, du lancement, du suivi* et de la validation des travaux. Cette instance, qui peut tre ddouble localement par un comit de suivi local, sera compose en fonction des circonstances. Elle permet de confronter les points de vue de tous les acteurs et doit souvrir si possible vers dautres participants, non directement impliqus dans le projet. Principe de pluralit (extrait de la charte de lvaluation) Lvaluation* prend en compte de faon quilibre les diffrents points de vue lgitimes qui ont t exprims sur laction value. Cette prise en compte de la pluralit des points de vue se traduit -chaque fois que possible- par lassociation des diffrentes parties prenantes* au processus dvaluation*, ou par tout autre moyen appropri. Prciser les lments suivants :
rle : lexercice dvaluation* permet de confronter des rflexions et des avis, notamment au sein
dun comit de pilotage constitu de participants internes et externes ; nombre de runions : le comit se prononce successivement sur les termes de rfrence, le choix de lexpertise, les diffrents rapports ; composition : une douzaine de personnes, en rgle gnrale. La prsidence sera confie une personnalit extrieure au sujet valu. Principe de responsabilit (extrait de la charte de lvaluation) La rpartition des rles entre les diffrents acteurs de lvaluation* est tablie ds le dpart de faon ce que toutes les fonctions de celle-ci soient bien prises en charge (dfinition du mandat, pilotage du processus, enqutes et analyses, formulation du jugement et des recommandations*, diffusion des rsultats*). Les personnes et institutions impliques dans le processus dvaluation* mobilisent les moyens appropris et fournissent les informations ncessaires la conduite de lvaluation*. Elles sont conjointement responsables de la bonne application des principes noncs dans cette charte. 5.2. Les tapes de lvaluation* Les termes de rfrence doivent requrir des valuateurs une description des tapes successives de lvaluation*. En gnral, trois phases sont prvues, respectivement : tude sur dossier et entretiens, dplacements et visites, rdaction du rapport. Le prestataire doit tablir un chronogramme comportant des prcisions relatives la mise en uvre des diffrentes tapes de lexercice. La dure totale de lexpertise est estime en nombre dexperts/jour. Outre les salaires ou honoraires, le devis doit galement valuer les frais lis aux dplacements (transports, per diem) et aux dpenses
29
diverses (cf. annexe 1). Le service commanditaire doit estimer le montant de ces dpenses et les comparer au devis soumis par les valuateurs. Il est souhaitable que le commanditaire ait ds le lancement de la commande une ide des modes de restitution, de rtroaction* et de valorisation de lvaluation*.
6. Les livrables (rapport dvaluation*)

Principe de transparence (extrait de la charte de lvaluation) La prsentation des rsultats* dune valuation* saccompagne dun expos clair de son objet, de ses finalits*, de ses destinataires, des questions poses, des mthodes employes et de leurs limites, ainsi que des arguments et critres qui conduisent ces rsultats*. La diffusion publique des rsultats* dune valuation* est souhaitable. Les rgles de diffusion des rsultats* sont tablies ds le dpart. Lintgrit des rsultats* doit tre respecte, quels que soient les modalits ou les supports de diffusion retenus. Il est utile, dans les termes de rfrence, de donner des prcisions sur la nature et la forme des rapports attendus. Les lments ci-dessous peuvent tre utiliss cet effet par le rdacteur des termes de rfrence. 6.1. Rapport prliminaire Un rapport prliminaire (ou rapport dtape) peut tre demand aux valuateurs. Celui-ci doit comporter :
des lments relatifs au bilan de laction value : cadrage et contexte de laction de coopration,
donnes chiffres. Le rapport prliminaire doit attester dune premire exploration des documents darchives et prsenter les entretiens raliss ; la dfinition dune mthodologie (description des mthodes de collecte de linformation, questionnaire(s) et guide(s) dentretien dispenser) ; un programme de visites ; un calendrier prvisionnel mis jour. 6.2. Note de fin de mission (facultative) Les experts auront eu une runion de debreifing avec les services de la coopration franaise la fin de leur mission de terrain. Ils sont galement invits faire parvenir au service commanditaire une note de fin de mission qui est dordre factuel. Il sagit dune note dambiance signalant les sites visits et rpertoriant les personnes rencontres. 6.3. Rapport provisoire Le rapport provisoire est le rsultat de lintgralit du travail des experts. Il fait lobjet dune analyse par le commanditaire et dobservations du comit de pilotage. Le rapport doit comporter la mention suivante : "Ce rapport est un document interne tabli la demande du ministre des Affaires trangres. Les analyses et commentaires dvelopps nengagent que leurs auteurs et ne constituent pas une position officielle. La diffusion de ce rapport a un caractre limit et son usage est strictement limit au cadre officiel". Une fois valid, ce rapport provisoire constitue le rapport dfinitif dvaluation*. 6.4. Rapport dfinitif Aprs avoir pris connaissance des ventuelles observations du comit de pilotage, et des demandes de complments, de modifications et de prcisions du commanditaire, parfois aprs plusieurs itrations, le Le rapport final doit tre remis sous forme papier (indiquer le nombre dexemplaires) et transmis par voie lectronique (en fichier Word).
30
rapport final est remis conformment la charte graphique. Tout rapport dvaluation* finale doit comporter les lments suivants :
un sommaire ; une liste des sigles utiliss ; une carte ; une synthse du rapport : 2 3 pages pour les valuations de projets* et de programmes*, 10 pages
pour les valuations* sectorielles et gographiques. Cette synthse doit comprendre : - un bref rappel des objectifs poursuivis par la Coopration franaise, le contexte et les enjeux des actions menes ; - les montants et la dcomposition des diffrentes catgories de dpenses engages (par instrument, par acteurs et par secteur) ; - une description des grandes tapes de laction ; - un rsum des rsultats* obtenus, de limpact* des actions, des bnfices obtenus pour la France et pour le pays bnficiaire ; - un rappel des apprciations de laction laune des critres dfinis par le cahier des charges techniques, et des principales causes des carts ventuellement constats par rapport aux effets* attendus ; - un rappel des principales recommandations* ; L action valuer est certes bien connue du commanditaire de ltude, mais le rapport tant appel demeurer et circuler, il est ncessaire de disposer dindications sur le projet qui peuvent tre fournies sous forme dune fiche rsum en annexe.
une prsentation de lopration value un rappel mthodologique : rappel des choix oprs, des techniques utilises et des tapes du travail
dvaluation* ; une analyse : celle-ci doit tre organise partir des donnes recueillies et des observations effectues. L analyse est effectue selon les critres communment retenus dans le domaine de lvaluation* des politiques publiques ; des conclusions* : celles-ci doivent tre explicites de faon claire (par type dactions et dacteurs) ; des recommandations* oprationnelles. Les annexes peuvent comporter, dans lordre :
les termes de rfrence de lvaluation* ; la liste des personnes rencontres ; le compte-rendu des tudes de terrain ; les instruments de collecte de linformation (questionnaires, guides dentretiens) ; les donnes gnrales et chiffres complmentaires pour la comprhension des travaux ; le glossaire des termes techniques ; une prsentation des experts ; les grandes lignes de la mthodologie mise en uvre ;
Les principes de la charte de lvaluation* qui sont rappels dans ce document sappliquent tant aux commanditaires quaux consultants. Ils rencontrent certainement des limites et des difficults dapplication. Le bureau de lvaluation souhaite recueillir les observations des uns et des autres.
31
la liste des membres du comit de pilotage et les dates des runions ; une bibliographie (y compris sites Internet).
Addenda utile : - Il est utile de demander chaque candidat de prsenter une proposition rsume en une page (uniquement la partie mthodologique), afin de faciliter lanalyse par les membres du comit de pilotage (par courriel), et qui deviendrait une annexe du rapport final. Documents joindre aux TDR (cf. annexes) :
devis prvisionnel fiche rsum de rapport dvaluation fiche standards de qualit

N. B. Ces documents (ainsi que tout ou partie du prsent guide) peuvent tre transmis en fichier Word sur simple demande au bureau de lvaluation (evaluation.dgcid@diplomatie.gouv.fr)
32
Fiche 7
Le cadre logique de lvaluation*
Les critres de lvaluation* sont des outils* dapprciation qui produisent des analyses comparatives entre deux niveaux de ralisation* dun projet*, dun programme* ou dune politique. Les indicateurs* sont des mesures sur un mme niveau (ex. objectif gnral et effets*).
33
Fiche 8
Comment concevoir des indicateurs* de rfrence dans le cadre dune valuation* ?
1. Quest-ce quun indicateur* ?
Un indicateur* est la mesure dun objectif atteindre, dune ressource* mobilise, dun effet* obtenu, dun lment de qualit ou dune variable du contexte. L indicateur* produit une information synthtique quantifie permettant dapprcier les divers aspects dun projet*, dun programme* ou dune stratgie de dveloppement. Il permet dobtenir des comparaisons synchroniques ou diachroniques. Toutes les agences daide, les organismes dintervention et les actions de dveloppement produisent des indicateurs*. Chaque nouvelle politique est dote dune batterie dindicateurs*. Par exemple, les objectifs du millnaire pour le dveloppement sont au nombre de huit, dont le principal est de rduire de moiti en 2015 (par rapport 1990) la proportion des personnes qui vivent avec moins de un dollar par jour et souffrent de la faim. Et 21 indicateurs* sont associs. La nouvelle loi organique relative aux lois de finances (LOLF), qui entre en vigueur pour la loi de finances 2006, prvoit pour chaque ministre la cration dun projet annuel de performances* prcisant notamment la prsentation des actions, des cots associs, des objectifs poursuivis, des rsultats* obtenus et attendus pour les annes venir mesurs au moyen dindicateurs* prcis. Toute activit humaine peut tre illustre par un ou plusieurs indicateurs*, mais chaque activit* appelle plusieurs indicateurs*. Chaque indicateur* doit tre accompagn dun commentaire, qui reste souvent implicite (par ex. PIB/hab) et parfois oubli. Par exemple : savez-vous quelle est la liste des sousindicateurs de lIDH (indice du dveloppement humain) ? (rponse, en bas de pages1).
2. Nature des indicateurs* de projets*

La construction du cadre logique* dun projet* implique la dtermination dobjectifs gnraux et spcifiques, et appelle la cration des indicateurs* qui permettront de sassurer de latteinte de ces objectifs. Les projets du fonds de solidarit prioritaire, tablis selon le cadre logique*, induisent trois grandes catgories dindicateurs* (dont quelques uns sont prsents en annexe 5) : 1. les indicateurs* denvironnement, de contexte ou de situation de dpart Les indicateurs* de contexte (ou de situation) refltent les contraintes gnrales de la coopration (exemple : taux de croissance du PIB, nombre de mdecins par habitant, ratio de laide publique au budget dinvestissement) et fournissent des lments sur ltat des lieux* avant projet (donnes pidmiologiques, taux de scolarisation des filles, nombre dauditeurs, de lecteurs, etc.) ; 2. les indicateurs* de moyens (intrants* ou ressources*) et dactivits* (extrants*) Ces indicateurs* informent sur la disponibilit, laffectation ou la consommation des ressources* humaines, organisationnelles et financires et mesurent la production des services (exemple : taux dengagement ou de dpenses, nombre de sminaires, taux de participation, nombre douvrages achets) et refltent les rsultats* intermdiaires attribuables laction concerne au regard des objectifs affichs (exemple : nombre de personnes formes, nombre de livres distribus) ;
1) Outre le PIB/hab. il faut tenir compte de : longvit, scolarisation et alphabtisation, niveau de vie.
35
3. les indicateurs* de rsultats* finals ou de performance* Les indicateurs* de performance* sont directement associs aux critres de lvaluation*, notamment : - les indicateurs* defficacit* mettent en rapport ce qui est obtenu et ce qui tait attendu, ils doivent recevoir une valeur cible qui dcline lobjectif recherch ; ils peuvent tre accompagns dindicateurs* de qualit (de process ou de satisfaction du client), - les indicateurs* defficience* comparent les rsultats* aux cots de rfrence (exemple : cot par personne forme, cot total des oprations de micro-finance par rapport au nombre de personnes bnficiaires* ayant durablement dpass le seuil de pauvret), - les indicateurs* dimpact* estiment les effets* de la coopration, quils soient globaux ou quils concernent seulement ses bnficiaires* (exemple :accs du justiciable au droit, nombre de jumelages). La mesure dun indicateur* peut tre directement quantitative ou rsulter dun classement qualitatif ; elle peut tre une valeur absolue ou un ratio. Les indicateurs* peuvent tre prsents sous forme dun tableau et assembls pour devenir des indicateurs* composs : une somme pondre de plusieurs indicateurs* lmentaires ou drivs (exemple : lindice de dveloppement humain), ou encore des indicateurs* gnriques en vue de comparer plusieurs interventions de nature diffrente au sein du mme programme* ou du mme secteur.
3. Quelles sont les caractristiques dun bon indicateur* ?

Les indicateurs* choisis doivent tre SMART (Specific, Measurable, Achievable, Relevant and Timebound)et, de manire gnrale, prsenter les qualits suivantes :
Etre pertinent : reflter rellement ce quil est cens mesurer, et avoir un rapport direct avec lobjectif
quil illustre. Etre synthtique et slectif : il doit se rapporter un lment suffisamment substantiel ou concentrant les enjeux de la coopration. Etre clair et facile interprter. Etre prcis. La dfinition des grandeurs est prcise et vrifiable. Etre fiable. Les donnes doivent tre comparables dans le temps et rgulirement actualises. Etre disponible un cot compatible avec les bnfices que lon attend de leur usage. Etre utile. Lindicateur* a vocation appuyer le pilotage et/ou la prise de dcision. Etre lgitime. Les partenaires* et utilisateurs de lindicateur* le considrent-ils comme prcis, fiable et pertinent ? Etre responsabilisant sil sagit dun indicateur* de rsultat (le gestionnaire a-t-il la matrise des rsultats* mesurs ?). Les indicateurs* dimpacts* et les indicateurs* de rsultats* sont les plus difficiles dfinir et les plus coteux renseigner. Attention : le projet doit galement prciser quelle entit est charge de collecter les lments afin dobtenir les indicateurs* attendus, et selon quelle priodicit.
36
Fiche 9
Le comit de pilotage1
1. Un rassemblement autour de lvaluation*
Le comit de pilotage de lvaluation* est constitu de personnes susceptibles dapporter un clairage sur la coopration valuer. Il est souhaitable que ces personnes expriment sur cette coopration une diversit de points de vue. Le comit de pilotage est un groupe de travail qui a un rle de rflexion et de proposition. Il contribue la prparation et la ralisation* de lvaluation*, la validation des rapports et la dissmination des rsultats*.
2. Qui inviter ?
Seront invites participer au comit de pilotage des personnes de diffrentes directions du ministre des Affaires trangres, dautres dpartements ministriels, dinstitutions extrieures ladministration (exemple : instituts de recherche), de la socit civile ou du secteur priv. Les personnes membres du comit de pilotage ne pouvant se rendre une runion font part de leurs rflexions par crit. Important : au moment de la constitution du comit de pilotage, une attention particulire est apporte au choix du prsident. De prfrence non directement concern par le sujet valu, le prsident a un rle de modrateur au sein du comit de pilotage. Il facilite le cheminement de lexercice dvaluation* et contribue la phase de restitution.
3. Que fait le comit de pilotage ?

Le comit de pilotage se runit trois ou six reprises loccasion dtapes importantes de lvaluation*.
laboration des termes de rfrence (cf. fiche 6) ; choix du consultant (cf. fiche 10) ; suivi* et validation des travaux de lvaluateur (rapport prliminaire, plan de mission et compte-rendu
de mission) ; examen, discussion et validation du rapport provisoire (cf. fiche 12).
1) lintitul de cette instance dvaluation nest pas fig : il peut sagir dun groupe de suivi, de commissions dtudes, dinstances de concertation, de runions ad hoc.
37
Fiche 10
Profil et choix de lexpertise
Avertissement : les principes de publicit et de mise en concurrence sont la rgle pour la slection de lexpertise. Le bureau de lvaluation peut vous aider.
1. Profil de lexpertise
Rgle gnrale : faire appel un regard extrieur, indpendant et non impliqu dans lopration valuer. Le profil attendu des experts doit faire lobjet dune dfinition ds la rdaction des termes de rfrence de lvaluation*. Ce document doit prciser la constitution et la composition souhaitables pour lquipe dexperts (comptences et expriences, statut senior ou junior, recours une expertise locale). Dans tous les cas, les valuateurs doivent possder des comptences analytiques, mthodologiques et techniques dans le domaine concern, ainsi quune capacit de synthse et une aptitude la rdaction. Ils doivent justifier de rfrences dans le domaine de lvaluation* des politiques publiques et de la coopration internationale. Ils doivent tre capables dapprcier les actions de manire indpendante* tout en menant un dialogue confiant avec les acteurs de laction value. De manire gnrale, les valuateurs devront tre perus comme crdibles, expriments et accessibles par les partenaires* de lvaluation*. Certains types dvaluation* justifient une analyse transdisciplinaire et requirent la constitution dune quipe.
2. Choix de lexpertise et contenu des offres

La procdure de mise en concurrence peut prendre la forme dune consultation restreinte dexperts dj identifis ou dun appel doffres (cf. fiche 11). La slection des offres donne lieu lanalyse comparative des propositions techniques et financires des experts. Un tableau de dpouillement peut tre utilis (cf. annexe 2). Les propositions des experts ou des bureaux dtudes doivent contenir les lments suivants : A) Proposition technique et mthodologique :
analyse des termes de rfrence faisant apparatre la comprhension par les experts du sujet valuer; proposition mthodologique dinvestigation et danalyse explicitant la dmarche des experts ; prsentation et rfrences du bureau dtudes ; CV des experts prcisant les lments suivants :
- formation acadmique et comptences techniques ; - connaissance du dispositif, des mcanismes et des instruments de la coopration ; - comptences en matire dvaluation* des politiques publiques ; - connaissance du pays, de la rgion dintervention et, le cas chant, de la langue parle localement ; chronogramme. B) Proposition financire :
devis prvisionnel (cf. annexe 1).
39
3. Identifier des experts extrieurs (cf. schma page suivante)

Le bureau de lvaluation peut aider les services techniques et les SCAC identifier des expertises en matire dvaluation* de projets* et de programmes*. Il dispose dun fichier interne, rgulirement mis jour, par lequel il peut informer les consultants dun appel candidatures. La procdure est effectue par courrier lectronique selon le schma suivant :
ds rception au bureau de lvaluation dun avis soumission dun service (cf. encart ci-dessous)
un message est expdi lensemble de la liste des consultants en copie cache, avec un minimum dinformations ; les experts intresss font parvenir directement au service commanditaire, et dans un dlai de lordre de 10-15 jours, leur CV, rfrences et lettre de motivation ; le service peut ds lors slectionner les consultants qui recevront les termes de rfrence (il faut retenir au moins trois consultants sur la liste restreinte, 5 ou 6 au maximum) en laissant un dlai de trois semaines pour leur rponse (qui peut aussi parvenir par voie lectronique, attention cependant aux documents trop lourds) ; le service noubliera pas dinformer les autres consultants que leur candidature nest pas retenue. La participation du bureau de lvaluation aux diverses tapes de la consultation, de la slection et de la ralisation* peut tre sollicite si ncessaire. ENVOI AUX DESTINTAIRES EN COPIE CACHEE
Je vous prie de trouver ci-aprs un message de [personne en charge du dossier] (Bureau de la DgCiD ou SCAC) transmis en copie cache tous les bureaux dtudes et consultants rpertoris par le bureau de lvaluation, sans procder une prslection des destinataires. Le ministre des Affaires trangres souhaite raliser lvaluation* finale du projet FSP N [intitul du projet ou de laction valuer] [indiquer si ncessaire la date de ralisation de lvaluation*]. Il sagit dun projet comportant X composantes [description succincte des ralisations* prvues]. Pour raliser cette valuation*, il est prvu de faire appel X experts [indiquer le nombre, la nature et la dure de lexpertise, les missions de terrain et les dates envisages]. Les consultants devront disposer de comptences en matire dvaluation* des politiques publiques, et avoir des qualifications et des rfrences [citer les secteurs, les zones gographiques, les connaissances attendues, par ex. instruments de coopration, APD, organisations multilatrales, et ventuellement la pratique dautres langues]. Dans le cas o vous seriez susceptible de rpondre cette offre, il vous revient de le faire savoir au bureau [DgCiD ou SCAC] par courrier lectronique ladresse suivante : Prnom.NOM@diplomatie.gouv.fr avant le [date : laisser une quinzaine de jours et prciser lheure Paris ou GMT] , en joignant des CV (6 pages maximum chacun). Aprs une slection des candidatures, les termes de rfrence seront alors transmis une liste restreinte. Cordialement Le bureau de lvaluation (prire de ne pas rpondre lexpditeur, sauf pour une correction sur ladresse ou un retrait de la liste denvoi)
Le dpouillement des offres doit seffectuer sur la base des critres indiqus dans lappel candidatures et/ou dans les termes de rfrence. Il est possible de donner une pondration aux critres mais il nest pas ncessaire den informer les candidats. La procdure de slection est effectue de manire aussi large que possible (information) mais en garantissant une concurrence juste, intgre et conforme au code des marchs publics.
40
2) evaluation.dgcid@diplomatie.gouv.fr
41
Fiche 11
La mise en concurrence
Les informations prsentes dans cette fiche concernent essentiellement les prestations dexperts relevant du secteur priv dans le cadre de marchs (commandes) de services. Il sagit donc dune application restreinte et spcifique du code des marchs publics dont la dernire mise jour est intervenue avec le dcret n 2006-975 du 1er aot 2006.
1. Mobilisation dune expertise publique

Dans le cas particulier dun appel une expertise publique (qui nimplique que la prise en charge des frais de dplacements et de per diem) il nest pas effectu de mise en concurrence. Ce qui nempche pas dexaminer plusieurs candidatures. A noter, que lexpert public, qui serait amen consacrer un certain temps dtude, en dehors de la dure de la mission stricto sensu, peut bnficier (sous certaines conditions) dune contribution financire au titre de collaborateurs extrieurs. Cette aide implique la disponibilit pour le service demandeur dune rubrique budgtaire prexistante et pourvue.
2. Code des marchs publics

Le code des marchs publics sapplique toutes les commandes passes par les services de la DGCID. Pour les commandes passes et excutes par les postes ltranger cest lesprit du code qui sapplique information (mise en concurrence)1 sinon ce sont les procdures du pays concern qui sappliquent. L donne ici concerne uniquement la mobilisation dune expertise extrieure ladministration publique (fonction publique, fonction territoriale ou fonction hospitalire). Les marchs publics soumis au prsent code respectent les principes de libert daccs la commande publique, dgalit de traitement des candidats et de transparence des procdures. Les informations en matire de marchs publics sont accessibles sur Internet ladresse suivante : http://www.minefi.gouv.fr/themes/marches_publics/index.htm.
3. Types de procdures
L appel doffres est la procdure par laquelle le pouvoir adjudicateur choisit lattributaire, sans ngociation, sur la base de critres objectifs pralablement ports la connaissance des candidats. L appel doffres est ouvert (AOO) lorsque tout oprateur conomique peut remettre une offre, dans ce cas lacheteur public doit remettre les termes de rfrence tous les candidats qui en font la demande et il est dit restreint (AOR) lorsque seuls peuvent remettre des offres les oprateurs conomiques qui y ont t autoriss aprs slection. Le choix entre les deux formes dappel doffres est libre. De fait, compte tenu des montants impliqus pour les exercices dvaluation (entre 4 000 et 135 000 HT) et du type dactivits prvues, il est recommand dappliquer la procdure adapte2. Celle-ci tant inspire par les procdures formalises prvues par le code (AOO et AOR). La prsente fiche limite son tude la seule mise en concurrence selon ce schma.
1) Circulaire du 3 mai 1988 2) Les autres procdures prvues dans le code (procdure ngocie, dialogue comptitif, concours, etc.) ne sont pas prsentes ici car non applicables pour le cas des missions dexpertises.
43
4. Dlais prescrits
- Appel doffres ouvert : Un avis dappel public la concurrence est publi. Le dlai de rception des offres ne peut tre infrieur 52 jours compter de la date denvoi de lavis dappel public la concurrence (ramen 45 jours pour les envois par voie lectronique). La commission dappel doffres ouvre les enveloppes contenant les offres et en enregistre le contenu. L ouverture des plis nest pas publique, les candidats ny sont pas admis. Il ne peut y avoir de ngociation avec les candidats. L offre conomiquement la plus avantageuse est choisie par la commission dappel doffres. - Appel doffres restreint : Un avis dappel public la concurrence est publi. Le dlai minimal de rception des candidatures en rponse lavis dappel public la concurrence est de 37 jours compter de la date denvoi de lavis (ou 30 jours si lavis est envoy par voie lectronique). Une lettre de consultation est envoye simultanment tous les candidats slectionns. Elle comprend les termes de rfrence, la date et lheure limite de rception des offres ainsi que les rfrences de lavis dappel public la concurrence publi. Le dlai de rception des offres ne peut tre infrieur 40 jours compter de lenvoi de la lettre de consultation. L ouverture des plis nest pas publique, les candidats ny sont pas admis, les candidats non retenus en sont informs. Il ne peut y avoir de ngociation avec les candidats. L offre conomiquement la plus avantageuse est choisie par la commission dappel doffres. - Procdure adapte : Lorsque leur valeur estime est infrieure au seuil de 135 000 HT les marchs de services peuvent tre passs selon la procdure adapte dont les modalits sont librement fixes par le pouvoir adjudicateur. Dans ce cas, aucun dlai prcis nest fix par le code des marchs. Toutefois, lacheteur public doit prvoir un dlai raisonnable permettant aux candidats de soumissionner tant en ce qui concerne la candidature que loffre, soit 20 jours environ entre la date denvoi la publication et la date limite de rception des candidatures.
5. Publicit
Le pouvoir adjudicateur (commanditaire) peut dcider que le march (commande) sera pass sans publicit ni mise en concurrence pralables si les circonstances le justifient, ou si son montant estim est infrieur 4 000 HT (art. 28). En dehors de ces exceptions tout march dun montant gal ou suprieur 4 000 HT est prcd dune publicit (art. 35). Tout march dun montant gal ou suprieur 4 000 HT est prcd dune publicit. - Cot estim entre 4 000 et 90 000 euros HT. Dans ce cas, le pouvoir adjudicateur choisit librement les modalits de publicit adaptes en fonction des caractristiques du march. Le code parle de publicit adapte, cest dire une publicit qui doit provoquer la concurrence pour lattribution du march afin de choisir loffre la mieux disante. - Cot estim entre 90 000 et 135 000 euros HT. Le pouvoir adjudicateur est tenu de publier un avis dappel public la concurrence soit dans le bulletin officiel des annonces des marchs publics (BOAMP) soit auprs dun journal habilit recevoir des annonces lgales (JAL). Il est impratif que le JAL soit diffusion nationale. - Cot suprieur 135 000 euros HT. Pour les marchs de services dun montant suprieur 135 000 HT le pouvoir adjudicateur est tenu de publier un avis dappel public la concurrence dans le bulletin officiel des annonces des marchs publics (BOAMP) ainsi quau journal officiel de lUnion Europenne. Dans ces cas, le bureau des marchs procde la mise en concurrence ; un march formalis est tabli avec les documents gnraux (CCAG) et des documents particuliers (CCAP - CCTP).
44
6. Instructions relatives au BOAMP
Dans le cadre dune consultation visant mobiliser une expertise externe, lacheteur public doit
prparer, avant la publication au BOAMP, des termes de rfrence prcis et dtaills, un budget estimatif et un calendrier prvisionnel. Le BOAMP est tenu de publier les avis dappel public la concurrence, conformment au texte transmis, dans les 6 jours qui suivent la date de rception. Les avis destins au BOAMP sont transmis par tlprocdure. Lacheteur public doit tenir un registre spcifique des avis de mise en concurrence. Tout au long de la procdure le respect de la confidentialit est de mise (ainsi lidentit et le nombre de candidats ne doivent pas tre divulgus). Les annonces publies seront suivies, en fin danne, dun avis dattribution qui sera galement publi au BOAMP. Site du BOAMP : http://www.journal-officiel.gouv.fr
7. Recommandations* pratiques
Les prestataires qui rpondent une mise en concurrence doivent avoir une information prcise sur les
critres de slection des offres (cf. fiche 6 TDR 4.2).
Le bureau de lvaluation reste la disposition des services oprationnels, toutes les tapes de la
procdure, pour la prparation et la ralisation* dune valuation*.
Le bureau de lvaluation peut mettre la disposition des services et des SCAC une procdure dappel candidatures par voie lectronique (cf. fiche 10). Le bureau de lvaluation recommande vivement de retenir la procdure adapte en utilisant le schma
dun appel doffres restreint. Aprs un premier appel candidatures, une liste restreinte est tablie (avec au minimum trois candidatures) des cabinets ou consultants qui seront destinataires des termes de rfrence.
Il convient de prvoir, en moyenne, de 6 11 jours entre la date denvoi au BOAMP et la publication,

plus 15 jours minimum pour recevoir les candidatures. Et au moins 15 21 jours de dlai pour les cabinets dtude pour faire leur proposition technique et financire.
Le nouveau code des marchs publics laisse la possibilit de correspondre avec les candidats par voie
lectronique (dpt des candidatures ou des offres). Par ailleurs, lacheteur peut aussi fournir tous les documents relatifs aux procdures quil lance par voie lectronique si le candidat en fait la demande.
Les transmissions par voie lectronique sont favoriser, elles permettent dailleurs de rduire les dlais (et elles deviendront la rgle dici 2010). Il est recommand de prvoir, de part et dautre, des accuss de rception. Il est conseill de passer les annonces relatives une mise en concurrence ds que possible compte tenu
des dlais de publication.
Les dlais gnralement proposs, et actuellement connus des prestataires, est dune dizaine de jours
pour manifester son intrt participer la consultation, puis 21 jours pour faire parvenir, dans la seconde tape, la proposition mthodologique et financire.
Le service oprationnel indiquera dans une note au contrleur financier les modalits de la procdure qui ont permis une mise en concurrence conforme (date de consultation, nombre de candidatures, critres de slection, choix du candidat retenu, montants des offres).
45
Fiche 12
La validation, la restitution et les suites de lvaluation*
1. La validation par le comit de pilotage : du rapport provisoire au rapport dfinitif
Le rapport provisoire fait lobjet dun dbat au sein du comit de pilotage. Les remarques et commentaires du comit peuvent, si ncessaire, tre transmis par crit lvaluateur. Lorsque ces observations portent sur des erreurs factuelles, elles sont prises en compte par lvaluateur. Aprs cette tape, le rapport est considr comme valid par le comit de pilotage qui en est dsormais le garant devant le service commanditaire au sein de ladministration. La dernire runion du comit de pilotage est consacre la validation de lvaluation*. Les critres de validation retenir par le comit de pilotage sont (cf. fiche 9) : - La qualit du processus* de lvaluation* (relation des valuateurs avec le comit de pilotage, les oprateurs, les partenaires* - La qualit de la mthodologie utilise (pertinence*, validit*) - La qualit de lanalyse (bilan et valuation*) - La qualit des recommandations* (nature, acteurs, calendrier) - La qualit de la prsentation du rapport (clart, utilisation de graphiques) La valorisation de lvaluation par lAdministration est effectue selon ses propres procdures et arbitrages, adapt pour chaque exercice, notamment dans le cadre dune runion de restitution.
2. La restitution et les suites de lvaluation*
Une sance dite de restitution permet gnralement de rendre compte lensemble des partenaires* des
conclusions* et recommandations* de lvaluation*. Elle est loccasion dun dbat sur les orientations de la coopration value. Cette sance peut tre prside par le Directeur gnral pour les valuations-pays, les valuations* sectorielles et les valuations* dinstrument. Ce dbat peut tre poursuivi, au del de la sance de restitution, dans le cadre de groupes de travail, qui relvent de la responsabilit des services oprationnels.
Dans tous les cas, les conclusions* et recommandations* des valuations* sont transmises par le service
commanditaire aux dcideurs et aux responsables concerns, assorties dobservations ventuelles du comit de pilotage. Il est demand aux services et aux postes concerns de ragir par crit sur les conclusions* et recommandations* de lvaluation*. Celles-ci peuvent alors servir de base une dcision de poursuite, de gnralisation, dinterruption ou de rorientation de la coopration value. Les enseignements des valuations* sont notamment pris en compte lors de lexamen* de nouveaux projets (Fonds de solidarit prioritaire) de la dfinition de stratgies sectorielles ou gographiques (Comit dorientation stratgique, document stratgique pays, programmation).
Plusieurs mois aprs la fin de lexercice le bureau de lvaluation reprend contact avec les services oprationnels afin de savoir dans quelle mesure les recommandations* ont t suivies* deffet*. Les informations recueillies sont portes dans le bilan annuel du bureau de lvaluation.
3. Diffusion et capitalisation
Le service commanditaire assurera la reproduction et la diffusion la plus large du rapport dvaluation au sein de la DGCID et tous les acteurs concerns.
47
Chapitre III : Le cas spcifique du suivi-valuation
49
Fiche 13
Dans quels cas raliser une revue interne* ?
1. Pourquoi une revue interne* ?
Pour les raisons expliques dans les fiches 1 et 5, il est prfrable de confier les valuations* des experts extrieurs. Toutefois, il nest pas toujours possible deffectuer une valuation* externe de toutes les actions de coopration finances par la DGCID. Dans la pratique, lexpertise externe est essentiellement utilise pour les exercices valuatifs dune certaine ampleur. Aussi, afin dassurer un suivi plus complet des activits* de la DGCID, les agents, des postes ou des services centraux, sont-ils invits effectuer euxmmes une revue interne* des actions dont ils assurent la conduite ou le suivi* administratif et financier. Si lexercice de revue interne* ne peut prtendre aux mmes rsultats* que lvaluation* externe, il en fournit cependant un utile complment. Il permet une appropriation, par le plus grand nombre dagents possible, de la pratique et de la culture de lvaluation*. En devenant laffaire de tous et en simposant comme une tape normale dans le cycle de laction, au mme titre que la conception et la ralisation*, la revue interne* contribue la rationalisation des mthodes de travail et la modernisation du fonctionnement de ladministration.
2. Comment raliser une revue interne* ?

Afin de simplifier le travail des agents et faciliter le traitement des rsultats*, des fiches standardises dvaluation interne* sont gnralement utilises : lInspection gnrale des Affaires trangres utilise des fiches pour apprcier, chaque anne, lensemble du dispositif de coopration des postes ;
la DGCID utilise des fiches pour assurer le suivi* des activits de diffusion culturelle et linguistique
franaises ltranger (manifestations, cours de langues...) ;
dans le cadre de la LOLF des indicateurs et des tableaux de bord sont mis en place et les dispositifs de suivi-valuation se concrtisent progressivement. La rponse un questionnaire de revue interne* suppose un exercice de collecte et danalyse de linformation. L agent qui en a la charge peut notamment : consulter les documents rdigs avant la mise en place de la coopration apprcier afin didentifier
et prendre en compte les objectifs fixs au dpart (fiche-projet, contrats, conventions) ;
se rfrer aux documents comptables ayant permis de suivre le financement de laction (budget
prvisionnel, bilan...) ;
sappuyer sur les comptes rendus et bilans dactivit* ; comparer, sous un angle quantitatif et qualitatif, les actions franaises de coopration et celles des
autres intervenants ;
recueillir les apprciations portes sur ces actions par les responsables et les bnficiaires* dans le
pays partenaire*. En outre, les projets du fonds de solidarit prioritaire font lobjet dune revue mi-parcours*. Afin dharmoniser les missions de suivi* de projets FSP mi-parcours*, il est recommand dutiliser le formulaire de fiche suivi-valuation (cf. annexe 3).
51
Fiche 14
Le suivi - valuation
Les activits* de suivi* dun projet*, dun programme*, dune politique se distinguent de celles qui concernent lvaluation* rtrospective. Le suivi* est assur en interne, de manire continue, par les responsables des actions. Toutefois, le suivi-valuation et lvaluation* rtrospective se rfrent aux mmes techniques et senrichissent mutuellement. De sorte que de nombreux guides, mthodes et services des agences de coopration internationale font rfrence au suivi-valuation (M&E, Monitoring and Evaluation). Le suivi-valuation participe de la mme logique que la mise en place de la LOLF.
1. La mise en place dun systme de suivi*

Le systme de suivi* doit tre conu ds lorigine de laction : mthodes, ressources*, responsabilits priodicit. Il prvoit une batterie dindicateurs* quantitatifs de ralisation* prsents sous forme de tableaux de bord.
2. Un systme de suivi* qui slargit au-del du projet*

Un dispositif de suivi-contrle ne peut se limiter une simple collecte de donnes chiffres concernant le projet* par des acteurs dsigns. A cet effet, il conviendra de prendre en compte les lments suivants :
donnes extrieures au projet* (environnement social, politique, conomique) ; associer toutes les parties concernes au processus* de suivi* ; recueillir galement les donnes de nature qualitative ; enfin, ne pas ngliger la mthode de collecte car elle a des incidences sur la qualit des donnes.
3. Le dispositif de suivi* concourt aussi la ralisation* du projet*
1. Objectif et tendu du systme de suivi* La nature du systme de suivi* est fonction des objectifs, du cot estim et des difficults envisages. 2. Le questionnement, les besoins dinformation et les indicateurs* La construction du cadre logique* conduit mettre au regard des objectifs viss les indicateurs* de performance* attendus. Il conviendra de choisir des indicateurs* pertinents, tant pour lobjectif gnral que pour les objectifs spcifiques. 3. La collecte des informations et lorganisation du dispositif Tout dispositif de collecte de donnes entrane un cot (en termes budgtaires, en temps et en expertises), il convient ds lors de dterminer des priorits. Il faut aussi tenir compte du fait que tous les acteurs ont des besoins diffrents : certaines donnes ont une utilit immdiate dans le suivi*, dautres seront ncessaires dans la phase ultrieure dvaluation* rtrospective. 4. Renforcement des capacits Le projet* doit, en principe, toujours intgrer une dimension renforcement des capacits locales. Ce souci doit tre pris en compte dans les activits de suivi* o la participation des responsables nationaux peut contribuer une meilleure dvolution.
53
Chapitre IV : Lvaluation* dans linternational
55
Fiche 15
Quel dispositif en France pour valuer la coopration internationale et laide publique au dveloppement ?
1. Lvaluation* au sein des instances publiques
Avec la rforme du dispositif de la coopration internationale et de laide au dveloppement mise en uvre compter du 1er janvier 1999, trois services dvaluation* sont clairement identifis (les sites Internet respectifs sont en annexe 7) :
Ministre des Affaires trangres - Direction gnrale de la coopration internationale et du

dveloppement : Bureau de lvaluation (cf. fiche 18) Relevant du Service des Moyens et du Rseau, le bureau de lvaluation est charg de mettre en uvre un programme dvaluations* rtrospectives. Les valuations* sont ralises par des consultants extrieurs et indpendants. Le bureau apporte son appui mthodologique aux services de la DGCID et aux postes. Le bureau de lvaluation participe galement au comit dexamen des projets du Fonds de solidarit prioritaire. Il publie annuellement un bilan des valuations* rtrospectives faisant ressortir les suites rserves.
Ministre de lEconomie, des Finances et de lIndustrie - Direction gnrale du Trsor et de la

Politique conomique (DGTPE) : Unit dvaluation des activits de dveloppement Place auprs du Chef du service des affaires internationales, lunit dvaluation des activits de dveloppement de la DGTPE est responsable de la mise en uvre des valuations* de lensemble des actions de dveloppement du ministre de lconomie, des finances et de lindustrie : projets* raliss sur la rserve des pays mergents (RPE) et FASEP, contributions et dotations aux institutions financires internationales. Les valuations* sont ralises par des consultants privs slectionns aprs une mise en concurrence ou sont confies des Inspecteurs gnraux des Finances, ou du Conseil gnral des Mines.
Agence franaise de dveloppement : Mission pour lvaluation et la capitalisation

La Mission pour lvaluation et la capitalisation relve du service de la Recherche au sein de la Direction de la Stratgie du groupe de lAgence franaise de dveloppement (AFD). Le programme dvaluation* porte essentiellement sur des projets*, mais la programmation intgre dsormais davantage dvaluations* sectorielles et thmatiques*. Les valuations* sont essentiellement ralises en interne par des agents de lAFD mais lappel lexpertise externe se dveloppe. La Mission dvaluation est reprsente au comit des oprations, qui programme les nouveaux projets. Un comit des valuations, prsid par le directeur gnral adjoint de lAgence, examine les conclusions* de chaque valuation*. En outre, un bilan annuel des valuations* rtrospectives est prsent au conseil de surveillance de lAFD.
CICID : avec la cration du Comit interministriel, un groupe de travail sur lvaluation de la

coopration internationale et de laide au dveloppement a t mis en place (article 5 du dcret du 1er fvrier 1998). Charg de produire un rapport annuel et de mener des valuations interministrielles, il a fonctionn en fait deux ans et a disparu depuis. Mais, les relations entre les services dvaluation du MINEFI, de lAFD et du MAE se sont maintenus et dvelopps.
Autres : Les services dvaluation des ministres techniques peuvent tre associs si ncessaire aux
exercices dvaluations* mens par ces diverses entits.
57
2. Lvaluation* dans le systme non-gouvernemental

Les organisations franaises de solidarit internationale se sont dotes depuis plusieurs annes dun mcanisme conjoint sous forme associative, bnficiant dun appui des pouvoirs publics : le Fonds pour les tudes gnrales, les tudes transversales et les valuations (F3E). Les collectivits territoriales, et plus particulirement leurs diverses instances de coordination et dappui (par exemple, le Centre national de la fonction publique territoriale), ont engag des exercices dvaluation* et instaur des procdures dvaluation* dans le domaine de la coopration internationale. La Fondation de France a cr un programme de soutien des dmarches dvaluation* externe et participative*, transform dornavant en Fonds pour lexpertise participative*, afin de faciliter laccs des ONG africaines, des associations, des groupes communautaires et des collectivits locales du Sud une expertise de qualit. En 1999, la Socit franaise dvaluation (SFE) a t cre sur le modle dassociations nationales et europennes similaires (tats-Unis, Canada, Royaume Uni). Ces associations regroupent des valuateurs publics et privs, chercheurs et praticiens, universitaires et prestataires. En 1999, le Haut Conseil de la Coopration internationale (HCCI) a t instaur, ct des institutions publiques, afin de reprsenter les organisations de la socit civile et daccompagner, par ses observations et ses conseils, la rforme de la coopration internationale franaise. Le HCCI stait engag dans certains travaux dvaluation*, estimant que "les politiques de coopration doivent tre systmatiquement values et rorientes en consquence" (avis du HCCI au Premier Ministre, avril 2000).
58
Fiche 16
Quels dispositifs au sein des instances multilatrales ?
1. Lvaluation* au sein de lUnion europenne
La Commission europenne dispose dun service charg de conduire les valuations* rtrospectives de la politique europenne de coopration internationale et daide au dveloppement (FED, ALA-MED, PHARE, TACIS, etc.). Le service dvaluation de la Commission europenne prsente chaque anne un rapport dactivit au Conseil des ministres et au Parlement. Il runit une fois par an les responsables des services dvaluation des pays membres. Il a dans son mandat la capacit dautosaisine et a engag ce titre une valuation* des 3C (cohrence, coordination, complmentarit). http://europe.eu.int/comm/europeaid/evaluation/index.htm
2. Lvaluation* au Comit daide au dveloppement (OCDE)

Existant depuis prs de vingt ans, le rseau (ex-groupe de travail) de lvaluation de laide au dveloppement du CAD (Comit daide au dveloppement) se runit deux fois par an au sige de lOCDE Paris. Ce rseau sintitule EVALUNET. Il rassemble les 24 membres du CAD (dont fait partie la Commission europenne). La dlgation franaise est reprsente par le MINEFI et le MAE. Les institutions intergouvernementales (PNUD, FMI, Banque mondiale et banques rgionales) disposent du statut dobservateur et participent activement aux travaux. http://www.oecd.org/dac/evaluation 2.1 Critres dvaluation* Cette entit a permis des changes entre les agences daide sur les thories et les pratiques en matire dvaluation*. Un rsultat essentiel est llaboration de principes et de rgles mthodologiques, dsormais largement partags par la communaut internationale des valuateurs, dans le domaine du dveloppement. Les cinq critres (pertinence*, efficacit*, efficience*, viabilit* et impact*) sont dornavant dans tous les guides dvaluation*. 2.2 Ateliers Sur une base volontaire, les principales agences daide se retrouvent dans le cadre dateliers (valuations* conjointes, valuation* de laide budgtaire globale, qualit de lvaluation*). Des dispositifs informels peuvent galement se crer entre plusieurs services dvaluation du CAD autour dune valuation* conjointe, sur un pays donn ou sur un thme spcifique. 2.3. Etablissement de statistiques sur lAPD et mcanisme de revue par les pairs L OCDE centralise les statistiques relatives laide publique au dveloppement (qui incluent les dons dassistance technique, la diffrence de celles de la Banque Mondiale qui ne prend en compte que les oprations donnant lieu une inscription dans la balance des paiements du pays bnficiaire) des 24 membres du CAD. Il organise galement un examen* par les pairs. La politique franaise de dveloppement a ainsi t examine par lItalie et la Norvge le 14 mars 2000, et par le Canada et les Pays-Bas le 26 mai 2004. 2.4. Autres travaux On retiendra en particulier ltablissement dun glossaire (cf. annexe 8) et dune base de donnes sur les rapports dvaluation* (consultable sur Internet) et une matrice rgulirement actualise sur les programmes dvaluation*, ceci afin de favoriser les exercices conjoints, etc.
59
3. Lvaluation* la Banque mondiale

La culture de lvaluation* et du contrle imprgne largement les activits de linstitution de la Banque mondiale qui a une longue pratique dvaluation de ses projets*, programmes* et politiques, quil sagisse des auto-valuations* par les responsables oprationnels ou des valuations indpendantes* par des units spcialises. Les valuations* sont conduites par le Groupe de lvaluation indpendante (IEG en anglais), prcdemment le Dpartement de lvaluation des oprations (OED), unit indpendante regroupant 120 personnes qui rend compte aux directeurs excutifs. Les enseignements tirs* sont introduits dans la prparation et la mise en uvre des nouveaux projets*. LIEG value galement les politiques et les processus de la Banque mondiale. L Institut de la Banque mondiale mne des programmes* de formation et de renforcement des capacits dans le domaine de lvaluation*. Il dispose dune cellule charge dvaluer ses propres activits. http://www.worldbank.org/ieg Le FMI dispose de lIndependant Evaluation Office (IEO) et les banques rgionales de dveloppement ont galement des services dvaluation. (http://www.imf.org/external/np/ieo/ )
4. Lvaluation* aux Nations Unies

Le bureau de lvaluation du Programme des Nations Unies pour le Dveloppement (PNUD) a engag, partir de lvaluation*, une rflexion sur lefficacit* du dveloppement, la gestion (management), lapprentissage et la performance*. Le PNUD, ayant observ que mme des projets* efficaces et bien grs perdent de leur sens sils naboutissent pas une amlioration sensible de la situation du dveloppement sattache davantage aux rsultats* et la manire dont il peut contribuer les amliorer. Il a ralis, cet effet, un guide du suivi* et de lvaluation* axs sur les rsultats* : http://stone.undp.org/undpweb/eo/evalnet/docstore3/yellowbook/french/index.htm Dautres agences des Nations Unies se sont dotes de services dvaluation. On peut citer lUnicef qui prsente des bonnes pratiques ( http://www.unicef.org/evaluation/ ) ou le FIDA, Fonds international du dveloppement agricole ( http://ifad.org/evaluation/ ) qui a aussi ralis un guide de suivi-valuation de projets*. Le groupe valuation des Nations Unies (UNEG, United Nations Evaluation Group) a t cr en 1984, sous le nom de "groupe de travail inter-agences sur lvaluation", en tant quespace de discussion sur lvaluation. http://www.uneval.org/UNEG
5. Lvaluation* lOIF (organisation internationale de la francophonie)

La direction de la programmation et de lvaluation suit un biennum centr sur cinq grands chantiers qui contribuent au dveloppement durable et prserve la diversit culturelle. LOIF entend galement mettre davantage laccent sur latteinte de rsultats* escompts de ses interventions, qui ncessite notamment ladoption dun certain nombre dindicateurs*. L OIF fait procder des valuations* externes de ses programmes* de coopration les plus importants et de ceux qui lui semblent problmatiques. http://www.francophonie.org/ressources/evaluations.cfm
60
Fiche 17
Les co-valuations* : partenariales, conjointes, parallles ou croises
Les valuations* peuvent tre conduites par plusieurs acteurs de la coopration internationale (bailleurs de fonds, tat partenaire*, oprateurs dlgus, reprsentants de la socit civile) selon divers modes de combinaison.
1. valuations* partenariales
L valuation* partenariale associe le partenaire* local (bnficiaire). Elle est vivement recommande par les instances intergouvernementales, notamment par le Comit daide au dveloppement de lOCDE. Elle est galement promue par un certain nombre dagences daide bilatrales. Dans le domaine de la coopration au dveloppement, lvaluation* partenariale permet de renforcer les capacits locales et nationales, dassurer la viabilit* des oprations. Le pays partenaire* est parfois associ lvaluation* (valuation* de lensemble de la coopration franaise avec un pays au cours dune priode de rfrence). Une procdure ad hoc doit tre adopte pour chaque pays en fonction des conditions locales et des attentes du partenaire*. Par ailleurs, des comits de suivi locaux pouvant associer la socit civile sont parfois instaurs dans certains pays. Par ailleurs, dans le cadre de la coopration franaise, des valuations-pays ont parfois t ralises en partenariat (Niger, Tchad, Maroc). Cette pratique est appele se gnraliser.
2. valuations* conjointes3
Les projets* et les programmes* cofinancs peuvent conduire des valuations* conjointes entre les bailleurs de fonds. Dans la pratique, il faut tenir compte du fait que chaque partie a son propre calendrier, ses mcanismes de financement, et donc des impratifs et des procdures souvent difficiles faire concider. Des valuations* conjointes sont requises dans le cas dorganismes multilatraux bnficiant de soutiens financiers et techniques de plusieurs bailleurs de fonds. Les valuations* de ce type ne sont pas trs frquentes (par exemple, Fonds dEquipement des Nations Unies - FENU, ONUSIDA, PAM, PNUD ). Les valuations* de projets bi-multilatraux sont toujours bi-multilatrales. Ainsi, les valuations* de la coopration franaise avec le Vietnam, le Laos ou lEgypte ont t ralises conjointement avec lAFD et la DGTPE (MINEFI). Dautres valuations* peuvent tre ralises avec des associations, des collectivits locales
3. valuations* parallles ou croises

L valuation* parallle ou croise permet deux acteurs de coopration dvaluer paralllement ou rciproquement leurs actions. Une valuation* parallle mene par deux bailleurs de fonds sur des projets* relevant dun mme secteur permet de confronter les expriences. Dans le cas dune valuation* croise, chacun commandite une expertise pour valuer, si possible au sein dune quipe, un projet* ou un programme* concernant lautre organisme. Cet exercice favorise les changes mthodologiques, le dveloppement dapproches innovantes, limpartialit et la transparence. La pratique de la revue par les pairs, qui peut sapparenter une valuation* et qui est ralise au sein du CAD de lOCDE (binme de pays valuant les performances* gnrales de laide au dveloppement dun troisime pays), est ainsi apparue particulirement bnfique.
3) Cf. Orientations relatives la gestion des valuations conjointes (document du CAD/OCDE) http://www.oecd.org/dataoecd/33/21/37851258.pdf
61
Chapitre V : Prsentation du bureau de lvaluation
63
Fiche 18
Le Bureau de lvaluation
1. Prsentation de lquipe
Le bureau de lvaluation runit des comptences diverses. Il a vocation valuer lensemble des actions de la DGCID. Les valuations* sont rparties entre les agents selon leurs intrts, leurs comptences et leur charge de travail. Chacun vite toutefois les dossiers sur lesquels il pourrait se trouver impliqu du fait dactivits* antrieures.
2. Les tches du bureau de lvaluation

Le bureau de lvaluation intervient sur trois domaines : (1) la conduite dvaluations* relevant de son programme annuel, (2) lappui mthodologique aux autres services et (3) la contribution au dveloppement de la culture dvaluation* par les partenaires*. Certains de ces lments constituent des enjeux nouveaux pour le bureau de lvaluation. 2.1 Raliser un programme dvaluations* Le bureau de lvaluation fonctionne avec un programme tabli en liaison avec les postes et les services. Ce programme, dcid par le Comit des valuations prsid par le Directeur gnral de la Coopration internationale et du Dveloppement, fournit le cadre de travail du bureau. Chaque valuation* est confie un agent du bureau qui en assure la conduite en troite liaison avec le prsident du comit de pilotage. 2.2 Dvelopper la culture de lvaluation* 2.2.1 Au sein du ministre des Affaires trangres Le bureau de lvaluation participe des travaux internes la DGCID qui visent diffuser la pratique et la culture de lvaluation*.
Lappui mthodologique : le bureau de lvaluation peut tre amen assister les services et les
postes conduire des valuations* en rpondant leurs questions sur les mthodes de lvaluation*, la rdaction des termes de rfrence, la mise en concurrence, le choix de lexpertise, la validit* des rapports.
Associations : avec la mise en uvre de la circulaire du Secrtaire gnral (n 1103 du 16/12/05)

relative la ralisation dvaluations externes pour les associations bnficiaires de subventions de plus de 300.000 , un soutien spcifique du bureau de lvaluation est envisag (Cf. 2.3.2.)
Le comit dexamen du Fonds de solidarit prioritaire : le bureau participe aux comits

dexamen des projets financs par le Fonds de solidarit prioritaire. L objectif de cette participation est double : intgrer les recommandations* des valuations* antrieures et veiller la mise en place dun dispositif de suivi-valuation dans chaque projet*.
Les rflexions sur les indicateurs*, sur le dispositif qualit, sur les DCP, etc. : le bureau de
lvaluation participe divers groupes de travail ad hoc.
La formation lvaluation* : le bureau contribue aux formations organises par le Dpartement de la Formation (Direction des ressources* humaines). La communication sur lvaluation* : la communication des travaux dvaluation* est essentielle pour que les recommandations* formules par les valuateurs soient prises en compte. A terme, le bureau entend contribuer la constitution dune base de donnes de tous les rapports dvaluation* produits par la DGCID.
65
2.2.2 A lextrieur du ministre des Affaires trangres Le bureau de lvaluation participe galement des travaux lextrieur du ministre des Affaires trangres. Ces travaux visent favoriser le dveloppement et la convergence, lchelle nationale et internationale, de la pratique et de la culture de lvaluation* :
Dans un cadre franais : collaboration avec les autres dpartements ministriels (notamment la DGTPE) et lAFD ; participation aux travaux de la Socit franaise dvaluation (SFE), contribution aux comits de pilotage des valuations* du F3E1 (Fonds pour la promotion des tudes pralables, des tudes transversales et des valuations*). Dans un cadre europen : participation aux runions des responsables de lvaluation* de lUnion
europenne, au projet dvaluation* sur les 3C (coordination, complmentarit, cohrence dans laide au dveloppement de lUnion europenne).
Dans le cadre des pays de lOCDE : participation au rseau EVALUNET "valuation de laide au dveloppement" du Comit daide au dveloppement de lOrganisation de Coopration et de Dveloppement conomique, et divers exercices mens au sein de cette instance, par exemple lvaluation* sur laide budgtaire globale initie par le Dfid (Department for International Development - GB). Dans un cadre international : le bureau entretient des relations avec dautres instances dvaluation
: Agence internationale de la francophonie, African Evaluation Association (AFREA), etc. En 2006 une valuation* du Programme de dveloppement municipal (PDM) est conduite conjointement avec le Canada (ACDI). 2.2.3 Avec nos partenaires* Plusieurs programmes mobilisateurs ont t approuvs et mis en uvre au cours des dernires annes pour appuyer le dveloppement des capacits en valuation des partenaires du Sud. Le programme des valuations* relevant du projet FAC n 20002700 a t examin dans le cadre de la mta-valuation ralise en 2005 (cf. annexe 9). 2.3 Sadapter aux nouveaux enjeux 2.3.1. L valuation et la LOLF Dans le cadre de la LOLF, ladministration est mobilise autour de la ralisation dindicateurs quantitatifs de suivi. Faute de recul suffisant, il nest pas possible de connatre dune part, les modalits et les enjeux autour de linterprtation de ces indicateurs, et dautre part, la place et lindpendance de jugement que le Parlement voudra soctroyer. Il existe aux tats-Unis le mme type de clivage entre exercice budgtaire et valuation. Mais la mesure de la performance se fait sur 1/5me des actions par an, par rotation ; et le lgislatif se donne des moyens lourds dvaluation trs complte. La Commission europenne et la Suisse ont galement renforc leurs systmes dvaluation aprs la mise en place de lquivalent LOLF ; en Suisse, il y a maintenant des budgets dvaluation adosss chaque programme. En ralit la mise en place de la LOLF et lvaluation devraient tre complmentaires : - seule lvaluation permet de dire pourquoi et comment amliorer la performance ; - elle est un lment de distanciation par rapport aux compte rendus de gestion ; - le matriau apport par la LOLF doit pouvoir alimenter voire susciter lvaluation.
1) Structure qui a pour vocation daider les ONG faire des valuations.,
66
Il devrait donc tre possible de combiner les informations LOLF, destines en premier lieu au parlement pour ses arbitrages budgtaires, avec un volet plus rflexif et plus stratgique, fond sur lvaluation et destin aux concepteurs des politiques. L valuation aurait ainsi trois fonctions dans le cadre de la LOLF : un outil tiers daide la dcision pour le responsable de chaque programme, en complment des donnes de suivi quil partage avec le budget ; une analyse centre sur la stratgie et sur un cycle de politique plus long ; une valuation cible sur les partenaires et bnficiaires de laction publique, l o la LOLF et les inspections sont centres sur laction publique elle-mme. 2.3.2. La rforme du CICID et le rle accru des oprateurs Le rle croissant des oprateurs dans la mise en uvre dactions de coopration et daide au dveloppement soulve la question de lvaluation de leurs actions. Dans le cadre de la rforme du CICID, il est bien prcis que les fonctions dorientation, de pilotage et dvaluation restent de la responsabilit de ltat. Le rle important confi lAFD, en tant quoprateur pivot constitue un premier domaine dapplication. La dcision du CICID en date du 20 juillet 2004 prcise que ltat dtermine les orientations stratgiques de lAFD, autorise les nouvelles oprations et fait procder leur valuation. L AFD procde elle-mme lvaluation de ses projets. L objectif de la DGCID est de garantir que, pour les projets financs sur des crdits du Dpartement, ces valuations sont bien conformes aux pratiques et standards habituels. Le bureau de lvaluation de la DGCID est souvent associ la conduite de ces valuations et, rciproquement, il associe lAFD au pilotage des valuations quil ralise lui-mme (pays, thmatiques, sectorielles, instruments), dans le souci de dvelopper une culture dvaluation commune. Les nouveaux oprateurs Cultures-France et Campus-France ont des contrats dobjectifs et de moyens prvoyant des modalits dvaluation dans lesquelles le bureau de lvaluation sera impliqu aux cts des services concerns. Il en va de mme des associations qui reoivent des subventions suprieures 300.000 euros : la Mission dappui laction internationale des ONG (MAAIONG) a mis en place une procdure qui prvoit un comit de pilotage associant, outre la MAAIONG et lONG concerne, dautres services du Dpartement, dont le bureau de lvaluation. Il devrait en aller de mme de la Dlgation pour laction extrieur des collectivits locales (DAECL) pour la coopration dcentralise. Dans ce cadre, le bureau de lvaluation doit pouvoir jouer un rle de veille, dorientation et ventuellement dappui mthodologique. 2.3.3. L agenda sur lefficacit de laide La dclaration de Paris adopte en mars 2005 contient plus dune cinquantaine dengagements de partenariat en matire dappropriation, dalignement, dharmonisation, de gestion axe sur les rsultats et de responsabilit mutuelle. Mettant laccent sur le suivi des engagements, la dclaration indique que les signataires tudieront galement des processus indpendants dvaluation, afin davoir une meilleure comprhension de la manire dont laugmentation de lefficacit de laide contribue atteindre les objectifs de dveloppement. Jusqu prsent, les travaux ont surtout port sur le suivi (monitoring) de la mise en uvre. L valuation, qui cherche comprendre les causes, suppose une analyse plus pousse mais moins frquente. Elle met profit les donnes utilises pour les besoins du suivi mais doit aussi procder dautres collectes de donnes, quantitatives et surtout qualitatives. Les membres du rseau Evalunet du CAD envisagent de travailler ensemble un cadre commun dvaluation de lefficacit de laide au niveau dun pays, avec lentire participation du pays partenaire. Le bureau de lvaluation participe trs activement ces travaux. 2.3.4. Partenariat en valuation et responsabilit mutuelle Les objectifs du millnaire pour le dveloppement sont parcourus par le souci dtablir un partenariat mondial destin acclrer la ralisation dans les pays en dveloppement dune croissance conomique soutenue et dun dveloppement durable, notamment dans le cadre de dveloppement intgr et des documents stratgiques de rduction de la pauvret.
67
La mise en place dun partenariat, est dornavant prconise par lensemble des agences daide. Le partenariat se dcline tant au niveau de la stratgie, des programmes sectoriels, que sur le plan oprationnel, des projets et des actions. Le partenariat doit ds lors galement sappliquer aux valuations de politiques, de programmes et de projets. Le Bureau de lvaluation contribue promouvoir, de manire pragmatique, et au cas par cas, des valuations partenariales avec quelques pays de la zone de solidarit prioritaire (ZSP), notamment dans le cadre des valuations-pays et des valuations de projets du Fonds de solidarit Prioritaire (FSP), qui sont la plupart du temps conduites de manire conjointe et partenariale avec les bnficiaires de laide franaise et des projets. Dans le cadre des nouvelle orientations stratgiques de la coopration franaise dans chaque pays, des documents cadres de partenariat (DCP) sont maintenant mis au point pour une priode pluriannuelle (en gnral de 5 ans). La mise en uvre de ces DCP implique un nouveau processus dvaluation ( mi parcours et en fin de priode) destin rajuster et adapter les orientations de laide franaise en fonction des priorits et orientations stratgiques de dveloppement des pays, en particulier vis--vis des DSRP ; la mise en uvre de ces valuations sera conduite selon une dmarche partenariale. Un projet spcifique (FSP mobilisateur Parteva approuv en mai 2005, Cf. annexe 10) est mis en uvre depuis deux ans pour renforcer le partenariat dans le processus des valuations afin de parvenir une meilleure efficacit des projets et des programmes de coopration. Ce partenariat doit stablir ds la prparation des politiques et des actions de coopration (valuation ex ante) et tre poursuivi jusqu la fin de celles-ci (valuations mi-parcours, finales et rtrospectives). A la fin du projet, les partenaires du Sud impliqus dans la mise en uvre du projet seront en mesure dinitier, de conduire, de participer ou de procder eux-mmes des valuations de politiques publiques dans leur pays respectif. Ainsi, les responsables des pays partenaires seront mieux en mesure de corriger les effets dune information asymtrique qui rsulte du fait que les tous agents publics nont pas accs une mme information complte, ce qui produit une mauvaise optimisation de laffectation des ressources et contribue de la sorte aux checs des politiques publiques. Diplonet : Pour pouvoir communiquer facilement, le bureau dispose dune bote aux lettres lectronique (evaluation.dgcid@diplomatie.gouv.fr ) et fait paratre sur Diplonet un bilan rgulirement ractualis des valuations*. Le bureau de lvaluation met la disposition des utilisateurs de Diplonet (Intranet du MAE) quelques documents mthodologiques, qui sont consultables en suivant le cheminement suivant (colonne de gauche de lcran) : Coop. Action culturelle - Stratgie, moyens et valuation* - Stratgie, communication et valuation valuation Le bureau de lvaluation a rcemment ouvert sur Diplonet (intranet du MAE) un forum usage interne (ouvert aux services du MAE et aux tablissements du rseau de coopration et daction culturelle) destin changer de linformation et rpondre aux questions pratiques des utilisateurs et commanditaires dvaluations.
68
Fiche 19
Mini-guide de lvaluation* destin aux dcideurs
L exercice dvaluation* est un projet, avec ses objectifs, ses moyens, ses modalits de mise en uvre et ses rsultats*. L valuation* peut donc tre value, ex ante* (valuabilit*) et ex post* (mtavaluation*). Les critres sappliquent galement. Utilit L valuation* est ncessaire, elle nest pas toujours utile. Cest un instrument de comprhension, de valorisation des actions et des politiques, en vue de porter un jugement. L valuation* sinscrit dans des dmarches des politiques publiques, mais elle ne doit pas tre lance de manire systmatique, sans rflexion pralable. L valuation* doit dmontrer son utilit au regard de la redevabilit* (accountability) et des leons :
Rendre compte : dterminer lattente des responsables : quels rsultats* ? quelle justification ? sous
quelle forme ? dans quel dlai ?
Apprentissage : vrifier limplication des responsables qui devraient tre parties prenantes* pour en tirer des enseignements. Pertinence*
L valuation* doit tre mene en fonction dobjectifs relevant de plusieurs acteurs qui sinscrivent dans un calendrier. Par consquent, la pertinence* est prise en compte au regard des attentes des bnficiaires*, des buts* de lAPD, des chances de coopration et des vises de la politique franaise. L valuation* ne sapplique pas de manire systmatique et irraisonne : tout nest pas valuable (dans des dlais, avec des moyens et selon des objectifs abordables). Cohrence L valuation* se distingue des autres modes de suivi* et de contrle (rapport de fin dopration, audit comptable, inspection gnrale) et trouve sa cohrence sur la base de problmatiques qui se dclinent en questionnements, selon une investigation avec des mthodes adaptes et qui rpondent des principes reconnus (pluralit, distanciation, comptence, respect des personnes, transparence, responsabilit). Efficacit* La qualit des conclusions* et des recommandations* assurent lefficacit* de lvaluation*. Les rsultats* dune valuation* dpendent de la conception (champ dtermin, problmatiques identifies et hirarchises, type dexpertise dfinie), de la mise en uvre (mthodes dinvestigation appropries, dure suffisante, relations partenariales) et de la phase de restitution (recommandations* oprationnelles, validation, suivi*). Le processus* est aussi un lment contribuant au rsultat final. Efficience* L valuation* doit produire le plus dimpacts* possibles au moindre cot. L valuation* a un cot (qui va au-del de la seule expertise mobilise) et il convient ds lors de calibrer la dure, le nombre dexperts, lampleur du questionnement, aux lments jugs prioritaires pour garantir une valorisation efficiente.
69
Annexes
71
Annexe 1
Modle de devis prvisionnel
Nom de la socit :
Intitul de ltude :
Cots sur justificatifs : Vols internationaux (indiquer le nombre de vols AR) : sur prsentation des souches de billets davion Per Diem (montant unitaire / nombre de jours) : sur prsentation de lattestation de sjour dlivre par lAmbassade Dplacements intrieurs (prciser avion, location voiture) : sur prsentation de factures Autres dpenses (vaccins, visas ...) : sur prsentation de factures Divers et imprvus : sur prsentation de factures Autres : Sous-Total : Cots forfaitaires : Salaires/honoraires : Seniors : Juniors : Locaux : Frais de gestion : Documentation, reprographie : Secrtariat, communications : Autres : Sous - Total : (en % : ) Effectifs Nombre de jours Montant par jour
Total
MONTANT TOTAL HT (et TTC si requis) :
Observations complmentaires :
73
Annexe 2
Modle de tableau de dpouillement pour le choix de lexpertise
Date limite remise des propositions : Comprhension gnrale et prsentation de la problmatique Prsentation gnrale Champ de ltude (contexte gnral) Objectifs
Proposition 1
Proposition 2
Proposition 3
Problmatiques
Autres lments
Cadre mthodologique Mthodologie propose pour la ralisation* de lvaluation Rapports (y compris synthse et fiche rsum) Chronogramme
Proposition 1
Proposition 2
Proposition 3
75
Comptences, qualifications Identit et profil des consultants Comptences relatives au secteur de coopration valu Connaissance des mcanismes de la coopration internationale franaise Connaissance du pays et comptences linguistiques Comptences en matire dvaluation des politiques publiques Rfrences
Proposition 1
Proposition 2
Proposition 3
Prix des prestations Consultants (jours/experts et total) Autres frais forfaitaires Autres frais sur justificatifs Missions de terrain TOTAL (TTC ou HT)
Proposition 1
Proposition 2
Proposition 3
PRIX DES PRESTATIONS (EURO)
Total sur justificatifs : Total cots forfaitaires :
76
Annexe 3
Modle de fiche de suivi* de projet FSP (ou de revue mi-parcours*)
77
Annexe 4
Modle de fiche-rsum de rapport dvaluation
Rdacteur : Service / organisme : Date : ml : Nom fichier :
TITRE DU RAPPORT (chaque volume doit avoir son titre) (prciser la priode de rfrence) AUTEUR(S) Personne(s) physique(s) PRESTATAIRE(S) Organisme metteur du rapport (dvelopper les sigles) PAYS OU RGION (zone concerne par ltude) SECTEUR ou THME Secteur prioritaire + secondaire(s) SERVICE COMMANDITAIRE (service qui a command ltude et contribu son financement) DATE REMISE DU RAPPORT (version provisoire ou dfinitive) NOMBRE DEXEMPLAIRES remis (consultation possible Diplonet ?) CONFIDENTIALIT (tout public ou accord pralable) PAGINATION (nombre de pages et annexes numrotes et pagines) DESCRIPTION DU PROJET (rappel des objectifs, des moyens et des principales activits* prvues)(indiquer les hypothses pralables et le questionnement valuatif formul dans les termes de rfrence ou le cahier des charges) TYPE DEXPERTISE (technique / gnrale, interne / externe, mi-parcours / finale) MTHODE DVALUATION (dates des missions de terrain)
79
PRINCIPALES CONSTATATIONS Utiliser les critres : cohrence, pertinence, efficacit, efficience, impact, durabilit.
POINTS FORTS
POINTS FAIBLES
ENSEIGNEMENTS TIRES ( partir des rsultats de lexpertise et au-del de lactivit* value).
RECOMMANDATIONS (distinguer si possible les recommandations en fonction des priorits, des parties prenantes concernes et du calendrier propos)
SUITES CONSTATEES (mises en uvre des recommandations)
A transmettre par voie lectronique : evaluation.dgcid@diplomatie.gouv.fr
80
Annexe 5
Exemple dindicateurs*
DPDEV Indicateurs* dactivit Sant Nombre dateliers VIH/MST organiss Nombre de prservatifs distribus Nombre de campagnes dinformation ralises CCF AE CSU Indicateurs gnriques : Nombre de doctorants forms Nombre dateliers scientifiques tenus Nombre dchanges de chercheurs Bibliothques/mdiathq Audiovisuel : ues Nombre de spectateurs Nombre de Nombre de consultations sur place manifestations Nombre demprunts Nombre danimations Formations Formations ralises (en heures-stagiaires)
Indicateurs* Sant de rsultat % denfants de 12 23 mois vaccins taux de jours sans rupture de stock de mdicaments % de personnes ayant connaissance des modes de prvention des MST Environnement Augmentation du taux de couverture en services de base sur la zone-cible Augmentation du taux de collecte des dchets mnagers
Bibliothques Nombre dinscriptions Formations Nombre de stagiaires ayant valid leur formation ou t diplms Qualit service fourni Publication Nombre de livres dits ou co-dits par le projet Cours de franais Nombre de personnes ayant obtenu une certification
Audiovisuel : Augmentation du nombre doprations menes entre le bnficiaire et les pays voisins Augmentation de la circulation des uvres en diffusion nationale et internationale
Indicateurs gnriques Nombre de DEA et de thses ralises Nombre de publications communes Cration de programmes post-doctorat
Indicateurs* defficacit*
Sant Nombre de personnes touches par la campagne dinformation/cible prvue Nombre de campagnes de prvention cofinances Qualit des soins
Indicateur* gnrique Respect du chronogramme Taux dexcution du projet Bibliothques Nombre de prts par lecteur Nombre de lecteurs empruntant plus de x livres par an
Indicateur* gnrique Public-cible de la manifestation/public total
Gestion de leau Nombre dassociations de gestion de leau impliques dans des actions structurantes
81
DPDEV Indicateurs* defficience* Sant Cot par personne vaccine dans le cadre du programme/cot dans programmes similaires mens par dautres pays pour le mme bnficiaire ou dans un pays similaire Cot total de ladministration du mdicament/ cot autres programmes
CCF
AE
CSU
Bibliothques Indicateurs gnriques : Cot du livre par lecteur Cot par personne de la Cours de franais manifestation Cot net des cours par personne Nombre de personnes certifies / cot total des cours
Cot de laccs dune

personne supplmentaire au service de base Cot complet par personne de laccs un service de base
Indicateurs* dimpact
Sant
Soutien politiques
Audiovisuel :
% du personnel soignant ducatives
valuant et traitant de lenfant
Progression du taux de Nombre dtudiants du

pays bnficiaire grce au projet Cours de franais
Augmentation des
investissements culturels trangers privs dans le pays
correctement les maladies scolarisation li au projet
% de personnes
prvention des MST
Augmentation des fonds

internationaux levs pour la production cinmatographique locale
connaissant les moyens de accueillis dans lOCDE
Taux de prvalence Nombre de
contraceptive csariennes/nombre daccouchements
Nombre des personnes

certification
par le Ministre concern pratiquant le franais deux Art ans aprs avoir obtenu une
Augmentation du
nombre duvres artistiques locales
Nombre denfants
infects par le VIH 15 mois
Nombre de personnes
tudiant en franais aprs avoir obtenu une certification
82
Annexe 6
Liste des rapports dvaluations publis
COLLECTION "EVALUATIONS" 1 La coopration franaise et les entreprises en Afrique subsaharienne 2 L aide franaise au Burkina Faso 3 Le programme des volontaires europens de dveloppement valuation de la phase pilote (1986-1988) 4 L aide franaise lIle Maurice (1979-1989) 5 Les centres culturels franais en Afrique valuation de laction des CCF dans les pays du Champ 6 L cole nationale suprieure des industries agro-alimentaires du Cameroun (ENSIAAC) Dix ans de coopration en matire de formation technique suprieure 7 Les coopratives danciens combattants de Guine-Bissau valuation de laide publique franaise 8 Faune sauvage africaine. Bilan 1980-1990 Recommandations et stratgie des actions de la coopration franaise 9 Le systme douanier automatis (SYDONIA) - valuation de laide franaise la mise en place et au dveloppement du programme SYDONIA 10 Le comit interafricain dtudes hydrauliques (CIEH) valuation de laide publique franaise (1981-1990) 11 La politique des bourses valuation de laide publique franaise (1979-1988) 12 La reconversion des agents de la fonction publique en Guine valuation de laide franaise (1986-1992) 13 L association franaise des volontaires du progrs (AFVP) valuation dactions finances sur crdits FAC entre 1980 et 1990 14 L appui dans les secteurs du plan et des statistiques valuation de la politique franaise (1975-1990) 15 L appui aux formations dans le secteur BTP valuation de la politique franaise (1984-1992) 16 L appui au systme ducatif tchadien valuation du projet (1983-1992) 17 Les oprations villages-centres au Congo : Mindouli et Lkana valuation de laide franaise (1982-1992) 18 L appui dans le domaine du livre et de lcrit valuation de laide publique franaise (1980-1992) 19 Les administrations mauritaniennes des finances et du plan valuation de laide franaise (1979-1991) 20 Les rseaux de dveloppement valuation de leur utilisation par le ministre de la Coopration (1982-1992) 21 La politique du ministre en faveur de la coopration dcentralise valuation de la coopration franaise (1982-1992) 22 La politique des crdits dconcentrs dintervention valuation de la politique franaise (1988-1993) 23 L appui la tlvision en Afrique subsaharienne valuation de laide franaise (1975-1991) 24 L appui au dveloppement urbain et la gestion locale au Bnin et Madagascar valuation de laide franaise (1982-1994) 1989 1989 1989 1990 1991 1991 1992 1992 1992 1992 1993 1993 1993 1993 1993 1993 1994 1994 1994 1994 1994 1994 1994 1995
83
25 La navigation arienne et les activits aroportuaires en Afrique subsaharienne et dans lOcan indien - valuation de laide franaise (1975-1992) 26 Le volontariat franais dans les pays en dveloppement valuation 1988- 1994 27 Processus de privatisation en sant animale - A partir des tudes de cas : Burkina Faso, Guine, Niger et Rpublique Centrafricaine 28 valuation du projet dappui la dcentralisation et au dveloppement urbain au Sngal - valuation 1992-1995 29 Consquences de la suspension de la coopration valuation partir des cas du Togo, du Zare et dHati 30 La dimension "environnement" dans les politiques et les projets du ministre de la Coopration - valuation de la politique franaise (1972-1995) 31 Rseau dappui documentaire agricole "AGRIDOC" 32 Les projets de quartiers et formulation dlments de rflexion pour llaboration dune stratgie 33 La coopration documentaire - valuation rtrospective des orientations et des activits de 1985 1995. Etudes de cas : Madagascar, Mali, Niger 34 Etude de synthse dvaluations de laction des ONG (4 tudes de cas) 35 valuation rtrospective des programmes dappui aux administrations financires et conomiques (PAAFIE) - Cas du Bnin, du Cameroun et de la Cte dIvoire - Synthse 36 valuation de la mobilisation de lexpertise externe en dveloppement du ministre de la Coopration. 37 valuation du programme mobilisateur Femmes et dveloppement h.c.valuations. Rsums et suivi des recommandations 38 valuation rtrospective des FAC dintrt gnral (91, 93, 95) consacrs lappui la politique sectorielle en ducation formation - Rapport final 39 L valuation de la politique franaise daide dans le secteur minier 40 valuation de laide franaise dans le secteur hospitalier - Afrique subsaharienne et Madagascar (1987-1996) 41 valuation de la politique franaise daide dans le secteur Jeunesse et Sports valuation de la politique franaise de Coopration dans les pays de lancien champ (1980-1997) 42 valuation du programme CAMPUS - Coopration avec lAfrique et Madagascar pour la promotion universitaire et scientifique (1986-1998) 43 valuation avec les partenaires multilatraux - Cofinancements du ministre de la Coopration (1990-1997) 44 valuation de la coopration franaise dans le secteur sant au Cambodge 45 valuation des systmes financiers dcentraliss (SFD) - Synthse 46 valuation du projet ARCHES - Appui aux enseignement sur la contextualisation et lharmonisation des enseignements secondaires 47 Projet Sant Abidjan - valuation des formations sanitaires urbaines base communautaire, FSU-Com (1993-1999) 48 valuation du F3E - Fonds pour la promotion des tudes pralables, des tudes transversales et des valuations 49 valuation des actions de laide franaise dans le secteur agricole et lenvironnement Madagascar 50 valuation du programme dveloppement local et migration au Mali et au Sngal (1990-1997) 51 valuation des programmes de lutte contre le VIH/SIDA (1987-1997) [2 volumes] I rapport principal - II Annexes
1995 1995 1996 1996 1996 1996 1997 1997 1997 1997
1998 1998 1998 1998 1998 1998 1999
1999 2000 2000 2000 2000 2000 2000 2001 2001 2001 2001
84
52 valuation des programmes prioritaires Palestine et Vit-nam 53 valuation de la formation des personnels de sant en Afrique subsaharienne et Madagascar de 1987 1998 54 tudier en franais en Europe centrale et orientale valuation des filires universitaires francophones 55 valuation dactions de coopration franco-marocaines pour la recherche scientifique. Programmes dactions intgres (PAI) 56 valuation du ple rgional de recherche applique au dveloppement des savanes dAfrique centrale (Prasac) du Coraf (1998-2001) 57 valuation de la coopration tlvisuelle en Afrique subsaharienne (1995-2000) 58 Rapprocher les jeunes du Sud et du Nord - valuation de Ville.Vie.Vacances-Solidarit internationale et de Jeunesse-Solidarit internationale 58 valuation de laide franaise dans le secteur pharmaceutique Afrique subsaharienne et Madagascar (1994-2001) 59 valuation de laide franaise dans le secteur pharmaceutique Afrique subsaharienne et Madagascar (1994-2001) 60 Culture et langue franaise en Amrique centrale - valuation rtrospective de la coopration mene par la France entre 1996 et 2001, dans les domaines culturel et linguistique et ducatif avec le Costa Rica, le Guatemala, le Honduras, le Nicaragua, le Panama et le Salvador 61 Fonds social de dveloppement - valuation du dispositif de crdits dconcentrs (1996-2001) 62 Festival international des francophonies en Limousin - valuation 63 valuation de la coopration franaise dans le secteur de la sant au Gabon (1990-2001) 64 Appui la professionnalisation des oprateurs culturels du continent africain 65 valuation de la coopration dcentralise franco-malienne 66 Les appuis de la France et de la commission europenne aux coles africaines de statistiques - valuation rtrospective (1994-2002) 67 Soutenir le cinma des pays du Sud - valuation rtrospective de la coopration franaise dans la ZSP (1991-2001) 68 La coopration scientifique et universitaires franco-sud-africaine valuation rtrospective 1994-2002 69 valuation du secteur forestier tropical humide (en cours ddition) 70 Programmes de recherche bilatraux en Europe - valuation rtrospective des Programmes dActions Intgres (PAI) avec les pays de lUnion europenne et la Norvge (1990-2000) 71 L appui de la France aux associations pour la recherche en Finlande, Norvge et Sude 72 Appui la coopration non gouvernementale franaise au Cambodge valuation de la politique franaise (1993-2003) 73 Enseignement technique et de la formation professionnelle - valuation de la coopration (1989-2000) Afrique subsaharienne, Ocan Indien, Carabes 74 Convention dobjectifs avec Cits Unies France valuation de la convention dobjectifs (2000-2003) 75 L appui de la France aux ducations au dveloppement 76 Amlioration des conditions de vie des rfugis palestiniens valuation dun projet FSP mobilisateur de partenariat bi-multilatral avec lUNWRA 77 Programmes dappui aux actions non gouvernementales en Bolivie valuation (1994-2003) des POD (petites oprations de dveloppement) et des co-financements 78 Actions dappui la mise en place de SAMU valuation rtrospective de la politique franaise (1993-2002)
2001 2001 2001 2001 2001 2001 2002 2002 2003
2003 2003 2003 2003 2003 2003 2003 2003 2004 2004
2004 2004 2004 2004 2004 2004 2004
2004 2005
85
79 L appui la rforme des systmes hospitaliers dans les pays de la ZSP 80 Mta-valuation du programme des valuations 2000-2004 de la ZSP 81 La politique des bourses - valuation concernant les bourses attribues par le MAE aux tudiants trangers (1998-2004) 82 Coopration franco-indienne en sciences sociales et humaines (EE) 83 Programme daction intgre (PAI) recherche formation en Tunisie 84 Projet FSP inter-tats dappui au dveloppement de lanesthsie-ranimation et mdecine durgence dans lOcan Indien (PARMU) 85 Appui de la coopration franaise lOrganisation de la mise en valeur du fleuve Sngal - valuation partenariale et conjointe (1994-2004) 86 Programme franco-chinois de recherche avance (PRA) valuation rtrospective (1993-2003) EE 87 Actions de formation dans le domaine du dveloppement social - 1997-2003 valuation rtrospective des projets FSP et dun programme inter-tats dans la ZSP 88 valuation du contrat de dsendettement et de dveloppement (C2D) Mozambique 89 Actions en faveur du dveloppement durable dans la coopration internationale de la France 90 Programme de recherche urbaine pour le dveloppement (PRUD) valuation finale du projet mobilisateur FSP n 2000-120 (2001-2004) en cours de ralisation ou de publication Programme de dveloppement municipal (PDM) - valuation conjointe avec lACDI Fonds fiduciaires auprs des banques rgionales et de la Banque mondiale (conjointe avec Minefi) Programme de coopration scientifique Ecos Nord et Sud Programme concern ONG au Maroc Coopration audiovisuelle au Proche et Moyen Orient Projets post-tsunami Coalition pour lvaluation suite au tsunami (TEC) - conjointe avec PNUD, CRI et coord. Asie Programme Solidarit-Eau (PS-Eau) Programme Coordination Sud (ONG) Coopration pour le franais en Europe valuation des 3C : tude sur la cohrence - conjointe avec Allemagne, Belgique et Pays-Bas valuation de laide budgtaire (GBS) - conjointe avec DFID & al Projets financs sur le FSD au Vietnam Aide alimetaire Technologie de linformation et de la communication pour lenseignement Intervention dans les pays en situation de crise ou post-crise Projet FSP Protection de lenfance (avec Unicef) Anne culturelle France-Brsil Coopration culturelle, artistique et audiovisuelle en Tawan DUO-France en Asie du Sud-Est (mobilit enseignante et tudiante) Centre Andr Malraux Sarajevo
2005 2005 2005 2005 2005 2005 2005 2005 2005 2006 2006 2006
2005 2005 2006 2006 2006 2006 2006 2006 2006 2006 2006 2006 2007 2007 2007 2007 2007 2007 2007 2007 2007
86
Diffusion restreinte COLLECTION "RAPPORTS DEVALUATION" 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 L aide Franaise lIle Maurice (1979-1989) L aide Franaise au Zare (1979-1989) L aide Franaise au Gabon (1979-1989) L aide Franaise au Burundi (1980-1990) L aide Franaise au Togo (1980-1990) L aide Franaise au Cap-Vert (1976-1991) L aide Franaise au Mali (1980-1992) L aide Franaise travers son valuation dans 6 pays durant la priode 1980-1990 L aide Franaise en Guine (1979-1992) L appui la Confrence permanente des chambres consulaires franco-africaines L aide Franaise la Mauritanie (1980-1994) L Aide Franaise au Sngal (1984-1993) L aide Franaise aux Petites Antilles (1984-1994) L aide Franaise au Bnin (1985-1995) L aide Franaise au Togo - Retour sur lvaluation-pays 1980-1990 L aide franaise au Burkina Faso - valuation-pays 1989-1998 L aide franaise la Cte dIvoire - valuation de la politique franaise (1980-1997) L aide franaise au Cameroun - valuation de la politique franaise (1987-1997) L aide franaise au Cap-Vert (1991-1999) - Retour sur lvaluation-pays (1975-1991) valuation de laide franaise Djibouti - Bilan global (1989-1998) Le secteur de la sant (1987-1997) L aide franaise au Vit-nam - valuation de la politique franaise (1989-1999) L aide franaise au Laos - valuation de la politique franaise (1988-2000) L aide franaise au Vanuatu -valuation de la politique franaise (1996-2000) L aide franaise au Niger - valuation de la politique franaise (1990-2001) L aide franaise la Guine - valuation de la politique franaise (1992-2001) La coopration franaise avec la Bulgarie - valuation de la politique franaise (1991-2001) La coopration franaise avec le Tchad - valuation (1992-2003) valuation de la coopration franaise avec lgypte (1993-2003) L assistance humanitaire de la coopration de la France avec lAfghanistan La coopration de la France avec le Sngal valuation rtrospective et stratgique (1994-2003) La coopration de la France avec la Guine quatoriale valuation rtrospective du pays dans son contexte rgional (1995-2004) La coopration de la France et de la Commission europenne avec le Mali La coopration de la France avec le Maroc (en cours de ralisation) La coopration de la France avec le Cameroun La coopration de la France avec le Brsil 1990 1992 1992 1993 1993 1994 1994 1994 1995 1995 1966 1966 1997 1997 1998 1999 2000 2000 2001 2001 2001 2001 2002 2002 2003 2003 2004 2005 2006 2006 2006 2006
87
COLLECTION ex-DGRCST 1 valuation du rseau culturel en Europe 2 valuation de la politique de coopration dans le domaine des tlcommunications au Maghreb 3 valuation de la politique de coopration rgionale en Amrique latine 4 valuation de limpact sur lenseignement du Franais de la diffusion de programmes audiovisuels ducatifs 5 valuation de la coopration policire 6 valuation de la politique des bourses accordes aux trangers en France 7 valuation de la coopration linguistique 8 valuation de la politique de subvention aux associations de la DGRCST Non publi EE valuation de lappui lInstitut des Hautes Etudes pour le Dveloppement (IHED) de Bogota (Colombie) - (diffusion interne) valuation de la coopration administrative internationale (valuation conjointe avec le Minefi ralise dans le cadre du CICID) Coopration avec la Chine dans le domaine de la sant Amnagement du territoire en Uruguay EE Missions Stendhal (programme daide aux crivains franais) Soutien Europa Cinma EE Coopration universitaire au Liban EE Programme spcial de formation des cadres palestiniens
1995 1996 1996 1996 1997 1997 1997 1998
2001 2002 2002 2003 2003 2003 2004 2005
N. B. De nombreux projets FSP font lobjet dun rapport dvaluation finale. Ces rapports ne sont pas publis. Le bureau de lvaluation sefforce de recueillir tous les rapports, de prfrence sous forme lectronique. Pour linstant ces documents ne sont pas stocks sur une base de donnes, mais sont conservs la disposition des services et des SCAC. Prire de les transmettre evaluation.dgcid@diplomatie.gouv.fr
88
Annexe 7
Bibliographie
Rapports annuels du Conseil National de lvaluation (antrieurement du Conseil Scientifique de lvaluation de 1992 1998), www.ladocfrancaise.gouv.fr 1999 : lvaluation au service de lavenir, La Documentation Franaise, Paris, 2000, 216 p. Une valuation lpreuve de son utilit sociale, rapport dactivit 2000-2002, Paris, La Documentation franaise, fvrier 2003, 340 p. valuations de laction des pouvoirs publics Eric Monnier, CPE, Economica, 1992 L valuation en question Revue franaise dAdministration publique, N 66, avril-juin 1993, Contrle parlementaire et valuation La Documentation Franaise, collection Les tudes, Paris, 1995 Petit guide de lvaluation des politiques publiques Conseil Scientifique de lvaluation, La Documentation Franaise, mai 1996, 123 p. Evaluer les programmes socio-conomiques Collection MEANS (Mthodes dvaluation des Actions de Nature Structurelle), 6 volumes, Fonds structurels communautaires, Commission europenne, 1999 Guide des meilleures pratiques suivre pour lvaluation par lOCDE OCDE - PUMA, note de synthse n 5, Service de la gestion publique, mai 1998 Improving Evaluation Practices : Best Practice Guidelines for Evaluation and Background Paper (1999) http://www.oecd.org//puma/pac/programeval.htm L valuation des politiques publiques Jean-Luc Boeuf, La Documentation Franaise, 2001, 80 p. http://www.journal-officiel.gouv.fr
89
Sites Internet
Unit dvaluation de la Direction gnrale du Trsor et de la Politique conomique (Minefi) :

http://www.minefi.gouv.fr/directions_services/dgtpe/publi/collection_eval_aide_dev.htm Agence franaise de dveloppement : http://www.afd.fr/jahia/Jahia/pid/18 Commission europenne : http://europa.eu.int/comm/europeaid/evaluation/index.htm Mthodes dvaluation de la CE (guides dvaluation, bases mthodologiques, outils, etc.) : http://ec.europa.eu/comm/europeaid/evaluation/methodology/index_fr.htm Inventaire des rapports de lUE (Commission europenne et pays membres) : http://ec.europa.eu/comm/europeaid/evaluation/intro_pages/european_inventory.htm Base de donnes : inventaire des rapports dvaluation des pays membres du CAD (y compris des organismes partenaires) : http://www.oecd.org/dac/Evaluation/index.htm OCDE (coopration administrative) : www.oecd.org//puma/pac/programmeval.htm Groupe de lvaluation indpendante (Banque mondiale) : www.worldbank.org/html/ieg/ European Evaluation Society (EES) : www.europeanevaluation.org Institut de la Banque mondiale (WBI) : www.worldbank.org/wbi/evalunit.htm Socit Franaise de lvaluation (SFE) : www.sfe.asso.fr F3E (ONG) : http://f3e.asso.fr/ Depuis 2003 il existe le portail de lvaluation des politiques publiques (France) : http://www.evaluation.gouv.fr (site en dshrence depuis 2004)
90
Annexe 8
Glossaire du CAD de lOCDE
(document ralis partir de travaux mens par le groupe de travail sur lvaluation du Comit daide au dveloppement (OCDE) avec lappui du bureau dtudes C3E) Action de dveloppement Development intervention Instrument daide utilis par un partenaire (bailleur de fonds ou non) en vue de promouvoir le dveloppement. Remarque : par exemple, projets, programmes, avis ou conseils en matire de politiques. Activit Activity Actions entreprises ou travaux mens en vue de produire des ralisations spcifiques. L activit mobilise des ressources telles que des fonds, une assistance technique et dautres types de moyens. Terme connexe : action de dveloppement. Analyse des risques Risk analysis Analyse ou apprciation de facteurs (appels hypothses dans le cadre logique*) qui contribuent, ou pourraient contribuer, latteinte des objectifs dune intervention donne. Examen* dtaill des consquences non voulues et ngatives quune action de dveloppement pourrait avoir sur la vie humaine, la sant, la proprit ou lenvironnement. Processus visant identifier systmatiquement les consquences indsirables et les risques, avec quantification de leur probabilit dapparition et leur impact prvisible. Apprciation pralable Appraisal Apprciation globale de la pertinence, de la faisabilit et de la durabilit probable dune action de dveloppement avant que la dcision de financement ne soit prise. Remarque : dans les agences et banques de dveloppement, le but* de cette apprciation est de donner aux dcideurs les lments qui leur sont ncessaires pour dcider si laction reprsente un usage appropri des ressources de lorganisme. Terme connexe : valuation ex ante. Assurance qualit Quality assurance L assurance qualit couvre toute activit concernant lapprciation et lamlioration des mrites et de la valeur dune action de dveloppement, ou le respect de normes prtablies. Remarque : exemples dactivits dassurance qualit : apprciation pralable, gestion par les rsultats, examens intermdiaires, valuations, etc. L assurance qualit peut aussi concerner lapprciation de la qualit dun portefeuille de projets et son efficacit* en termes de dveloppement. Attribution (Imputation) Attribution Confirmation dune relation causale entre les changements observs (ou que lon sattend observer) et une action spcifique. Remarque : lattribution met une partie du changement observ au crdit de laction value. Elle reprsente la part des effets* observs qui est attribuable une intervention spcifique ou laction dun ou plusieurs partenaires. Elle suppose de prendre en compte les autres interventions, les facteurs exognes (anticips ou non) et les chocs externes.
91
Audit (Contrle) Audit Activit de contrle en matire de qualit, exerce de faon objective et indpendante*, et destine amliorer les oprations dune organisation et en accrotre la valeur. Laudit aide une organisation atteindre ses objectifs grce une approche systmatique et rigoureuse pour constater et amliorer lefficacit*de la gestion des risques, du contrle et des processus de gouvernance. Remarque : une distinction doit tre effectue entre laudit de rgularit (de contrle, exemple : contrle financier) qui porte surtout sur la conformit avec les procdures et rglements en vigueur et laudit de performance qui sintresse la pertinence, lconomie, lefficience* et lefficacit. L audit interne fournit une apprciation des contrles internes exercs par une unit rendant compte la direction, tandis que laudit externe est excut par un organisme indpendant. Auto-valuation Self-evaluation valuation ralise par ceux qui ont la responsabilit de concevoir et de mettre en uvre une action de dveloppement. Bnficiaires Beneficiaries Individus, groupes ou organisations qui bnficient de laction de dveloppement, directement ou non, intentionnellement ou non. Termes connexes : publics concerns, cibls ou atteints. But Objectif nonc relatif au projet ou au programme de dveloppement. Purpose
Cadre logique Logical Framework Outil visant amliorer la conception des actions, le plus souvent au niveau des projets. Cela suppose didentifier les lments stratgiques (ressources, extrants, ralisations, impacts) et leurs relations causales, les indicateurs, ainsi que les facteurs extrieurs (risques) qui peuvent avoir une influence sur le succs ou lchec de laction. Il facilite ainsi la conception, lexcution et lvaluation dune intervention de dveloppement. Terme connexe: gestion axe sur les rsultats. Chane des rsultats Results framework Suite de relations de cause effet qui mnent dune action de dveloppement latteinte des objectifs. La chane des rsultats commence par la mise disposition des ressources, se poursuit par les activits et leurs extrants. Elle conduit aux ralisations et aux impacts, et aboutit une rtroaction. Dans quelques agences daide le public concern fait partie de la chane des rsultats. Termes connexes: hypothse, cadre de rsultats. Conclusions Conclusions Les conclusions font ressortir les facteurs de succs et dchec de laction value, avec un intrt particulier accord aux rsultats et aux impacts, escompts ou non, et plus gnralement aux autres points forts et points faibles. Une conclusion fait appel des donnes et des analyses labores partir dun enchanement transparent darguments. Constatations Donnes avres dduites dune ou de plusieurs valuations permettant dtablir des faits. Finding
Economie Economy Non-gaspillage dune ressource donne. Remarque: Une activit est conomique si le cot dutilisation des ressources rares se rapproche du minimum requis pour atteindre les objectifs prvus. Effet Effect Changement escompt ou non, attribuable directement ou indirectement une action. Termes connexes : rsultats (effet primaire, effet secondaire, effet inattendu, effet direct*, effet externe, effet indirect, effet brut, effet net, effet de premier rang), ralisations.
92
Efficacit (succs, russite) Effectiveness Mesure selon laquelle les objectifs de laction de dveloppement ont t atteints, ou sont en train de ltre, compte tenu de leur importance relative. Remarque : terme galement utilis comme systme de mesure globale (ou comme jugement) du mrite et de la valeur dune activit ; mesure selon laquelle une intervention a atteint, ou est en train datteindre, ses principaux objectifs pertinents, de faon efficiente et durable, et avec un impact positif en terme de dveloppement institutionnel. Terme connexe : effectivit. Efficience Efficiency Mesure selon laquelle les ressources (fonds, expertise, temps, etc.) sont converties en rsultats de faon conome. Enseignements tirs Lessons learned Gnralisations, tablies partir de circonstances spcifiques relatives des valuations de projets, de programmes ou de politiques permettant de tirer des enseignements plus larges. Souvent les leons soulignent les points forts et les points faibles dans la prparation, la conception et la mise en uvre, qui ont un effet sur la performance*, les rsultats et limpact. tat des lieux Base-line study Analyse dcrivant la situation avant le lancement de laction de dveloppement, et par rapport laquelle on pourra apprcier des amliorations ou faire des comparaisons. Evaluabilit Evaluability Mesure selon laquelle une activit ou un programme est valu de faon fiable et crdible. Remarque : lapprciation de lvaluabilit suppose dexaminer lavance lactivit projete afin de vrifier si ses objectifs sont dfinis de faon adquate et si les rsultats sont vrifiables. valuation valuation Apprciation systmatique et objective dun projet, dun programme ou dune politique, en cours ou termin, de sa conception, de sa mise en uvre et de ses rsultats. Le but est de dterminer la pertinence et laccomplissement des objectifs, lefficience en matire de dveloppement, lefficacit, limpact et la durabilit. Une valuation devrait fournir des informations crdibles et utiles permettant dintgrer les leons de lexprience dans le processus de dcision des bnficiaires et des bailleurs de fonds. Le terme "valuation" dsigne galement un processus aussi systmatique et objectif que possible par lequel on dtermine la valeur et la porte dune action de dveloppement projete, en cours ou acheve. Remarque : dans certains cas lvaluation suppose la dfinition de normes appropries, lapprciation des performances* par rapport celles-ci, et en juger les rsultats attendus et obtenus. Elle permet de dgager des leons pertinentes. Terme connexe : examen. valuation conjointe (partenariale) Joint evaluation valuation laquelle participent diffrents organismes bailleurs et/ou leurs partenaires. Remarques : il peut y avoir plusieurs degrs de partenariat selon que les partenaires cooprent plus ou moins au processus dvaluation, regroupent leurs ressources et restituent ensemble les rsultats. Les valuations conjointes peuvent aider traiter les problmes dattribution en apprciant lefficacit des programmes et des stratgies, la complmentarit des efforts des diffrents partenaires ainsi que la qualit de la coordination de laide, etc. valuation ex ante Ex-ante evaluation valuation qui est conduite avant la mise en uvre dune action de dveloppement. Termes connexes : apprciation pralable, tude de faisabilit.
93
valuation ex post Ex-post evaluation valuation dune action de dveloppement une fois celle-ci termine. Remarque : ce type dvaluation peut tre ralis tout de suite aprs lachvement de lintervention ou longtemps aprs. Le but est didentifier les facteurs de succs ou dchec, dapprcier la durabilit des rsultats et des impacts, et de tirer des conclusions qui pourront tre gnralises dautres actions. valuation externe External evaluation valuation dune action de dveloppement conduite par des services et/ou des personnes extrieures au bailleur de fonds et lorganisation responsable de la mise en uvre. valuation groupe valuation dun ensemble dactivits, de projets ou de programmes connexes. Cluster evaluation
valuation formative (endoformative) Formative evaluation valuation visant amliorer les performances, le plus souvent effectue au cours des phases de conception ou de mise en uvre dun projet ou dun programme. Remarque : les valuations formatives* peuvent galement tre menes pour dautres raisons telles que la vrification de la conformit et du respect des obligations lgales ou comme partie dune valuation plus large. Terme connexe : valuation du processus. valuation indpendante Independant evaluation valuation dune action de dveloppement conduite par des services ou des personnes non lis aux responsables de la conception et de la mise en uvre de laction de dveloppement. Remarque : la crdibilit dune valuation dpend en partie de lindpendance avec laquelle elle a t conduite. L indpendance implique une libert par rapport aux influences politiques et aux pressions des organisations. Elle est caractrise par laccs libre et complet linformation et par une autonomie totale pour mener des investigations et en rendre compte. valuation interne Internal evaluation valuation conduite par un service et/ou des personnes qui dpendent des responsables de laction de dveloppement chez le bailleur de fonds, chez ses partenaires ou au sein des organisations charges de la mise en uvre. Terme connexe : auto-valuation. valuation mi-parcours valuation conduite la moiti de la mise en uvre de laction. Terme connexe : valuation formative. Mid-term evaluation
valuation participative Participatory evaluation Mthode dvaluation selon laquelle les reprsentants des agences daide et des autres parties prenantes (y compris les bnficiaires) collaborent pour concevoir et conduire une valuation et en tirer les conclusions. valuation de processus Process evaluation valuation de la dynamique interne dorganismes chargs de la mise en uvre de laction, de leurs instruments et politiques dintervention, de leurs mcanismes de prestation de services, de leurs pratiques de gestion, et des liens entre tous ces lments. Terme connexe : valuation formative. valuation de programme Program evaluation valuation dun ensemble dactions, structur pour atteindre des objectifs de dveloppement spcifiques lchelle dun secteur, dun pays, dune rgion, ou global. Remarque : un programme de dveloppement a une dure limite et implique des activits multiples qui peuvent concerner plusieurs secteurs, thmes et/ou zones gographiques. Terme connexe : valuation-pays, de programme national, stratgique.
94
valuation de programme national / valuation-pays Country program evaluation valuation de lensemble des actions de dveloppement dun (ou plusieurs) bailleur(s) ou organisme(s) dans un pays partenaire, au regard de la stratgie daide sous-jacente. valuation de programme sectoriel Sector program evaluation valuation dune srie dactions de dveloppement dans un ou plusieurs pays, contribuant ensemble latteinte dun objectif de dveloppement spcifique. Remarque : un secteur inclut des activits de dveloppement habituellement regroupes dans la perspective dune action publique telle que la sant, lducation, lagriculture, les transports, etc. valuation de projet Project evaluation valuation dune action de dveloppement individuelle conue pour atteindre des objectifs spcifiques avec des ressources et un plan de travail dtermins, souvent dans le cadre dun programme plus large. Remarque : lanalyse cots-avantages est un outil important de lvaluation pour les projets prsentant des bnfices mesurables. Si les bnfices ne peuvent pas tre quantifis, lanalyse cot-efficacit est une approche approprie. valuation rcapitulative Summative evaluation tude conduite en fin daction (ou la fin dune tape de cette action) pour dterminer dans quelle mesure les ralisations escomptes ont t atteintes. L valuation rcapitulative vise fournir des informations sur la validit du programme. Terme connexe : valuation dimpact. valuation thmatique Thematic evaluation valuation dun certain nombre dactions de dveloppement, toutes orientes vers une priorit spcifique de dveloppement, qui sapplique de faon transversale aux pays, aux rgions et aux secteurs. Examen Review Apprciation de la performance dune action, priodiquement ou de faon ad hoc. Remarque: le terme "valuation" est souvent appliqu pour une apprciation plus globale et/ou plus profonde que lexamen. L examen tend souligner les aspects oprationnels. Les termes "examen" et "valuation" sont parfois utiliss comme synonymes. Terme connexe: valuation. Extrant (produit) Outputs Biens, quipements ou services qui rsultent de laction de dveloppement. Le terme peut sappliquer des changements induits par laction qui peuvent conduire des effets directs. Fiabilit Reliability Cohrence et consistance des informations sur la base desquelles se fondent lvaluation et les jugements qui en dcoulent. La fiabilit fait rfrence la qualit des techniques, procdures et analyses utilises pour collecter et interprter les donnes. Remarque : linformation est fiable si des observations rptes utilisant les mmes outils dans des conditions identiques produisent des donnes similaires. Finalit Objectif global vers lequel laction de dveloppement doit contribuer. Terme connexe: objectif de dveloppement Goal
Gestion axe sur les rsultats Results-Based Management Stratgie de management oriente vers la performance, la ralisation dextrants et laccomplissement deffets directs. Groupe cible (population cible) Target group Personnes ou organisations au bnfice desquelles laction de dveloppement est entreprise.
95
Hypothses Assumptions Suppositions dduites de facteurs ou de risques pouvant avoir des rpercussions sur le progrs ou le succs de laction de dveloppement. Remarque : le terme hypothse peut aussi sappliquer aux facteurs qui conditionnent la validit de lvaluation elle-mme, par exemple les caractristiques de la population dont est tir lchantillon dune enqute. Dans une approche thorique de lvaluation, les hypothses mises sont systmatiquement vrifies par rapport lenchanement des rsultats escompts. Impacts Impacts Effets long terme, positifs et ngatifs, primaires et secondaires, induits par une action de dveloppement, directement ou non, intentionnellement ou non. Impact en termes de dveloppement institutionnel Effets dune action affectant, plus ou moins, la capacit dun pays ou dune rgion dutiliser ses ressources propres (humaines, financires et naturelles), de faon plus efficiente, quitable et durable. Par exemple : (a) des mcanismes institutionnels mieux dfinis, plus stables, transparents et effectivement appliqus de faon prvisible, ou (b) pour les organisations concernes par ces changements institutionnels, un meilleur ajustement entre leur mandat, leurs missions et leurs capacits. Ces impacts peuvent inclure les effets, escompts ou inattendus, dune action. Indicateur Indicator Facteur ou variable, de nature quantitatif ou qualitatif, qui constitue un moyen simple et fiable de mesurer et dinformer des changements lis lintervention ou daider apprcier la performance dun acteur du dveloppement. Indicateur de performance Performance indicator Indicateur permettant de vrifier les changements intervenus en cours daction ou les rsultats obtenus par rapport ce qui tait planifi. Termes connexes : suivi des performances, mesure des performances. Mesure des performances Performance measurment Systme permettant dapprcier les performances des actions de dveloppement par rapport aux objectifs affichs. Termes connexes : suivi des performances, indicateurs. Mta-valuation Meta-evaluation valuation conue comme une synthse des constatations tires de plusieurs valuations. Le terme est galement utilis pour dsigner lvaluation dune valuation en vue de juger de sa qualit et/ou dapprcier la performance des valuateurs. Modle des rsultats (Cadre de rsultats) Results framework Reprsentation logique expliquant comment lobjectif de dveloppement peut tre atteint en prenant compte des relations causales et des hypothses implicites. Termes connexes : chane des rsultats, cadre logique. Objectif de dveloppement Development objective Impact attendu, en termes physiques, financiers, institutionnels, sociaux, environnementaux ou autres, par une ou plusieurs actions de dveloppement, au bnfice dune socit, dune communaut, dun groupe de personnes. Objectif du programme ou du projet Project or program objective Rsultats que le programme ou le projet est suppos contribuer gnrer en termes physiques, financiers, institutionnels, sociaux, environnementaux ou autres. Outils danalyse Techniques utilises pour traiter et interprter linformation durant une valuation. Analytical tools
96
Outils pour la collecte de donnes Data collection tools Mthodologies utilises pour identifier des sources dinformation et les rassembler au cours de lvaluation. Remarque : par exemple, enqutes formelles ou informelles, observation directe et participative, interviews de communauts, groupes de contrle, avis dexperts, tudes de cas et recherche de documentation. Partenaires Partners Personnes et/ou organisations qui collaborent pour atteindre des objectifs convenus en commun. Remarque : le concept de partenariat voque des objectifs conjoints, des responsabilits partages en ce qui concerne les ralisations, des engagements rciproques et une obligation de rendre compte de manire claire. Les partenaires peuvent tre des organisations gouvernementales, de la socit civile, des ONG, des universits, des associations professionnelles, des organisations multilatrales, des entreprises prives, etc. Parties prenantes (Protagonistes) Stakeholders Agences, organisations, groupes ou individus qui ont un intrt direct ou indirect dans laction de dveloppement ou dans son valuation. Performance Performance Mesure selon laquelle laction de dveloppement, ou un partenaire, opre selon des critres, des normes, des orientations spcifiques, ou obtient des rsultats conformes aux objectifs affichs ou planifis. Pertinence Relevance Mesure selon laquelle les objectifs de laction de dveloppement correspondent aux attentes des bnficiaires, aux besoins du pays, aux priorits globales, aux politiques des partenaires et des bailleurs de fonds. Remarque : rtrospectivement, la question de la pertinence consiste souvent sinterroger sur le fait de savoir si les objectifs de laction ou sa conception sont encore appropris compte tenu de lvolution du contexte. Publics concerns (Publics atteints) Bnficiaires et autres parties prenantes concerns par une action de dveloppement. Terme connexe : bnficiaires. Ralisation (Effet direct) Ce que laction doit accomplir ou a accompli court ou moyen terme. Termes connexes : rsultat, extrant, produit, impact, effet. Reach
Outcome
Responsabilit de rendre compte (Redevabilit) Accountability Obligation de rendre compte du fait que le travail a t conduit selon les rgles et les normes convenues, ou obligation de rendre compte de faon claire et impartiale sur les rsultats et la performance, au regard du mandat et/ou des objectifs fixs. Cela peut exiger une dmonstration prcise, voire juridique, que le travail a t accompli selon les termes du contrat. Remarque : dans le contexte du dveloppement, le terme peut concerner lobligation des partenaires agir selon des responsabilits clairement tablies, un partage des rles et des performances attendues, souvent dans le respect dune gestion prudente des ressources. En ce qui concerne les valuateurs, le terme voque la responsabilit de fournir des apprciations de performance et des rapports davancement prcis, impartiaux et crdibles. Pour les dcideurs et les gestionnaires du secteur public le devoir de rendre compte seffectue envers les contribuables et les citoyens. Ressources (Moyens, intrants) Moyens financiers, humains et matriels utiliss pour laction de dveloppement. Inputs
97
Recommandations Recommendations Propositions qui ont pour but de promouvoir lefficacit, la qualit ou lefficience dune action de dveloppement, de rorienter les objectifs, et/ou de rallouer les ressources. Les recommandations doivent tre relies aux conclusions. Rfrence (Etalon) Benchmark Norme permettant dapprcier la performance ou les rsultats obtenus. Remarque : la rfrence se rapporte des rsultats obtenus dans le pass rcent par dautres organisations comparables, ou ce quon pensait pouvoir atteindre raisonnablement dans un contexte donn. Rsultats Results Extrants (produits), ralisations ou impacts (escompts ou non, positifs et/ou ngatifs) dune action de dveloppement. Termes connexes : ralisation, effet direct, impact. Rtroaction Feedback Transmission des constatations rsultant du processus dvaluation ceux qui peuvent en tirer des leons utiles et pertinentes afin de favoriser un meilleur apprentissage. Cela peut impliquer de runir et de diffuser les constatations, les conclusions, les recommandations et les leons de lexprience. Scnario en absence dintervention (Situation contrefactuelle) Counterfactual Situations ou conditions dans lesquelles se trouveraient les personnes, les organisations ou les groupes concerns si laction de dveloppement nexistait pas. Suivi Monitoring Processus continu de collecte systmatique dinformations, selon des indicateurs choisis, pour fournir aux gestionnaires et aux parties prenantes dune action de dveloppement en cours, des lments sur les progrs raliss, les objectifs atteints et lutilisation des fonds allous. Terme connexe : suivi de performance, indicateur. Suivi des performances Performance monitoring Processus continu de collecte et danalyse de linformation, visant apprcier la mise en uvre dun projet, dun programme ou dune politique au regard des rsultats escompts. Termes de rfrence (Cahier des charges) Document crit prsentant le but et le champ de lvaluation, les mthodes utiliser, les rfrences permettant dapprcier la performance ou de conduire les analyses, les ressources et le temps ncessaires, ainsi que les conditions de prsentation des rsultats. Une autre expression parfois utilise avec la mme signification est le "mandat". Triangulation Triangulation Utilisation dau moins trois thories, sources ou types dinformations, ou dmarches danalyse, pour vrifier et soutenir une apprciation ou un point de vue. Remarque : en combinant plusieurs sources, mthodes, analyses ou thories, les valuateurs cherchent surmonter les biais qui apparaissent quand on se fonde sur une seule source dinformation, un seul observateur, une seule mthode ou une seule thorie. Validit Validity Disposition selon laquelle les stratgies et les instruments de collecte dinformation permettent de mesurer ce quils sont censs mesurer. Viabilit (Prennit, durabilit) Sustainability Continuation des bnfices rsultant dune action de dveloppement aprs la fin de lintervention. Probabilit dobtenir des bnfices sur le long terme. Situation par laquelle les avantages nets sont susceptibles de rsister aux risques.
98
Annexe 9
Fiche rsum de la meta-valuation
Rdacteur : Laure Valette (stagiaire) Service / organisme : Bureau de lvaluation de la DgCiD Date : 7/02/2005
Nom fichier : fiche rsum mta-valuation
ml : cid.evaluation@diplomatie.gouv.fr
TITRE DU RAPPORT
META-EVALUATION DU PROGRAMME DES EVALUATIONS 2000-2004 DE LA ZONE DE SOLIDARITE PRIORITAIRE - EVALUATION DU PROJET FAC N2000-27 Dominique de Crombrugghe, Ccilia de Decker, Laure Valette Ralis par le Service de lvaluation spciale de la coopration au dveloppement, Service Public Belge des Affaires trangres, du Commerce extrieur et de la Coopration au dveloppement. Zone de Solidarit Prioritaire (ZSP) Management Bureau de lvaluation de la DgCiD 25 janvier 2005
AUTEUR(S)
PRESTATAIRE
PAYS OU RGION SECTEUR ou THME SERVICE COMMANDITAIRE DATE REMISE DU RAPPORT
NOMBRE DEXEMPLAIRES remis Remis sous forme de fichier lectronique CONFIDENTIALIT PAGINATION DESCRIPTION DU PROJET Tout public 69 pages dont 10 pages dannexes + synthse traduite en anglais
Le programme du Bureau de lvaluation relevant de la ZSP a t financ par un (rappel des objectifs, des moyens et des projet FAC dintrt gnral approuv en juillet 2000. Ce projet denviron 1,5 million deuros prvoyait, pour une priode de 3 ans, la ralisation dune trentaine principales activits prvues) dvaluations. La ralisation de ce programme a t prolonge jusquen 2005. Les objectifs de cette mta-valuation sont : (indiquer les hypothses pralables et le - dexaminer dans quelle mesure les principes de lvaluation ont t questionnement valuatif formul dans respects dans la ralisation du programme, les termes de rfrence ou le cahier des - dexaminer dans quelle mesure les valuations ont contribu tirer charges) des enseignements et si les recommandations des valuations ont t suivies deffet et ont pu contribuer lamlioration des stratgies gographiques et sectorielles de la DgCiD. L valuation devra faire des recommandations pour amliorer lvaluation la DgCiD et fournir des orientations pour les futurs programmes. TYPE DEXPERTISE Mta-valuation externe et finale
Aprs une analyse du contexte dans lequel sest droul la programmation (sur base documentaire et dentretiens raliss Paris) et sur ltude du positionnement institutionnel et stratgique, un rfrentiel relatif aux fonctions du Bureau de lvaluation a t tabli. Dans un deuxime temps, une analyse des valuations ralises a t effectue partir de ltude approfondie de 6 cas reprsentatifs de la programmation. Ces derniers ont t slectionnes par une enqute de satisfaction auprs des commanditaires, membres du comit de pilotage et utilisateurs sur la qualit et lutilit. Des interviews ont t menes Paris en octobre 04 auprs de personnes ayant suivi le processus valuation.
MTHODE DVALUATION
99
PRINCIPALES CONSTATATIONS POINTS FORTS Utiliser les critres : cohrence, Le programme des valuations est pertinent dans la mesure o il rpond une demande dvaluation. pertinence, efficacit, efficience, impact, durabilit.
La cohrence interne du programme vient du fait que celui-ci est flexible: lexcution du programme tient compte de lvolution du contexte, non ralisation des valuations qui ntaient plus dactualit. La ralisation dvaluation conjointes avec le MINEFI et lAFD mais aussi avec dautres bailleurs de fonds tel que la Commission Europenne assure la cohrence externe du programme. Le partenariat avec le pays bnficiaire notamment dans les valuations pays o lvaluation est suivie par un comit local renforce la cohrence externe de la programmation. Le Bureau de lvaluation est efficace dans la mesure o les processus de ralisation du programme sont globalement bien tablis (rdaction de termes de rfrence, constitution dun comit de pilotage, slection des consultants, suivi de lvaluation, restitution). Les valuations contiennent souvent de bons tats des lieux et sont utiles pour la mise au courant lors des prises de postes. Le programme des valuation est mis en uvre de faon effective, des retards se produisent mais ne prtent pas ncessairement consquence et ne sont pas imputables spcifiquement au Bureau de lvaluation. POINTS FAIBLES Le programme des valuations nest pas lisible dans son ensemble: il apparat comme un catalogue dvaluations raliser. Les orientations stratgiques nonces pour la coopration internationale et le dveloppement ne sont que partiellement refltes dans le programme. Les valuateurs ont soulign que les termes de rference sont parfois ambitieux notamment pour les valuations-pays. Lles consultants ont de relles difficults avoir accs aux archives et la documentation crite, ce qui peut avoir un effet ngatif sur la qualit des valuations. La qualit de lanalyse et des rapports dvaluation est ingale. Le programme des valuations est ralis de faon efficiente, cependant le budget allou aux valuations est trs serr et en consquence le nombre de jours accords aux experts est restreint par rapport lanalyse demande par les termes de rfrence. L impact des valuations est aussi ingal, celui-ci dpend fortement du contexte de la restitution de lvaluation et notamment de la concordance de lvaluation par rapport au cycle de dcision politique.
RECOMMANDATIONS
(distinguer si possible les recommandations en fonction des priorits, des parties prenantes concernes et du calendrier propos)Recommandations adresses au Bureau de lvaluation Le processus de consultation tabli pour le programme des valuations et le schma dorganisation du Bureau de lvaluation ont lieu dtre maintenus. - Dans loptique dune nouvelle redistribution des tches au sein de la coopration, il serait convenable dorganiser une consultation conjointe avec lAFD lors de la constitution du programme des valuations ou de faire une consultation plus proactive sur des sujets de priorit stratgique. - La lisibilit du programme des valuations doit tre amliore.. - Il serait bon damliorer le travail de prparation documentaire. - Il serait souhaitable dlargir le budget consacr aux valuations, de rendre la mthodologie plus explicite et dinsister sur la qualit des analyses, quitte resserrer le champ de lvaluation. - Il y a lieu de sassurer que la restitution ait lieu de faon systmatique en France et si possible sur le terrain, avec les parties intresses. Recommandations adresses la DgCiD - Dans le cadre des rformes en cours (dont LOLF), il serait souhaitable dtudier un repositionnement institutionnel du Bureau de lvaluation. - Dans la perspective dun transfert de certaines activits vers lAFD, une programmation plus stratgique, rpondant au nouveau rle spcifique du MAE dans la coopration sera souhaitable. - Un renforcement en ressources humaines du Bureau de lvaluation devrait permettre dviter les retards dans la programmation
100
Annexe 10
Fiche rsum du projet FSP partenariat en valuation
Pays/projet mobilisateur : Intitul du projet : Secteur : Montant : Dure : Bnficiaire : - n du projet : - date du comit des projets : - service de rfrence : MOBILISATEUR Appui au partenariat en valuation de politiques dans la ZSP 572 2 800 000 42 mois Pays de la ZSP 2004-39 12 avril 2005 CID/SME/SQM/EVA
Les objectifs du millnaire pour le dveloppement sont parcourus par le souci dtablir un partenariat mondial destin acclrer la ralisation dans les pays en dveloppement dune croissance conomique soutenue et dun dveloppement durable, notamment dans le cadre de dveloppement intgr et des documents stratgiques de rduction de la pauvret1. La mise en place dun partenariat, est dornavant prconise par lensemble des agences daide. Le partenariat se dcline tant au niveau de la stratgie, des programmes sectoriels, que sur le plan oprationnel, des projets et des actions. Le partenariat doit ds lors sappliquer galement aux valuations de politiques, de programmes et de projets. La Banque mondiale, le Pnud, ainsi que plusieurs agences daide bilatrales, en particulier issues du monde anglo-saxon et des pays nordiques, ont mis en uvre des actions de formation et dappui en matire de Monitoring and Evaluation (M&E). Le ministre des Affaires trangres a contribu promouvoir, de manire pragmatique, et au cas par cas, des valuations partenariales avec quelques pays de la zone de solidarit prioritaire (ZSP). Le prsent projet FSP a pour objectif de renforcer le partenariat dans le processus des valuations pour parvenir une meilleure efficacit* des projets et des programmes de coopration. Ce partenariat doit stablir ds la prparation des politiques et des actions de coopration (valuation ex ante) et tre poursuivi jusqu la fin de celles-ci (valuations mi-parcours, finales et rtrospectives). Le projet est articul en trois grandes composantes : (1) la ralisation dvaluations partenariales, (2) le dveloppement des capacits des partenaires du Sud par des actions de formation-action, et (3) la capitalisation des enseignements des actions relevant du FSP par la constitution dune mmoire oprationnelle. La formation et lappui dans le domaine de lvaluation de politiques publiques ont pour but* le renforcement des capacits des partenaires Ils sadressent des individus, des quipes et des institutions, relevant du secteur public (administrations, chercheurs et enseignants du suprieur) ou du secteur priv (cabinets dtude, consultants et associations). A la fin du projet, les partenaires du Sud impliqus dans la mise en uvre du projet seront en mesure dinitier, de conduire, de participer ou de procder eux-mmes des valuations de politiques publiques dans leur pays respectif. Ainsi, les responsables des pays partenaires seront mieux en mesure de corriger les effets dune information asymtrique ; celle-ci rsulte du fait que les tous agents publics nont pas accs une mme information complte, qui produit une mauvaise optimisation de laffectation des ressources et contribue de la sorte aux checs des politiques publiques2.
1) Sommet du Millnaire des Nations Unies, septembre 2000 2) Stiglitz, J. E. 1994. Wither Socialism, Massachusetts : The MIT Press
101
Annexe 11
Charte de la Socit franaise de lvaluation
evaluation.sfe@wanadoo.fr www.asso.sfe.fr
Charte de lvaluation des politiques publiques et des programmes publics

adopte par lassemble gnrale de la SFE en2003 et rvise en 2006 Expos des motifs Lvaluation des actions publiques revt des formes diverses, tant par les mthodes mises en uvre que par la manire dont elle sinsre dans le systme daction valu, de lvaluation interne lvaluation organise et conduite de faon totalement indpendante du systme daction valu, valuation ex ante, concomitante ou ex-post. Cette diversit reflte la diversit des enjeux et des contextes dans lesquels il est fait recours lvaluation ou dautres pratiques connexes, telles que ltude, la recherche, lexpertise, linspection ou laudit. Cette diversit a pour contrepartie que les conclusions, jugements et recommandations produits par les valuations nont pas tous la mme porte ni le mme statut dans le dbat public. Depuis son origine, la SFE a accueilli ceux qui participent toutes ces pratiques. Tout en reconnaissant cette diversit, elle a choisi de promouvoir les formes dvaluation les plus mme de faire de lvaluation une nouvelle composante institutionnelle des organisations publiques et de la vie dmocratique. Cest la raison dtre de la charte adopte en 1999 et discute en 2006 pour son actualisation. Cette charte vise les personnes participant au processus dvaluation titre professionnel (commanditaires, valuateurs, chargs dvaluation, instances dvaluation et comits de pilotage). Depuis son adoption, la charte a combin plusieurs fonctions : ducative, en attirant lattention sur les enjeux et les problmes, indicative, en guidant la recherche de solutions ; incitative, elle na pas choisi la voie de la prescription. Il nest pas envisag de modifier ce choix, car il nest ni raliste ni souhaitable de prescrire ladoption par les adhrents don ne sait quelle conception unique de lvaluation. La charte se veut un guide de principes gnraux, largement reconnus dans le milieu professionnel. Elle invite sy conformer. Elle ne mconnat pas les possibles contradictions entre ces principes, dans certaines circonstances ; elle aide prvenir autant que possible les difficults qui surgissent souvent en cours dvaluation faute davoir clarifi les questions de principe et de dontologie. Prambule Lvaluation vise produire des connaissances sur les actions publiques, notamment quant leurs effets, dans le double but de permettre aux citoyens den apprcier la valeur et daider les dcideurs en amliorer la pertinence, lefficacit, lefficience, la cohrence et les impacts. Lvaluation contribue ainsi rationaliser la prise de dcision publique, moderniser la gestion de ladministration et des services publics et rendre plus efficace la dpense publique. Elle contribue simultanment au dveloppement de la responsabilit et des pratiques de compte rendu interne ou externe, ainsi qu lapprentissage organisationnel. Elle participe aux progrs parallles de la bonne gestion et du dbat dmocratique tous les niveaux de gouvernement. Ainsi dfinis, les enjeux de lvaluation des politiques et des programmes publics dpassent ceux de ses protagonistes* directs et concernent lensemble des citoyens. Lvaluation doit tre dcide, organise et conduite en vue de lintrt gnral. Cest pour cela quelle doit sexercer dans un cadre institutionnel explicite et que sa pratique doit tre rgie par des principes spcifiques. Les membres de la SFE dclarent adhrer aux principes de la Charte de lvaluation, sengagent les appliquer en tenant compte des contextes particuliers rencontrs et promouvoir la charte tant dans leur milieu professionnel quauprs des personnes et institutions concernes par lvaluation et la dlibration publique.
103
Principes de rfrence
Principe de pluralit
L valuation sinscrit dans la triple logique du management public, de la dmocratie et du dbat scientifique. Elle prend en compte de faon raisonne les diffrents intrts en prsence et recueille la diversit des points de vue pertinents sur laction value, quils manent dacteurs, dexperts, ou de toute autre personne concerne. Cette prise en compte de la pluralit des points de vue se traduit -chaque fois que possible- par lassociation des diffrentes parties prenantes* concernes par laction publique ou par tout autre moyen appropri.
Principe de distanciation
Lvaluation est conduite de faon impartiale. Les personnes participant lvaluation titre professionnel informent les autres partenaires* de tout conflit dintrt ventuel. Le processus dvaluation est conduit de faon autonome par rapport aux processus de gestion et de dcision. Cette autonomie prserve la libert de choix des dcideurs publics.
Principe de comptence
Les personnes participant au processus dvaluation titre professionnel mettent en uvre des comptences spcifiques en matire de conception et de conduite de lvaluation, de qualit de la commande, de mthodes de collecte de donnes et dinterprtation des rsultats. Elles ont le souci damliorer et de mettre jour leurs comptences, notamment en rfrence celles en usage dans la communaut internationale de lvaluation.
Principe de respect des personnes

Les personnes participant au processus dvaluation titre professionnel respectent les droits, lintgrit et la scurit de toutes les parties concernes. Elles sinterdisent de rvler lorigine nominative des informations ou opinions recueillies, sauf accord des personnes concernes.
Principe de transparence
La prsentation des rsultats dune valuation saccompagne dun expos clair de son objet, de ses finalits, de ses destinataires, des questions poses, des mthodes employes et de leurs limites, ainsi que des arguments et critres qui conduisent ces rsultats. La diffusion publique des rsultats dune valuation est souhaitable. Les rgles de diffusion des rsultats sont tablies ds le dpart. L intgrit des rsultats doit tre respecte, quels que soient les modalits ou les supports de diffusion retenus.
Principe dopportunit
Une valuation doit tre dcide lorsquelle est susceptible de -et organise afin de- produire des rsultats lgard des finalits mentionnes au prambule de cette charte : compte rendu dmocratique, efficacit* de la dpense, apprentissage organisationnel, facilitation dvaluations ultrieures.
Principe de responsabilit
La rpartition des rles entre les diffrents acteurs de lvaluation est tablie ds le dpart de faon ce que toutes les fonctions de celle-ci soient bien prises en charge (dfinition du mandat, pilotage du processus, enqutes et analyses, formulation du jugement et des recommandations, diffusion des rsultats). Les personnes et institutions impliques dans le processus dvaluation mobilisent les moyens appropris et fournissent les informations ncessaires la conduite de lvaluation. Elles sont conjointement responsables de la bonne application des principes noncs dans cette charte.
104
Annexe 12
Normes pour valuation de qualit (CAD1)
Analyse critique dun rapport dvaluation
Normes vises 1. Justification, finalit et objectifs de lvaluation Le rapport indique pourquoi et pour qui lvaluation est effectue, et pour quelle raison ce moment. La finalit de lvaluation est correspond la fonction dapprentissage et de reddition de comptes. Les objectifs dterminent ce que lvaluation se propose datteindre. 2. Paramtres de lvaluation Le champ de lvaluation est clairement dfini (questions traites, financements, priode, type dintervention, couverture gographique, groupes cibles). Le rapport dvaluation dcrit et analyse la logique dintervention et distingue les constations chaque niveau (intrants, activits, rsultats et impacts). Les critres du CAD sont appliqus. Les critres non appliqus sont explicits ainsi que dautres critres ventuellement introduits. Les questions valuatives sont clairement exposes. 3. Contexte Le rapport dcrit le contexte stratgique dans lequel sinscrit lintervention, notamment les documents dorientation du donateur et du partenaire, avec leurs objectifs et stratgies respectives. Le contexte institutionnel et socio-politique est prsent, afin dapprcier linfluence de lintervention. Les dispositions prises pour la mise en uvre de lintervention sont exposes. 4. Mthodes dvaluation Le rapport dcrit les mthodes, techniques et procds appliques pour la collecte et le traitement des donnes et pour raliser lvaluation, en dmontrant leur valeur et leur fiabilit. Les choix sont justifis et les contraintes ventuelles sont explicites. Les diffrentes parties prenantes sont associes au processus dvaluation. Le rapport indique les modalits de choix des protagonistes et de leur participation. Les modalits de slection dun chantillon sont prsentes et justifies. Observations du commanditaire Rponses du prestataire
1) Extrait synthtique dun document ralis dans le cadre dun groupe de travail du rseau de lvaluation du dveloppement du CAD (Comit daide au dveloppement - OCDE). 2) Stiglitz, J. E. 1994. Wither Socialism, Massachusetts : The MIT Press
105
Normes vises 5. Sources dinformation Le rapport dcrit les sources dinformation utilises et assure leur validit par un croisement des donnes et lapplication de mthodes varies. Les personnes interviewes et les documents consults sont dtaills dans le rapport, en respectant les aspects de confidentialit. 6. Indpendance Le rapport expose dans quelle mesure les valuateurs sont indpendants. Les ventuels conflits dintrts sont examins de manire ouverte et impartiale. Lquipe dvaluateurs, tablie de manire quilibre (genre et consultants locaux), et disposant dexperts de qualifications diverses, a t en mesure de travailler librement et sans entrave, en ayant eu accs toutes les informations utiles. 7. Dontologie de lvaluation Le processus dvaluation tient compte des opinions, pratiques et usages de toutes les parties prenantes. Leurs droits et bientre sont protgs. Lanonymat et la confidentialit sont prservs. Les membres de lquipe doivent avoir la possibilit de se dsolidariser de certaines apprciations ou recommandations. Les divergences de vues sont prsentes. 8. Assurance de la qualit Les diverses parties prenantes ont la possibilit de se prononcer et de commenter les constatations, les conclusions et les recommandations. Un contrle de qualit -ralis dans le respect de lindpendance des valuateurs- est exerc tout au long du processus dvaluation. 9. Pertinence des rsultats de lvaluation Les constatations faites, les conclusions mises, les recommandations formules et les enseignements tirs* se rapportent lobjet valu. Toute diffrence entre les modalits prvues et effectives est explique. L valuation est conduite dans les limites de temps et de budget prvues au dpart. 10. Exhaustivit Le rapport dvaluation traite toutes les questions poses. Il comporte une synthse. L analyse est structure selon une dmarche logique, partir des donnes et informations prsentes et interprtes, suivies des constatations et conclusions mises en vidence, avec des hypothses fondamentales formules, et dont les recommandations et enseignements tirs* dcoulent de manire logique.
Observations du commanditaire
Rponses du prestataire
106
Annexe 13
Charte qualit du bureau de lvaluation*
Outil daide llaboration dun rapport dvaluation* de projet 1
PARTIE 1. Objectifs de lvaluation* (justificatifs)
Quel sont les objectifs initiaux de lvaluation* commandite ? Dans quel but* lvaluation* a-t-elle
t commandit ? En quoi lvaluation* sintgre dans les objectifs gnraux du commanditaire ?
Quels sont les objectifs implicites de lvaluation* pour le commanditaire ?

PARTIE 2. Dlimitation de lobjet de lvaluation* (prsentation de laction value)
Quel est le contexte de la coopration ? Quels sont les intrts en jeu, la raison dtre du projet, ses objectifs principaux ? Y a-t-il eu des interactions avec dautres projets ou politiques qui auraient induit des consquences
imprvues ? PARTIE 3. Problmatique de lvaluation*
Quelles sont les questions principales des TDR ? Y a-t-il une priorit ou une hirarchie dans les questions ?
PARTIE 4. Dmarche de lvaluation*
Quelle a t la mthode dvaluation* choisie ? Quel a t le planning dintervention (fournir

PARTIE 5. Les faits :
les dates), comprenant une description prcise du droulement des diffrentes tches de la dmarche valuative ? Les objectifs ont-ils t partags avec toutes les parties prenantes* ? Description du processus* : Observations Constatations*
Quel est le bilan des observations issues des tudes documentaires, des tudes terrains, des entretiens,
des questionnaires..? (origine, nature et validit* des donnes, difficults de collecte)
Quelles constatations* dduit-on des observations ? (quelles tendances ? quels ratios ? zones dombre ?)
PARTIE 6. La dmarche analytique : Description du processus* : Constatations* Analyse Jugements
Lanalyse, est-elle organise partir des donnes recueillies et des observations effectues ? Lanalyse, est-elle effectue selon les critres du CAD communment retenus dans le domaine de
lvaluation* des politiques publiques : pertinence*, cohrence, efficacit*, efficience*, impact*, viabilit* ? Quels jugements personnels les experts forment-ils partir des constatations ?
1) La Charte qualit peut aussi tre utilise par le commanditaire lors de la rdaction des termes de rfrence
107
PARTIE 7. Les conclusions* : Description du processus* : Jugements questions des TDR ? Conclusions*
Quelles conclusions* dduit-on des jugements ? Les conclusions* rpondent-elles clairement aux Quelles ont t les forces et les faiblesses du projet ? Quelles sont les causes des carts par rapport au prvu ?
PARTIE 8. Les recommandations*
Comment les atouts (ou forces) du projet peuvent tre consolids ? Dans quelle mesure les difficults (ou faiblesses) du projet pourraient tre rsolues ? Quelle(s) conclusion(s) induisent quelle(s) recommandation(s)* ? Quelle est la hirarchie des
prconisations, selon leur importance ? Quelle est la hirarchie des prconisations selon un calendrier prvisionnel ? Quelles sont les recommandations* dordre stratgique et celles dordre oprationnel ? Quels sont les enseignements caractre plus gnral qui peuvent tre tirs ? PARTIE 9. La synthse
Quelle est la problmatique de lvaluation* ? Quelles sont les diffrentes questions auxquelles lvaluateur a tent de rpondre induites par la
problmatique de lvaluation* ? Quelles sont les conclusions* apportes chaque question ? Quelles sont les recommandations* apportes chaque conclusion ?
108
Annexe 14
Mini-guide de lvaluation* destin aux dcideurs
L exercice dvaluation* est un projet, avec ses objectifs, ses moyens, ses modalits de mise en uvre et ses rsultats*. L valuation* peut donc tre value, ex ante* (valuabilit*) et ex post* (mtavaluation*). Les critres sappliquent galement.
Utilit
L valuation* est ncessaire, elle nest pas toujours utile. Cest un instrument de comprhension, de valorisation des actions et des politiques, en vue de porter un jugement. L valuation* sinscrit dans des dmarches des politiques publiques, mais elle ne doit pas tre lance de manire systmatique, sans rflexion pralable. L valuation* doit dmontrer son utilit au regard de la redevabilit* (accountability) et des leons :
Rendre compte : dterminer lattente des responsables : quels rsultats* ? quelle justification ? sous
quelle forme ? dans quel dlai ? Apprentissage : vrifier limplication des responsables qui devraient tre parties prenantes* pour en tirer des enseignements.
Pertinence*
L valuation* doit tre mene en fonction dobjectifs relevant de plusieurs acteurs qui sinscrivent dans un calendrier. Par consquent, la pertinence* est prise en compte au regard des attentes des bnficiaires*, des buts* de lAPD, des chances de coopration et des vises de la politique franaise. L valuation* ne sapplique pas de manire systmatique et irraisonne : tout nest pas valuable (dans des dlais, avec des moyens et selon des objectifs abordables).
Cohrence
L valuation* se distingue des autres modes de suivi* et de contrle (rapport de fin dopration, audit comptable, inspection gnrale) et trouve sa cohrence sur la base de problmatiques qui se dclinent en questionnements, selon une investigation avec des mthodes adaptes et qui rpondent des principes reconnus (pluralit, distanciation, comptence, respect des personnes, transparence, responsabilit).
Efficacit*
La qualit des conclusions* et des recommandations* assurent lefficacit* de lvaluation*. Les rsultats* dune valuation* dpendent de la conception (champ dtermin, problmatiques identifies et hirarchises, type dexpertise dfinie), de la mise en uvre (mthodes dinvestigation appropries, dure suffisante, relations partenariales) et de la phase de restitution (recommandations* oprationnelles, validation, suivi*). Le processus* est aussi un lment contribuant au rsultat final.
Efficience*
L valuation* doit produire le plus dimpacts* possibles au moindre cot. L valuation* a un cot (qui va au-del de la seule expertise mobilise) et il convient ds lors de calibrer la dure, le nombre dexperts, lampleur du questionnement, aux lments jugs prioritaires pour garantir une valorisation efficiente.
109

344 Int Guide 2007

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

344 Int Guide 2007

Încărcat de

Drepturi de autor:

Formate disponibile

DIRECTION GNRALE DE LA COOPRATION INTERNATIONALE ET DU DVELOPPEMENT

GUIDE DE LVALUATION 2007

MINISTRE DES AFFAIRES TRANGRES

Guide de lvaluation 2007

Ministre des Affaires trangres - DgCiD

Fiche 1 Dfinitions Fiche 2 Quest-ce que lvaluation des politiques publiques

Chapitre III : Le cas spcifique du suivi-valuation

Fiche 15 Quel dispositif en France pour valuer la coopration

Guide de lvaluation 2007

Ministre des Affaires trangres - DgCiD

Chapitre V : Le Bureau de lvaluation

Guide de lvaluation 2007

Ministre des Affaires trangres - DgCiD

Quest-ce que lvaluation ?

Guide de lvaluation 2007

Ministre des Affaires trangres - DgCiD

Guide de lvaluation 2007

Ministre des Affaires trangres - DgCiD

2. Quelques confusions viter

Guide de lvaluation 2007

Ministre des Affaires trangres - DgCiD

2. Une double exigence de modernisation de ltat et de dmocratisation

programme rayonnement culturel et scientifique (n 185), mis en uvre avec le ministre de

Guide de lvaluation 2007

Ministre des Affaires trangres - DgCiD

un dispositif type caractris par la distinction entre :

Guide de lvaluation 2007

Ministre des Affaires trangres - DgCiD

2... pour mieux apprcier la valeur dune action...

3... et mieux dcider

Guide de lvaluation 2007

Ministre des Affaires trangres - DgCiD

la dmarche dvaluation* est intgre dans la gestion de ladministration. Cest le cas, la

la dmarche dvaluation* vise surtout la transparence de lintervention publique et le dbat avec

2. valuation* pour les services et/ou valuation* pour les dcideurs

Guide de lvaluation 2007

Ministre des Affaires trangres - DgCiD

3. valuation* pluraliste et valuation* partenariale

4. Les revues par les pairs

Guide de lvaluation 2007

Ministre des Affaires trangres - DgCiD

Comment faire une valuation externe ?

Guide de lvaluation 2007

Ministre des Affaires trangres - DgCiD

2. Prsentation dune dmarche-type

Guide de lvaluation 2007

Ministre des Affaires trangres - DgCiD

Guide de lvaluation 2007

Ministre des Affaires trangres - DgCiD

1. Description de laction valuer

Guide de lvaluation 2007

Ministre des Affaires trangres - DgCiD

2. Description des enjeux et de la dmarche gnrale

Guide de lvaluation 2007

Ministre des Affaires trangres - DgCiD

Quelle sont les limites (temporelles, spatiales, etc.) de lopration valuer ?

3. Description du travail dvaluation*

Guide de lvaluation 2007

Ministre des Affaires trangres - DgCiD

La pertinence* examine le bien-fond de laction au regard des objectifs et enjeux dtermins au

Guide de lvaluation 2007

Ministre des Affaires trangres - DgCiD

Guide de lvaluation 2007